一、数据去重
日常工作中,使用Hive或者Impala查询导出来可能会存在数据重复的现象,但又不想重新执行一遍查询(查询时间稍长,导出文件内容多),因此想到了使用Linux命令将文件的内容重复数据进行去除。
案例如下:
可以看到aaa.txx有3条重复数据
想去掉多余的数据,只保留一条
sort aaa.txt | uniq > bbb.txt
将aaa.txt文件中重复数据去掉,输出到bbb.txt
可以看到bbb.txt文件中只保留了一条数据
二、数据交、并、差
1)、交集(相当于user_2019 inner join user_2020 on user_2019.user_no=user_2020.user_no)
sort user_2019.txt user_2020.txt | uniq -d
2)、并集(相当于 user_2019.user_no union user_2020.user_no)
sort user_2019.txt user_2020.txt | uniq
3)、差集
user_2019.txt-user_2020.txt
sort user_2019.txt user_2020.txt user_2020.txt | uniq -u
user_2020.txt - user_2019.txt:
sort user_2020.txt user_2019.txt user_2019.txt | uniq -u
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
白云城资源网 Copyright www.dyhadc.com
暂无“Linux实现文件内容去重及求交并差集”评论...
更新日志
2024年05月15日
2024年05月15日
- 群星.1993-宝丽金真的爱你3CD【宝丽金】【WAV+CUE】
- dnf110满级后平民去哪打装备
- dnf110自定义史诗和固定史诗区别
- dnf110自定义史诗有几件
- 张国荣1979-情人箭[Polydor][APE+CUE]
- KOKIA-歌か?チカラ(2004K2HD2015mora)[96-24]FLAC
- 松田聖子SeikoMatsuda《SEIKOJAZZ1》2017[WAV]
- 玩家发现《剑星》独特动画:出现概率极低!
- 消息称百度董事长李彦宏亲自开除璩静:对其非常生气
- 《纸片马里奥RPG重置版》新预告公开 5月23日发售
- 翁立友.2010-男性的坚持经典集【豪记】【WAV+CUE】
- 常宽.1994-宽【华星】【WAV+CUE】
- 草蜢.1998-快慢精选30首2CD【宝丽金】【WAV+CUE】
- 韩红/陈萨《沉默的光影》[FLAC/分轨][105.37MB]
- 群星《华纳至尊金曲》2CD[FLAC][865M]