Spark- Spark从SFTP中读取zip压缩文件数据做计算

 

我们遇到个特别的需求,一个数据接入的流程跑的太慢,需要升级为用大数据方式去处理,提高效率。

数据:

数据csv文件用Zip 压缩后放置在SFTP中

数据来源:

数据操作:

文件和它的压缩包一致,后缀不同。文件名中包含渠道、日期、操作标记("S"追加,"N"全量,"D"删除)

 

升级前的操作方式:

shell脚本将文件从SFTP下载到Linux服务器本地,解压。

历史数据也下载下来。

根据文件名中的操作标记,对历史数据作操作。

把新的结果数据上传回SFTP。

SFTP上的zip数据移动到备份目录。

 

升级后的操作方式:

用SFTPUtil工具类将ZIP文件转为输入流作为ZipInputStream的实例化的入参

将解压流作为Hadoop的输出流的入参,此时。

用Spark读取Hadoop的文件抽象RDD

对于两文件

 

 

 

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论