Spark- 常见问题

 

记录spark使用中常见问题

SparkSQL

日期解析时用到SimpleDateFormat, SimpleDateFormat是线程不安全的。可以使用 FastDateFormat

如:

import org.apache.commons.lang3.time.FastDateFormat

// 输入文件日期时间格式
// [10/Nov/2018:00:01:02 +0800]
val YYYYMMDDHHMM_TIME_FORMAT = FastDateFormat.getInstance("dd/MMM/yyyy:HH:mm:ss Z", Locale.ENGLISH)

 

 

给TA打赏
共{{data.count}}人
人已打赏
博客大数据

Hadoop- HDFS的API操作

2019-8-18 18:41:05

博客大数据

spark- PySparkSQL之PySpark解析Json集合数据

2019-8-18 18:44:06

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索