Spark

- 51
- 0
博客
Spark- Spark从SFTP中读取zip压缩文件数据做计算

我们遇到个特别的需求，一个数据接入的流程跑的太慢，需要升级为用大数据方式去处理，提高效率。数据

牛肉丸没牛肉2019-8-18 18:48:10
- 12
- 0
博客
spark- PySparkSQL之PySpark解析Json集合数据

PySparkSQL之PySpark解析Json集合数据数据样本 12341234123412

牛肉丸没牛肉2019-8-18 18:44:06
- 14
- 0
博客
Spark- 常见问题

记录spark使用中常见问题 SparkSQL 日期解析时用到SimpleDateFormat，

牛肉丸没牛肉2019-8-18 18:42:26
- 19
- 0
博客
Spark- 数据清洗

输入输出转化工具类 package com.rz.mobile_tag.log import o

牛肉丸没牛肉2019-8-18 18:39:49
- 11
- 0
博客
Spark- 求最受欢迎的TopN课程

数据库操作工具类 package com.rz.mobile_tag.utils import

牛肉丸没牛肉2019-8-18 18:38:12
- 12
- 0
博客
Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值

牛肉丸没牛肉2019-8-18 18:36:52
- 10
- 0
博客
Spark- JdbcRDD以及注意事项

先上Demo package com.rz.spark.base import java.sql

牛肉丸没牛肉2019-8-18 18:30:29
- 8
- 0
博客
Spark- 自定义排序

考察spark自定义排序方式一：自定义一个类继承Ordered和序列化，Driver端将数据变

牛肉丸没牛肉2019-8-18 18:29:16
- 8
- 0
博客
Spark- 根据ip地址计算归属地

主要考察的是广播变量的使用： 1、将要广播的数据 IP 规则数据存放在HDFS上，（广播出去的内

牛肉丸没牛肉2019-8-18 18:25:45
- 31
- 0
博客
Spark- 使用第三方依赖解析IP地址

使用 github上已有的开源项目 1)git clone https://github.com

牛肉丸没牛肉2019-8-18 18:23:29
- 11
- 0
博客
Spark- 使用hiveContext时提交作业报错

在spark上操作hive时不需要搭建hive环境，只需要从现有的hive集群中hive的con

牛肉丸没牛肉2019-8-18 18:21:46
- 8
- 0
博客
Spark- 共享变量

Shared Variables Normally, when a function passe

牛肉丸没牛肉2019-8-18 17:50:21
- 11
- 0
博客
Spark- RDD持久化

官方原文： RDD Persistence One of the most important

牛肉丸没牛肉2019-8-18 17:49:23
- 11
- 0
博客
Spark- Action实战

Spark- Action实战 package cn.rzlee.spark.co

牛肉丸没牛肉2019-8-18 17:46:40
- 11
- 0
博客
Spark- Transformation实战

RDD的算子分为两类,是 Trans formation(Lazy),一类是 Action(触发

牛肉丸没牛肉2019-8-18 17:44:08
- 14
- 0
博客
Spark-Spark setMaster & WordCount Demo

Spark setMaster源码 /** * The master URL to connec

牛肉丸没牛肉2019-8-18 17:40:57
- 9
- 0
博客
Kafka- Spark消费Kafka

在高版本的API中 val brokers = properties.getProperty(“

牛肉丸没牛肉2019-8-18 16:46:47
- 11
- 0
博客
Spark- 计算每个学科最受欢迎的老师

日志类型测试数据 http://bigdata.myit.com/zhangsan http:

牛肉丸没牛肉2019-8-18 14:47:25
- 22
- 0
博客
Spark- SparkStreaming可更新状态的实例

Producer package zx.zx.sparkkafka import java.ut

牛肉丸没牛肉2019-8-18 14:46:14
- 12
- 0
博客
Spark- RDD简介

Spark里面提供了一个比较重要的抽象——弹性分布式数据集（resilient distribu

牛肉丸没牛肉2019-8-18 14:43:42
- 22
- 0
博客
JAVA- 数据库连接池原理

第一次Java程序要在MySQL中执行一条语句，那么就必须建立一个Connection对象，代表

牛肉丸没牛肉2019-8-18 12:31:53
- 6
- 0
博客
Spark- 性能优化

由于Spark 的计算本质是基于内存的，所以Spark的性能城西的性能可能因为集群中的任何因素出

牛肉丸没牛肉2019-8-18 12:28:17
- 9
- 0
博客
Spark- Checkpoint原理剖析

Checkpoint，是Spark 提供的一个比较高级的功能。有的时候，比如说，我们的 Spar

牛肉丸没牛肉2019-8-18 12:25:58
- 7
- 0
博客
Spark- 优化后的 shuffle 操作原理剖析

在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGr

牛肉丸没牛肉2019-8-18 12:24:56

个人中心

购物车

优惠劵

今日签到

有新私信私信列表

有新消息消息中心

搜索

❯

幸运之星正在降临...

点击领取今天的签到奖励！

恭喜！您今天获得了{{mission.data.mission.credit}}积分

今日签到

连续签到

{{item.date}}

{{item.credit}}

{{item.date}}

连续{{item.count}}天

查看所有

我的优惠劵

_￥_优惠劵

使用时效：已经过期，无法使用

使用时效：
之前

使用时效：永久有效

优惠劵ID：
×

限制以下商品使用：限制以下商品分类使用：不限制使用：

[{{ct.name}}]

所有商品和商品类型均可使用

没有优惠劵可用!

购物车

×

删除

购物车空空如也!

清空购物车前往结算

您有{{dmsg.count}}条新的私信

您没有新的私信

写新私信查看全部

周忆生活学校一周生活动态PPT模板

橙色风格企业文化介绍-动态PPT模板

高校毕业答辩PPT 紫色风格

高校毕业答辩PPT 蓝色风格

美食图

Spark

Spark- Spark从SFTP中读取zip压缩文件数据做计算

spark- PySparkSQL之PySpark解析Json集合数据

Spark- 常见问题

Spark- 数据清洗

Spark- 求最受欢迎的TopN课程

Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

Spark- JdbcRDD以及注意事项

Spark- 自定义排序

Spark- 根据ip地址计算归属地

Spark- 使用第三方依赖解析IP地址

Spark- 使用hiveContext时提交作业报错

Spark- 共享变量

Spark- RDD持久化

Spark- Action实战

Spark- Transformation实战

Spark-Spark setMaster & WordCount Demo

Kafka- Spark消费Kafka

Spark- 计算每个学科最受欢迎的老师

Spark- SparkStreaming可更新状态的实例

Spark- RDD简介

JAVA- 数据库连接池原理

Spark- 性能优化

Spark- Checkpoint原理剖析

Spark- 优化后的 shuffle 操作原理剖析

优惠活动

法律声明

建议提交

RedisDesktopManager 2019.3_Redis桌面管理工具2019.3 发布

推券客CMS_淘宝优惠券_淘宝客优惠券推广网站系统完整版

Redis 桌面管理工具 RedisDesktopManager 2019.2 发布