全部标签

Spark

最新随机最多浏览最多喜欢最多评论

Spark- Spark从SFTP中读取zip压缩文件数据做计算

我们遇到个特别的需求，一个数据接入的流程跑的太慢，需要升级为用大数据方式去处理，提高效率。数据
博客
- 0
- 0
- 68
牛肉丸没牛肉2019-8-18 18:48:10
spark- PySparkSQL之PySpark解析Json集合数据

PySparkSQL之PySpark解析Json集合数据数据样本 12341234123412
博客
- 0
- 0
- 17
牛肉丸没牛肉2019-8-18 18:44:06
Spark- 常见问题

记录spark使用中常见问题 SparkSQL 日期解析时用到SimpleDateFormat，
博客
- 0
- 0
- 19
牛肉丸没牛肉2019-8-18 18:42:26
Spark- 数据清洗

输入输出转化工具类 package com.rz.mobile_tag.log import o
博客
- 0
- 0
- 27
牛肉丸没牛肉2019-8-18 18:39:49
Spark- 求最受欢迎的TopN课程

数据库操作工具类 package com.rz.mobile_tag.utils import
博客
- 0
- 0
- 16
牛肉丸没牛肉2019-8-18 18:38:12
Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值
博客
- 0
- 0
- 22
牛肉丸没牛肉2019-8-18 18:36:52
Spark- JdbcRDD以及注意事项

先上Demo package com.rz.spark.base import java.sql
博客
- 0
- 0
- 14
牛肉丸没牛肉2019-8-18 18:30:29
Spark- 自定义排序

考察spark自定义排序方式一：自定义一个类继承Ordered和序列化，Driver端将数据变
博客
- 0
- 0
- 13
牛肉丸没牛肉2019-8-18 18:29:16
Spark- 根据ip地址计算归属地

主要考察的是广播变量的使用： 1、将要广播的数据 IP 规则数据存放在HDFS上，（广播出去的内
博客
- 0
- 0
- 20
牛肉丸没牛肉2019-8-18 18:25:45
Spark- 使用第三方依赖解析IP地址

使用 github上已有的开源项目 1)git clone https://github.com
博客
- 0
- 0
- 41
牛肉丸没牛肉2019-8-18 18:23:29
Spark- 使用hiveContext时提交作业报错

在spark上操作hive时不需要搭建hive环境，只需要从现有的hive集群中hive的con
博客
- 0
- 0
- 16
牛肉丸没牛肉2019-8-18 18:21:46
Spark- 共享变量

Shared Variables Normally, when a function passe
博客
- 0
- 0
- 13
牛肉丸没牛肉2019-8-18 17:50:21
Spark- RDD持久化

官方原文： RDD Persistence One of the most important
博客
- 0
- 0
- 16
牛肉丸没牛肉2019-8-18 17:49:23
Spark- Action实战

Spark- Action实战 package cn.rzlee.spark.co
博客
- 0
- 0
- 18
牛肉丸没牛肉2019-8-18 17:46:40
Spark- Transformation实战

RDD的算子分为两类,是 Trans formation(Lazy),一类是 Action(触发
博客
- 0
- 0
- 16
牛肉丸没牛肉2019-8-18 17:44:08
Spark-Spark setMaster & WordCount Demo

Spark setMaster源码 /** * The master URL to connec
博客
- 0
- 0
- 22
牛肉丸没牛肉2019-8-18 17:40:57
Kafka- Spark消费Kafka

在高版本的API中 val brokers = properties.getProperty("
博客
- 0
- 0
- 15
牛肉丸没牛肉2019-8-18 16:46:47
Spark- 计算每个学科最受欢迎的老师

日志类型测试数据 http://bigdata.myit.com/zhangsan http:
博客
- 0
- 0
- 18
牛肉丸没牛肉2019-8-18 14:47:25
Spark- SparkStreaming可更新状态的实例

Producer package zx.zx.sparkkafka import java.ut
博客
- 0
- 0
- 36
牛肉丸没牛肉2019-8-18 14:46:14
Spark- RDD简介

Spark里面提供了一个比较重要的抽象——弹性分布式数据集（resilient distribu
博客
- 0
- 0
- 17
牛肉丸没牛肉2019-8-18 14:43:42
JAVA- 数据库连接池原理

第一次Java程序要在MySQL中执行一条语句，那么就必须建立一个Connection对象，代表
Java
- 0
- 0
- 29
牛肉丸没牛肉2019-8-18 12:31:53
Spark- 性能优化

由于Spark 的计算本质是基于内存的，所以Spark的性能城西的性能可能因为集群中的任何因素出
博客
- 0
- 0
- 12
牛肉丸没牛肉2019-8-18 12:28:17
Spark- Checkpoint原理剖析

Checkpoint，是Spark 提供的一个比较高级的功能。有的时候，比如说，我们的 Spar
博客
- 0
- 0
- 15
牛肉丸没牛肉2019-8-18 12:25:58
Spark- 优化后的 shuffle 操作原理剖析

在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGr
博客
- 0
- 0
- 12
牛肉丸没牛肉2019-8-18 12:24:56
Spark- Spark普通Shuffle操作的原理剖析

在spark中，什么情况下会发生shuffle？ reduceByKey，groupByKey，
博客
- 0
- 0
- 19
牛肉丸没牛肉2019-8-18 12:22:54
Spark- Spark内核架构原理和Spark架构深度剖析

Spark内核架构原理 1.Driver 选spark节点之一，提交我们编写的spark程序，开
博客
- 0
- 0
- 20
牛肉丸没牛肉2019-8-18 12:21:01
Spark- Spark基本工作原理

Spark特点： 1.分布式 spark读取数据时是把数据分布式存储到各个节点内存中 2.主要基
博客
- 0
- 0
- 20
牛肉丸没牛肉2019-8-18 12:19:27
Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory

在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误.
博客
- 0
- 0
- 28
牛肉丸没牛肉2019-8-18 11:59:55
$Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.$
Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

运行 mport org.apache.log4j.{Level, Logger} import org.ap
博客
- 0
- 0
- 55
牛肉丸没牛肉2019-8-18 11:55:56
$Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.$
Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

报错 G:\APP\JDK\bin\java -Didea.launcher.port=7532
博客
- 0
- 0
- 17
牛肉丸没牛肉2019-8-17 18:48:47
Spark- Linux下安装Spark

Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前
博客
- 0
- 0
- 31
牛肉丸没牛肉2019-8-17 18:46:43
单机版Spark安装及PySpark环境配置

单机版Spark安装到官网http://archive.apache.org/dist/spark/ 下选择
博客
- 0
- 0
- 112
牛肉丸没牛肉2019-8-1 9:56:11

个人中心

购物车

优惠劵

今日签到

有新私信私信列表

搜索

❯

幸运之星正在降临...

点击领取今天的签到奖励！

恭喜！您今天获得了{{mission.data.mission.credit}}积分

今日签到

连续签到

{{item.date}}

{{item.credit}}

{{item.date}}

连续{{item.count}}天

查看所有

我的优惠劵

_￥_优惠劵

使用时效：无法使用

使用时效：
之前

使用时效：永久有效

优惠劵ID：
×

限制以下商品使用：限制以下商品分类使用：不限制使用：

[{{ct.name}}]

所有商品和商品类型均可使用

没有优惠劵可用!

购物车

×

删除

购物车空空如也!

清空购物车前往结算

您有新的私信

没有新私信

写新私信查看全部