文章
文章用户商铺快讯星球文档问答供求信息
全部标签

博客

最新随机最多浏览最多喜欢最多评论
  • pyspark-pycharm本地运行pyspark程序报错org.apache.spark.SparkException: Python worker failed to connect back.

    pyspark-pycharm本地运行pyspark程序报错org.apache.spark.SparkException: Python worker failed to connect back.

    新配置的本地pyspark环境，本地运行pyspark程序报错，org.apache.spark.SparkException: Python worker failed to connect back. 解决办法1： 在pycharm上运行时，Edit Configurations，配置环境变量 PYSPARK_PYTHON=${windows上安装的python路径}python.exe 解决…
    博客
    • 2
    • 1
    • 142
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 使用第三方依赖解析IP地址

    Spark- 使用第三方依赖解析IP地址

      使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…
    博客
    • 0
    • 0
    • 109
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 根据ip地址计算归属地

    Spark- 根据ip地址计算归属地

      主要考察的是广播变量的使用： 1、将要广播的数据 IP 规则数据存放在HDFS上，（广播出去的内容一旦广播出去产就不能改变了，如果需要实时改变的规则，可以将规则放到Redis中） 2、在Spark中转成RDD，然后收集到Driver端， 3、把 IP 规则数据广播到Executor中。Driver端广播变量的引用是怎样跑到 Executor中的呢?　　Task在Driver端生成的，…
    博客
    • 0
    • 0
    • 149
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 自定义排序

    Spark- 自定义排序

      考察spark自定义排序 方式一：自定义一个类继承Ordered和序列化，Driver端将数据变成RDD，整理数据转成自定义类类型的RDD，使用本身排序即可。 package com.rz.spark.base import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} // 自定…
    博客
    • 0
    • 0
    • 93
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- JdbcRDD以及注意事项

    Spark- JdbcRDD以及注意事项

      先上Demo package com.rz.spark.base import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} object JdbcRDDDemo { def main(args: Array[St…
    博客
    • 0
    • 0
    • 50
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- SCD缓慢变化维

    HIVE- SCD缓慢变化维

      SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。 解决方式： 是否保留历史数据 保留多久历史数据 历史状态如何与事实表关联 SCD1 保留最新状态 注册日期 用户编号 手机号码 2019-01-01 0001 111111 20…
    博客
    • 0
    • 0
    • 68
    牛肉丸没牛肉牛肉丸没牛肉
  • Scala- Double类型工具类

    Scala- Double类型工具类

      格式化分数，按照指定小数位四舍五入工具类 package com.rz.util object NumberUtils { /** * 格式化小数 * @param num Double对象 * @param scale 四舍五入的位数 * @return 格式化后的小数 */ def formatDouble(num: Double, scale: Int)={ val decim…
    博客
    • 0
    • 0
    • 64
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

    Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

      在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值给新的变量名会报NullPointerException错误， 可以先用row.isNullAt(index)去判断该字段的值是否为空 首先上错误 修改为先初始化变量，判断row.isNullAt(6) 如果不为空就将值赋值给变量      
    博客
    • 0
    • 0
    • 109
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 求最受欢迎的TopN课程

    Spark- 求最受欢迎的TopN课程

      数据库操作工具类 package com.rz.mobile_tag.utils import java.sql.{Connection, DriverManager, PreparedStatement} object MySQLUtils { /** * 获取数据库连接 * @return */ def getConnection()={ DriverManager.getCon…
    博客
    • 0
    • 0
    • 119
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 数据清洗

    Spark- 数据清洗

      输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换（输入==>输出）工具类 */ object A…
    博客
    • 0
    • 0
    • 102
    牛肉丸没牛肉牛肉丸没牛肉
  • RedisDesktopManager 2019.3_Redis桌面管理工具2019.3 发布

    RedisDesktopManager 2019.3_Redis桌面管理工具2019.3 发布

    RedisDesktopManager 2019.3 版本已发布，Redis Desktop Manager(RedisDesktopManager，RDM)是一个快速、简单、支持跨平台的 Redis 桌面管理工具，基于 Qt 5 开发，支持通过 SSH Tunnel 连接。 该版本主要更新如下： 新特性 添加 hyperloglog 支持 (#3656) 修复 使 macOS 包与 10.15 …
    博客
    • 0
    • 0
    • 978
    hunterhohunterho
  • Hadoop- HDFS的API操作

    Hadoop- HDFS的API操作

      1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 注：如需手动引入ja…
    博客
    • 0
    • 0
    • 134
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 常见问题

    Spark- 常见问题

      记录spark使用中常见问题 SparkSQL 日期解析时用到SimpleDateFormat， SimpleDateFormat是线程不安全的。可以使用 FastDateFormat 如： import org.apache.commons.lang3.time.FastDateFormat // 输入文件日期时间格式 // [10/Nov/2018:00:01:02 +0800]…
    博客
    • 0
    • 0
    • 82
    牛肉丸没牛肉牛肉丸没牛肉
  • spark- PySparkSQL之PySpark解析Json集合数据

    spark- PySparkSQL之PySpark解析Json集合数据

      PySparkSQL之PySpark解析Json集合数据 数据样本 12341234123412342|asefr-3423|[{"name":"spark","score":"65"},{"name":"airlow","score":&quo…
    博客
    • 0
    • 0
    • 76
    牛肉丸没牛肉牛肉丸没牛肉
  • ERROR- 开发常见error

    ERROR- 开发常见error

      一，数据插入MySql中出现中文乱码 解决办法有： 1。新建数据库选择 create database 'GG' CHARACTER SET 'utf8 ' COLLATE 'utf8_general_ci '; 2。建表的时候： CREATE TABLE `TableA` (`ID` varchar(40) NOT NUL…
    博客
    • 0
    • 0
    • 68
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Spark从SFTP中读取zip压缩文件数据做计算

    Spark- Spark从SFTP中读取zip压缩文件数据做计算

      我们遇到个特别的需求，一个数据接入的流程跑的太慢，需要升级为用大数据方式去处理，提高效率。 数据： 数据csv文件用Zip 压缩后放置在SFTP中 数据来源： SFTP 数据操作： 文件和它的压缩包一致，后缀不同。文件名中包含渠道、日期、操作标记("S"追加,"N"全量,"D"删除)   升级前的操作方式： she…
    博客
    • 0
    • 0
    • 122
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop 生态数据存储系统 Apache Kudu 1.11.0

    Hadoop 生态数据存储系统 Apache Kudu 1.11.0

    资源简介：Apache Kudu 1.11.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取与高效分析读取模式。它基于 Apache Hadoop 生态系设计，并支持与 Apache 软件基金会其它数据分析项目集成。此版本带来的新特性包括：Kudu 现在支持维护平板电脑服务器。在此模式下，如果平板电脑服务器的副本失败，将不会重新复制它。仅在退出维护时，才会对任…
    博客
    • 0
    • 0
    • 60
    summersummer
  • Harbor 1.9，新增多项企业级功能

    Harbor 1.9，新增多项企业级功能

     Harbor 1.9 版本新功能众多，包括 tag 保留和配额、可与 CI/CD 工具集成的 Webhook 通知、数据复制、Syslog 集成以及 CVE 例外策略等安全功能。Webhook如果您是项目管理员，可以通过 Webhook 的通知机制，将 Harbor 的项目与您技术栈的其余部分连接在一起。简言之，如果您配置了 Webhook，Harbor 会就把该项目中发生的某些事件（…
    博客
    • 0
    • 0
    • 140
    hunterhohunterho
  • Python 爬虫框架Scrapy 2.0.0

    Python 爬虫框架Scrapy 2.0.0

    Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。 此版本主要更新亮点包括： 不再支持 Python 2 部分协程语法支持和实验性异步支持 新的 Response.follow_all 方法 FTP 对媒体管道的支持 新的 Response.certificate 属性 通过…
    Python
    • 0
    • 0
    • 109
    summersummer
  • KarelDB：Kafka 支持的一款开源关系数据库

    KarelDB：Kafka 支持的一款开源关系数据库

     Java 开发者对 Apache Kafka 应该不会感到陌生，这是一个分布式的发布订阅消息系统，作为一个非常重要的开源项目，它已经被许多公司以及产品用作关键组件。Kafka 及其配套的 Key-Value 存储系统如今也越来越多地被用来为关系数据库提供持久性存储，大多数数据库也使用 Key-Value 存储系统作为基础。本文将要介绍的这款数据库正是由 Apache Kafk…
    博客
    • 0
    • 0
    • 99
    hunterhohunterho
  • Hadoop- Hadoop环境搭建

    Hadoop- Hadoop环境搭建

      Windows下Hadoop的安装 准备工具：64位的JDK,Hadoop安装包（我使用的是2.6.1） JDK下载地址 官网： http://www.oracle.com/technetwork/java/javase/downloads/index.html Hadoop下载地址 官网：http://hadoop.apache.org/ 1.安装JDK环境，配置系统环境变量. 选…
    博客
    • 0
    • 0
    • 73
    牛肉丸没牛肉牛肉丸没牛肉
  • 大数据- 自定义Log4j日记

    大数据- 自定义Log4j日记

      1.新建一个java project，在src下新建一个lib文件夹和 rescources 文件夹，resources文件夹不能命名错误。 点击File——》project Structure...打开根据下图操作 把相关jar包放进lib文件夹里并绑定。 新建一个java文件 Log4jTest.java 和 HadoopLog4j.java   1 2 3 4 5 6…
    博客
    • 0
    • 0
    • 49
    牛肉丸没牛肉牛肉丸没牛肉
  • Zookeeper- Error contacting service. It is probably not running解决方案和原理

    Zookeeper- Error contacting service. It is probably not running解决方案和原理

       搭建启动Zookeeper集群出现Error contacting service. It is probably not running解决方案和原理 1.关闭防火墙  1 2 3 4 [root@srv01 bin]# zkServer.sh start JMX enabled by default Using config: /usr/zookeeper/bin/../con…
    博客
    • 0
    • 0
    • 137
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop HA- zookeeper安装配置

    Hadoop HA- zookeeper安装配置

      安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包： 把下载好的zookeeper安装包，官网：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.8/  上传到服务器。 1.3解压  tar –xvzf zookeeper-3.4.8.tar.gz ，解压后放进 /usr/ 即可 …
    博客
    • 0
    • 0
    • 62
    牛肉丸没牛肉牛肉丸没牛肉
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部