文章
文章用户商铺快讯星球文档问答供求信息
全部标签

大数据

最新随机最多浏览最多喜欢最多评论
  • Hadoop- 集群时间同步

    Hadoop- 集群时间同步

      集群的时间要同步 * 找一台机器 时间服务器 * 所有的机器与这台机器时间进行定时的同步 比如，每日十分钟，同步一次时间 # rpm -qa|grep ntp # vi /etc/ntp.conf # vi /etc/sysconfig/ntpd # Drop root to id 'ntp:ntp' by default. SYNC_HWCLOCK=yes OP…
    博客
    • 0
    • 0
    • 49
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 新建UDF范例

    HIVE- 新建UDF范例

      首先pom文件导入依赖，Hadoop和hive的依赖导入自己机器的版本，hive记得导jdbc <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</v…
    博客
    • 0
    • 0
    • 48
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Action实战

    Spark- Action实战

      Spark- Action实战   package cn.rzlee.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ActionOperation { def main(args: Array[String]): Unit…
    博客
    • 0
    • 0
    • 47
    牛肉丸没牛肉牛肉丸没牛肉
  • ERROR- 开发常见error

    ERROR- 开发常见error

      一，数据插入MySql中出现中文乱码 解决办法有： 1。新建数据库选择 create database 'GG' CHARACTER SET 'utf8 ' COLLATE 'utf8_general_ci '; 2。建表的时候： CREATE TABLE `TableA` (`ID` varchar(40) NOT NUL…
    博客
    • 0
    • 0
    • 46
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop HA- zookeeper安装配置

    Hadoop HA- zookeeper安装配置

      安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包： 把下载好的zookeeper安装包，官网：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.8/  上传到服务器。 1.3解压  tar –xvzf zookeeper-3.4.8.tar.gz ，解压后放进 /usr/ 即可 …
    博客
    • 0
    • 0
    • 45
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 数据倾斜

    HIVE- 数据倾斜

      数据倾斜就是由于数据分布不均匀，数据大量集中到一点上，造成数据热点。大多数情况下，分为一下三种情况： 1.map端执行比较快，reduce执行很慢，因为partition造成的数据倾斜。 2.某些reduce很快，某些reduce很慢，也是因为partition造成的数据倾斜。 3.某些map执行很快，某些map执行很慢，这是因为数据本身的分布的不合理性造成的。 造成上面reduce…
    博客
    • 0
    • 0
    • 44
    牛肉丸没牛肉牛肉丸没牛肉
  • PyMiner-py2cn 数据分析工具：开源界的MATLAB

    PyMiner-py2cn 数据分析工具：开源界的MATLAB

    PyMiner 是一款数据处理、分析、建模、评估软件，目的是使 pandas\sklearn 的操作进行可视化。项目开发环境基于Window 10 X64，使用 Python3.8+PyQt5.15+Pycharm 进行技术开发。同时，此项目支持跨平台，这意味着即使是Linux、Mac也可以使用或开发此软件。 安装 下载项目源码 安装python并打开命令行工具，使用 pip install -r…
    大数据
    • 0
    • 0
    • 43
    summersummer
  • Scala- Double类型工具类

    Scala- Double类型工具类

      格式化分数，按照指定小数位四舍五入工具类 package com.rz.util object NumberUtils { /** * 格式化小数 * @param num Double对象 * @param scale 四舍五入的位数 * @return 格式化后的小数 */ def formatDouble(num: Double, scale: Int)={ val decim…
    博客
    • 0
    • 0
    • 41
    牛肉丸没牛肉牛肉丸没牛肉
  • Kafka- Spark消费Kafka

    Kafka- Spark消费Kafka

      在高版本的API中 val brokers = properties.getProperty("kafka.host.list") val topics = Set(properties.getProperty("kafka.application.topic")) val kafkaParams = Map[String, String]( …
    博客
    • 0
    • 0
    • 41
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Spark普通Shuffle操作的原理剖析

    Spark- Spark普通Shuffle操作的原理剖析

      在spark中，什么情况下会发生shuffle？ reduceByKey，groupByKey，sortByKey，countByKey，join，cogroup等操作。 默认的shuffle操作的原理剖析 假设有一个节点上面运行了4个 ShuffleMapTask，然后这个节点上只有2个 cpu core。假如有另外一台节点，上面也运行了4个ResultTask，现在呢，正等着要去…
    博客
    • 0
    • 0
    • 40
    牛肉丸没牛肉牛肉丸没牛肉
  • DataWarehouse- 从面试定位自己的水平

    DataWarehouse- 从面试定位自己的水平

      1.讲一下什么是维度表和事实表。用户资料表算是什么类型表。 2. 维度建模属于第几范式，让你对维度建模改进，有什么思路吗。 3. 了解数据血缘分析吗，让你实现的话有什么技术方案，感觉难点在哪。 4. 了解数据分层吗，讲一下分四层或者五层各有什么优劣。自己摸你一个场景，给出不同的方案。 5. 数据口径不一致的问题一般在什么情况下会发生，怎么避免。    
    博客
    • 0
    • 0
    • 40
    牛肉丸没牛肉牛肉丸没牛肉
  • 数据仓库- 建模理念

    数据仓库- 建模理念

      数仓建模的目标 访问性能：能够快速查询所需的数据，减少数据I/O 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。 使用效率：改善用户使用体验，提高使用数据的效率 数据质量：改善数据统计口径的不一致性，减少数据计算错误的可性，提供高质量的、一致的数据访问平台   大数据的数仓建模需要通过建模的方法更好的组织、存储数据、以便在性能、…
    博客
    • 0
    • 0
    • 39
    牛肉丸没牛肉牛肉丸没牛肉
  • Docker-

    Docker-

      Docker是容器技术的一个代表。容器技术从本质上讲是将程序隔离打包这么个技术。Docker解决了软件包装问题，很好的理顺了开发和运维环境的差异，使得开发和运维可以全用同种语言进行沟通。它是一个云计算的技术。 Docker是通过内核虚拟化技术（namespace及cgroups等）来提供容器的资源隔离与安全保障。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运…
    博客
    • 0
    • 0
    • 39
    牛肉丸没牛肉牛肉丸没牛肉
  • Hbase- Hbase客户端读写数据时的路由流程

    Hbase- Hbase客户端读写数据时的路由流程

      1、客户端先到zookeeper查找hbase:meta所在的RegionServer服务器 2、去hbase:meta表查找自己所要的数据所在的region server 3、去目标region server上的region要自己的数据 可以看出客户端查找数据可以不经过master      
    博客
    • 0
    • 0
    • 39
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- SCD缓慢变化维

    HIVE- SCD缓慢变化维

      SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。 解决方式： 是否保留历史数据 保留多久历史数据 历史状态如何与事实表关联 SCD1 保留最新状态 注册日期 用户编号 手机号码 2019-01-01 0001 111111 20…
    博客
    • 0
    • 0
    • 38
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 使用hiveContext时提交作业报错

    Spark- 使用hiveContext时提交作业报错

      在spark上操作hive时不需要搭建hive环境，只需要从现有的hive集群中hive的conf目录下拷贝 hive-site.xml 到spark的conf目录下即可提交程序运行   出现报错 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONEC…
    博客
    • 0
    • 0
    • 37
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Hadoop运维小计

    Hadoop- Hadoop运维小计

      如果是新添加一个节点，需要执行以下步骤： 首先，把新节点的 IP或主机名 加入主节点（master）的 conf/slaves 文件。 然后登录新的从节点，执行以下命令： $ cd Hadoop_path $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker   然后就可…
    博客
    • 0
    • 0
    • 37
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- NameNode和Secondary NameNode元数据管理机制

    Hadoop- NameNode和Secondary NameNode元数据管理机制

     元数据的存储机制A、内存中有一份完整的元数据(内存meta data)B、磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中)C、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（edits文件）NameNode和Secondary NameNode元数据管理机制客户端每次对文件的操作，如果涉及到元数据的更新（读除外），比如…
    博客
    • 0
    • 0
    • 36
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 优化后的 shuffle 操作原理剖析

    Spark- 优化后的 shuffle 操作原理剖析

      在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGroup的概念。一个 ShuffleMapTask 将数据写入 ResultTask 数量的本地文本，这个不会变。但是，当下一个 ShuffleMapTask 运行的时候，可以直接将数据写入之前的 ShuffleMapTask 的本地文件。相当于是，对多个 ShuffleMapTask 输出…
    博客
    • 0
    • 0
    • 35
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- 大数据仓库Hive

    Hive- 大数据仓库Hive

      什么是 Hive？ Hive 是由 FaceBook 开源用于解决少量数据结构化日志的数据统计。Hive是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。Hive 处理的数据存储在 HDFS 上，分析数据的底层实现是 MapReduce ，执行程序运行的是YARN。 构建在Hadoop之上的数据仓库： 使用 HQL 作为查询接口 使…
    博客
    • 0
    • 0
    • 35
    牛肉丸没牛肉牛肉丸没牛肉
  • 大数据- 自定义Log4j日记

    大数据- 自定义Log4j日记

      1.新建一个java project，在src下新建一个lib文件夹和 rescources 文件夹，resources文件夹不能命名错误。 点击File——》project Structure...打开根据下图操作 把相关jar包放进lib文件夹里并绑定。 新建一个java文件 Log4jTest.java 和 HadoopLog4j.java   1 2 3 4 5 6…
    博客
    • 0
    • 0
    • 33
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题

    CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题

      CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题   cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉    
    博客
    • 0
    • 0
    • 32
    牛肉丸没牛肉牛肉丸没牛肉
  • Kafka- Kafka架构功能

    Kafka- Kafka架构功能

      Kafka是一个高吞吐量的分布式消息系统，一个分布式的发布-订阅消息系统。Kafka是一种快速，可拓展的，设计内在就是分布式的，分区的可复制的提交日志服务。 Apache Kafka与传统消息系统相比，有以下不同： 它设计为一个分布式系统，易于向外拓展； 它同时为发布和订阅提供高吞吐量； 它支持多订阅者，当失败时能自动平衡消费者； 它将消息持久化到磁盘，因此可用于批量消费，例如ETL…
    博客
    • 0
    • 0
    • 32
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- MR的shuffle过程

    Hadoop- MR的shuffle过程

    step1 input InputFormat读取数据，将数据转换成<key ,value>对,设置FileInputFormat，默认是文本格式（TextInputFormat）   step2 map map<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 默认情况下KEYIN:LongWritable,偏移量。VALUEIN:Text，K…
    博客
    • 0
    • 0
    • 31
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive 按时间定期插入分区表

    Hive- Hive 按时间定期插入分区表

        写个shell脚本Hive 按时间定期插入分区表,由于今天统计的是昨天的数据所以日期减一。 #！/bin/bash DT=`date -d '-1 day' "+%Y-%m-%d"` #如果某天的数据有误需要重跑 if [ $1 ];then DT=$1 fi SQL=" insert overwrite table t…
    博客
    • 0
    • 0
    • 30
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- JdbcRDD以及注意事项

    Spark- JdbcRDD以及注意事项

      先上Demo package com.rz.spark.base import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} object JdbcRDDDemo { def main(args: Array[St…
    博客
    • 0
    • 0
    • 26
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- 集群启动详解

    Hadoop- 集群启动详解

      NameNode启动过程详解 第一次启动：HDFS格式化后，生成fsimage文件 hdf    
    博客
    • 0
    • 0
    • 26
    牛肉丸没牛肉牛肉丸没牛肉
123
❮❯
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部