文章
文章用户商铺快讯星球文档问答供求信息
全部标签

大数据

最新随机最多浏览最多喜欢最多评论
  • Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

    Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

      如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10，   2019-01-03 05:36:14,774 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* allocate blk_1073741949_1131{UCState=…
    博客
    • 0
    • 0
    • 160
    牛肉丸没牛肉牛肉丸没牛肉
  • Openldap- 大集群身份验证服务

    Openldap- 大集群身份验证服务

      无论在哪个行业，数据安全永远都是摆在首要地位。尤其是在大数据行业上，谁掌握了数据，谁就有可能成为下个亿万富豪的环境中，数据安全更为重要。大数据的安全可以从哪些地方入手，首先可以在身份验证上面入手。在大数据的集群设备上做好身份验证，可以使用openldap来做。 唯有通过openldap管理的账号才能对大数据系统进行访问，没有通过openldap创建的账号是不能login到Hadoop…
    博客
    • 0
    • 0
    • 70
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 计算每个学科最受欢迎的老师

    Spark- 计算每个学科最受欢迎的老师

      日志类型 测试数据 http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://java.myit.c…
    博客
    • 0
    • 0
    • 79
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Hadoop环境搭建

    Hadoop- Hadoop环境搭建

      Windows下Hadoop的安装 准备工具：64位的JDK,Hadoop安装包（我使用的是2.6.1） JDK下载地址 官网： http://www.oracle.com/technetwork/java/javase/downloads/index.html Hadoop下载地址 官网：http://hadoop.apache.org/ 1.安装JDK环境，配置系统环境变量. 选…
    博客
    • 0
    • 0
    • 70
    牛肉丸没牛肉牛肉丸没牛肉
  • Redis- 内存数据库Redis之安装部署

    Redis- 内存数据库Redis之安装部署

      内存数据库Redis之安装部署 Redis是一款非关系型，key-value存储的内存数据库，Redis数据库完全在内存中，使用磁盘仅用于持久性。Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。 支持丰富的数据类型：Redis支持字符串、列表、集合、有序集合散列数据类型，这使得它非常容易解决各种各样的问题。把redis看成java的一个hashmap你就入门…
    博客
    • 0
    • 0
    • 101
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Spark从SFTP中读取zip压缩文件数据做计算

    Spark- Spark从SFTP中读取zip压缩文件数据做计算

      我们遇到个特别的需求，一个数据接入的流程跑的太慢，需要升级为用大数据方式去处理，提高效率。 数据： 数据csv文件用Zip 压缩后放置在SFTP中 数据来源： SFTP 数据操作： 文件和它的压缩包一致，后缀不同。文件名中包含渠道、日期、操作标记("S"追加,"N"全量,"D"删除)   升级前的操作方式： she…
    博客
    • 0
    • 0
    • 114
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- MR的shuffle过程

    Hadoop- MR的shuffle过程

    step1 input InputFormat读取数据，将数据转换成<key ,value>对,设置FileInputFormat，默认是文本格式（TextInputFormat）   step2 map map<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 默认情况下KEYIN:LongWritable,偏移量。VALUEIN:Text，K…
    博客
    • 0
    • 0
    • 46
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive Web Interface

    Hive- Hive Web Interface

      当我们安装好hive时候，我们启动hive的UI界面的时候，命令: hive –-service hwi ，报错，没有war包 我们查看hive/conf/hive-default.xml.template，查找hwi 把这3台属性复制，添加到hive-site.xml里面， vim hive-site.xml <property> <name>hive.hw…
    博客
    • 0
    • 0
    • 101
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 共享变量

    Spark- 共享变量

      Shared Variables Normally, when a function passed to a Spark operation (such as map or reduce) is executed on a remote cluster node, it works on separate copies of all the variables used in the…
    博客
    • 0
    • 0
    • 84
    牛肉丸没牛肉牛肉丸没牛肉
  • Python- NumPy

    Python- NumPy

       NumPy包括的内容 NumPy系统是 Python的一种开源的数值计算扩展,是一个用 python实现的科学计算包。包括： 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组,称为 ndarray(N-dimensional array object ) 用于对整组数据进行快速运算的标准数学函数, func( universal function object) 用于整…
    Python
    • 0
    • 0
    • 168
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题

    CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题

      CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题   cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉    
    博客
    • 0
    • 0
    • 51
    牛肉丸没牛肉牛肉丸没牛肉
  • 大数据- 自定义Log4j日记

    大数据- 自定义Log4j日记

      1.新建一个java project，在src下新建一个lib文件夹和 rescources 文件夹，resources文件夹不能命名错误。 点击File——》project Structure...打开根据下图操作 把相关jar包放进lib文件夹里并绑定。 新建一个java文件 Log4jTest.java 和 HadoopLog4j.java   1 2 3 4 5 6…
    博客
    • 0
    • 0
    • 45
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Spark基本工作原理

    Spark- Spark基本工作原理

      Spark特点： 1.分布式 spark读取数据时是把数据分布式存储到各个节点内存中 2.主要基于内存（少数情况基于磁盘，如shuffle阶段） 所有计算操作，都是针对多个节点上内存的数据，进行并行操作的 3.迭代式计算 对分布式节点内存中的数据进行处理，处理后的数据可能会移动到其他节点的内存中，当需要用到某些数据时，从这些节点的内存中就能找到，迭代出来使用 Spark与MapRed…
    博客
    • 0
    • 0
    • 84
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- Storm作业提交运行流程

    Storm- Storm作业提交运行流程

      用户编写Storm Topology 使用client提交Topology给Nimbus Nimbus指派Task给Supervisor Supervisor为Task启动Worker Worker执行Task    
    博客
    • 0
    • 0
    • 73
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- HDFS的API操作

    Hadoop- HDFS的API操作

      1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 注：如需手动引入ja…
    博客
    • 0
    • 0
    • 124
    牛肉丸没牛肉牛肉丸没牛肉
  • Kafka- Kafka架构功能

    Kafka- Kafka架构功能

      Kafka是一个高吞吐量的分布式消息系统，一个分布式的发布-订阅消息系统。Kafka是一种快速，可拓展的，设计内在就是分布式的，分区的可复制的提交日志服务。 Apache Kafka与传统消息系统相比，有以下不同： 它设计为一个分布式系统，易于向外拓展； 它同时为发布和订阅提供高吞吐量； 它支持多订阅者，当失败时能自动平衡消费者； 它将消息持久化到磁盘，因此可用于批量消费，例如ETL…
    博客
    • 0
    • 0
    • 46
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 使用第三方依赖解析IP地址

    Spark- 使用第三方依赖解析IP地址

      使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…
    博客
    • 0
    • 0
    • 101
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 性能优化

    Spark- 性能优化

      由于Spark 的计算本质是基于内存的，所以Spark的性能城西的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。如果内存能够容得下所有的数据，那么网络传输和通信就会导致性能出现频惊。但是如果内存比较紧张，不足以放下所有的数据（比如在针对10亿以上的数据量进行计算时），还是需要对内存的使用进行性能优化的，比如说使用一些手段来减少内存的消耗。 Spark性能优化，其…
    博客
    • 0
    • 0
    • 72
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- 使用Storm实现累积求和的操作

    Storm- 使用Storm实现累积求和的操作

      需求：1+2+3+... = ？？？ 实现方案： Spout发出数字作为input 使用Bolt来处理业务逻辑：求和 将结果输出到控制台 拓扑设计：DataSourceSpout -->SumBolt→输出   package com.imooc.bigdata; import org.apache.storm.Config; import org.apache.st…
    博客
    • 0
    • 0
    • 74
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- 测试mr

    CDH- 测试mr

      cdh的mr样例算法的jar包在 [zc.lee@ip-172-32-1-221 hadoop-0.20-mapreduce]$ pwd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/hadoop-0.20-mapreduce 查看该目录下的文件 [zc.lee@ip-172-32-1-221 hadoop-0.20-m…
    博客
    • 0
    • 0
    • 123
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkStreaming可更新状态的实例

    Spark- SparkStreaming可更新状态的实例

      Producer package zx.zx.sparkkafka import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.util.Random /** * Created by 166 on 2017/9/6. */ object…
    博客
    • 0
    • 0
    • 89
    牛肉丸没牛肉牛肉丸没牛肉
  • Linux- AWS之EC2大数据集群定时开关机

    Linux- AWS之EC2大数据集群定时开关机

      众所周知，云计算就是在计算你的钱，每当ec2开起来就要开始计费。当用户购买了一个庞大的与服务器做一个集群，尤其是用来做大数据集群，这些服务器的配置相当高，每台服务器所需要的费用不菲。其实在很多时候没能够完全利用起其全部的资源，尤其在空闲时间，在夜间没有作业的情况下，这些服务器完全处于空闲的状态，却时刻在计费，这是相当不划算的。于是有这样一个方案，我们是不是可以在机器处于空闲的状态时将…
    博客
    • 0
    • 0
    • 118
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- 集群时间同步

    Hadoop- 集群时间同步

      集群的时间要同步 * 找一台机器 时间服务器 * 所有的机器与这台机器时间进行定时的同步 比如，每日十分钟，同步一次时间 # rpm -qa|grep ntp # vi /etc/ntp.conf # vi /etc/sysconfig/ntpd # Drop root to id 'ntp:ntp' by default. SYNC_HWCLOCK=yes OP…
    博客
    • 0
    • 0
    • 58
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Checkpoint原理剖析

    Spark- Checkpoint原理剖析

      Checkpoint，是Spark 提供的一个比较高级的功能。有的时候，比如说，我们的 Spark 应用程序，特别的复杂，然后从初始的RDD开始，到最后拯个应用程序完成，有非常多的步骤，比如超过20个transformation 操作。而且整个应用运行的时间也特别的长，比如通常要运行1-5小时。 在上述的情况下，就比较适合使用checkpoint 功能。因为，对于特别复杂的 Spar…
    博客
    • 0
    • 0
    • 75
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop HA- zookeeper安装配置

    Hadoop HA- zookeeper安装配置

      安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包： 把下载好的zookeeper安装包，官网：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.8/  上传到服务器。 1.3解压  tar –xvzf zookeeper-3.4.8.tar.gz ，解压后放进 /usr/ 即可 …
    博客
    • 0
    • 0
    • 57
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

    Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

      在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值给新的变量名会报NullPointerException错误， 可以先用row.isNullAt(index)去判断该字段的值是否为空 首先上错误 修改为先初始化变量，判断row.isNullAt(6) 如果不为空就将值赋值给变量      
    博客
    • 0
    • 0
    • 103
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- HDFS的Safemode

    Hadoop- HDFS的Safemode

      Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进入安全模式，等待DataNode向NameNode发送block report ，当datanode blocks / total blocks = 99.99%，此时安全模式才会退出 安全模式下的操作： 可以查看文件系统的文件 在安全模式期间我们有些操作是不能进行的，比如不能改变文件系统…
    博客
    • 0
    • 0
    • 96
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- 表

    Hive- 表

      在hive中表的类型：管理表和托管表（外部表）。 内部表也称之为MANAGER_TABLE,默认存储在/user/hive/warehouse下，也可以通过location指定；删除表时，会删除表的数据以及元数据； 外部表称之为EXTERNAL_TABLE。在创建表时可以自己指定目录位置（LOCATION），数据存储所在的目录；删除表时，只会删除元数据不会删除表数据； 创建外部表实例…
    博客
    • 0
    • 0
    • 97
    牛肉丸没牛肉牛肉丸没牛肉
  • Docker-

    Docker-

      Docker是容器技术的一个代表。容器技术从本质上讲是将程序隔离打包这么个技术。Docker解决了软件包装问题，很好的理顺了开发和运维环境的差异，使得开发和运维可以全用同种语言进行沟通。它是一个云计算的技术。 Docker是通过内核虚拟化技术（namespace及cgroups等）来提供容器的资源隔离与安全保障。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运…
    博客
    • 0
    • 0
    • 52
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 数据倾斜

    HIVE- 数据倾斜

      数据倾斜就是由于数据分布不均匀，数据大量集中到一点上，造成数据热点。大多数情况下，分为一下三种情况： 1.map端执行比较快，reduce执行很慢，因为partition造成的数据倾斜。 2.某些reduce很快，某些reduce很慢，也是因为partition造成的数据倾斜。 3.某些map执行很快，某些map执行很慢，这是因为数据本身的分布的不合理性造成的。 造成上面reduce…
    博客
    • 0
    • 0
    • 52
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 优化后的 shuffle 操作原理剖析

    Spark- 优化后的 shuffle 操作原理剖析

      在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGroup的概念。一个 ShuffleMapTask 将数据写入 ResultTask 数量的本地文本，这个不会变。但是，当下一个 ShuffleMapTask 运行的时候，可以直接将数据写入之前的 ShuffleMapTask 的本地文件。相当于是，对多个 ShuffleMapTask 输出…
    博客
    • 0
    • 0
    • 48
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop HA- hadoop集群部署

    Hadoop HA- hadoop集群部署

      前期部署，至少准备3台服务器（可以是虚拟机） 1、linux系统环境准备 ip地址配置 hostname配置 hosts映射配置 关闭防火墙 service iptables stop ,也可以设置防火墙不开机自启动 chkconfig iptables off  init启动级别修改 2.java环境的配置 上传jdk，解压，修改/etc/profile 3.zookeeper集群…
    博客
    • 0
    • 0
    • 105
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- RDD简介

    Spark- RDD简介

      Spark里面提供了一个比较重要的抽象——弹性分布式数据集（resilient distributed dataset），简称RDD。弹性：数据可大可小，可分布在内存或磁盘，当某台机器宕机时，能够按照RDD的liveage重新计算，从而恢复。 RDD有5个特性： 1.一个分区列表，用于并行计算，每个分区对应一个原子数据集，作为这个分区的数据输入 2.计算这个RDD某个分区数据（这个分…
    博客
    • 0
    • 0
    • 68
    牛肉丸没牛肉牛肉丸没牛肉
  • 数据仓库- 建模理念

    数据仓库- 建模理念

      数仓建模的目标 访问性能：能够快速查询所需的数据，减少数据I/O 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。 使用效率：改善用户使用体验，提高使用数据的效率 数据质量：改善数据统计口径的不一致性，减少数据计算错误的可性，提供高质量的、一致的数据访问平台   大数据的数仓建模需要通过建模的方法更好的组织、存储数据、以便在性能、…
    博客
    • 0
    • 0
    • 57
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 使用hiveContext时提交作业报错

    Spark- 使用hiveContext时提交作业报错

      在spark上操作hive时不需要搭建hive环境，只需要从现有的hive集群中hive的conf目录下拷贝 hive-site.xml 到spark的conf目录下即可提交程序运行   出现报错 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONEC…
    博客
    • 0
    • 0
    • 53
    牛肉丸没牛肉牛肉丸没牛肉
  • Zeppelin- Linux下安装Zeppelin

    Zeppelin- Linux下安装Zeppelin

    前期部署: 下载,解压,配置PATH环境(编辑/etc/profile文件,记得source一下该文件) zepplin配置参考文档:https://zeppelin.apache.org/docs/0.7.2/install/configuration.html 往conf/zeppelin-env.sh文件中添加端口号 往底部添加 export ZEPPLELIN_PORT=8090 修改配置…
    博客
    • 0
    • 0
    • 94
    牛肉丸没牛肉牛肉丸没牛肉
123
❮❯
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部