文章
文章用户商铺快讯星球文档问答供求信息
全部标签

大数据

最新随机最多浏览最多喜欢最多评论
  • Hive- 大数据仓库Hive

    Hive- 大数据仓库Hive

      什么是 Hive？ Hive 是由 FaceBook 开源用于解决少量数据结构化日志的数据统计。Hive是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。Hive 处理的数据存储在 HDFS 上，分析数据的底层实现是 MapReduce ，执行程序运行的是YARN。 构建在Hadoop之上的数据仓库： 使用 HQL 作为查询接口 使…
    博客
    • 0
    • 0
    • 71
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 性能优化

    Spark- 性能优化

      由于Spark 的计算本质是基于内存的，所以Spark的性能城西的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。如果内存能够容得下所有的数据，那么网络传输和通信就会导致性能出现频惊。但是如果内存比较紧张，不足以放下所有的数据（比如在针对10亿以上的数据量进行计算时），还是需要对内存的使用进行性能优化的，比如说使用一些手段来减少内存的消耗。 Spark性能优化，其…
    博客
    • 0
    • 0
    • 91
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 使用第三方依赖解析IP地址

    Spark- 使用第三方依赖解析IP地址

      使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…
    博客
    • 0
    • 0
    • 125
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 数据清洗

    Spark- 数据清洗

      输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换（输入==>输出）工具类 */ object A…
    博客
    • 0
    • 0
    • 114
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive安装

    Hive- Hive安装

      Hive安装 1.1下载Hive安装包 官网：http://hive.apache.org/downloads.html 个人建议到这里下载：http://apache.forsale.plus/ 1.2将hive文件上传到HADOOP集群，并解压 将文件上传到 /usr ，解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/ 重命名:…
    博客
    • 0
    • 0
    • 89
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Hadoop详解

    Hadoop- Hadoop详解

    首先所有知识以官网为准，所有的内容在官网上都有展示，所有的变动与改进，新增内容都以官网为准。hadoop.apache.org Hadoop是一个开源的可拓展的分布式并行处理计算平台，利用服务器集群根据用户的自定义业务逻辑，对海量数据进行分布式处理。Hadoop提供了一个可靠的共享存储和分析系统，Hadoop的核心三大组件有HDFS（分布式文件系统），MapReduce（分布式运算编程框架），YA…
    博客
    • 0
    • 0
    • 176
    牛肉丸没牛肉牛肉丸没牛肉
  • Architect v2.0.6_HTML网站在线生成器

    Architect v2.0.6_HTML网站在线生成器

    资源简介：Architect是功能强大且易于使用的HTML静态网站在线生成器，它除了具有HTML静态网站在线生成的功能，同时还提供独特的功能，如主题和模板的选择，干净整洁的代码，最佳的可视化CSS和图像编辑器 以及更多更多的功能。Architect 网站在线生成器功能特性易于安装、订阅/账单、外观编辑、文本编辑器、高级拖放功能、完整的文档、上下文菜单、可翻译、多种元素、在线CSS编辑器、发布或导出…
    可视化
    • 0
    • 0
    • 166
    typhoontyphoon
  • Spark- 使用hiveContext时提交作业报错

    Spark- 使用hiveContext时提交作业报错

      在spark上操作hive时不需要搭建hive环境，只需要从现有的hive集群中hive的conf目录下拷贝 hive-site.xml 到spark的conf目录下即可提交程序运行   出现报错 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONEC…
    博客
    • 0
    • 0
    • 68
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Linux下安装Spark

    Spark- Linux下安装Spark

       Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 [root@srv01 ~]# tar -xvzf spark-1.6.1-hadoop2.6.tgz /usr/spark-1.6.1-hadoop2.6 3.在 /usr 下…
    博客
    • 0
    • 0
    • 101
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- RDD持久化

    Spark- RDD持久化

      官方原文： RDD Persistence One of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions …
    博客
    • 0
    • 0
    • 109
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 新建UDF范例

    HIVE- 新建UDF范例

      首先pom文件导入依赖，Hadoop和hive的依赖导入自己机器的版本，hive记得导jdbc <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</v…
    博客
    • 0
    • 0
    • 82
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 计算每个学科最受欢迎的老师

    Spark- 计算每个学科最受欢迎的老师

      日志类型 测试数据 http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://java.myit.c…
    博客
    • 0
    • 0
    • 111
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

    Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

      如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10，   2019-01-03 05:36:14,774 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* allocate blk_1073741949_1131{UCState=…
    博客
    • 0
    • 0
    • 226
    牛肉丸没牛肉牛肉丸没牛肉
  • Scala- Double类型工具类

    Scala- Double类型工具类

      格式化分数，按照指定小数位四舍五入工具类 package com.rz.util object NumberUtils { /** * 格式化小数 * @param num Double对象 * @param scale 四舍五入的位数 * @return 格式化后的小数 */ def formatDouble(num: Double, scale: Int)={ val decim…
    博客
    • 0
    • 0
    • 72
    牛肉丸没牛肉牛肉丸没牛肉
  • Kafka- Spark消费Kafka

    Kafka- Spark消费Kafka

      在高版本的API中 val brokers = properties.getProperty("kafka.host.list") val topics = Set(properties.getProperty("kafka.application.topic")) val kafkaParams = Map[String, String]( …
    博客
    • 0
    • 0
    • 102
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- 使用Storm实现词频汇总

    Storm- 使用Storm实现词频汇总

      需求：读取指定目录的数据，并实现单词计数的功能 实现方案： Spout来读取指定目录的数据，作为后续Bolt处理的input 使用一个Bolt把input 的数据，切割分开，我们按照逗号进分割 使用一个Bolt来进行最终的单词次数统计操作并输出 拓扑设计：DataSourceSpout ==>SpiltBolt ==>CountBolt   Storm编程注意，…
    博客
    • 0
    • 0
    • 90
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- HDFS的API操作

    Hadoop- HDFS的API操作

      1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 注：如需手动引入ja…
    博客
    • 0
    • 0
    • 163
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Transformation实战

    Spark- Transformation实战

      RDD的算子分为两类,是 Trans formation(Lazy),一类是 Action(触发任务执行 RDD不存在真正要计算的数据,而是记录了RDD的转换关系(调用了什么方法,传入什么函数)   RDD的 Trans formation的特点 1. lazy 2.生成新的RDD   package cn.rzlee.spark.core import org.…
    博客
    • 0
    • 0
    • 100
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkStreaming可更新状态的实例

    Spark- SparkStreaming可更新状态的实例

      Producer package zx.zx.sparkkafka import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.util.Random /** * Created by 166 on 2017/9/6. */ object…
    博客
    • 0
    • 0
    • 116
    牛肉丸没牛肉牛肉丸没牛肉
  • Zookeeper- Error contacting service. It is probably not running解决方案和原理

    Zookeeper- Error contacting service. It is probably not running解决方案和原理

       搭建启动Zookeeper集群出现Error contacting service. It is probably not running解决方案和原理 1.关闭防火墙  1 2 3 4 [root@srv01 bin]# zkServer.sh start JMX enabled by default Using config: /usr/zookeeper/bin/../con…
    博客
    • 0
    • 0
    • 151
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 大数据运维之hive管理

    HIVE- 大数据运维之hive管理

      我现在在一家公司负责大数据平台（CDH平台）的运维管理，最常遇见的问题我总结出来，并且继续在下面更新。希望方便自己以后trouble shooting以及方便各位同行解决问题与学习。 关于做运维有几个重要的要点一定一定要遵守的： 遇到问题冷静，冷静，冷静，就山崩都要冷静，心态关乎你是否能将问题解决同时不会给人留下不好的印象。 凡是关于对集群更改与变动的操作，一定要在测试环境测试到没问…
    博客
    • 0
    • 0
    • 112
    牛肉丸没牛肉牛肉丸没牛肉
  • 可视化开发laravel应用 Redprint Laravel App Builder CRUD Generator Plus v1.6.32 有安装指导

    可视化开发laravel应用 Redprint Laravel App Builder CRUD Generator Plus v1.6.32 有安装指导

    资源简介：Redprint App Builder is your app development flow on steroid! It’s your perfect Laravel CRUD Booster and App Builder. It has everything from it’s own Terminal Emulator, A Very powerful File Brows…
    可视化
    • 0
    • 0
    • 138
    typhoontyphoon
  • Hbase- Hbase客户端读写数据时的路由流程

    Hbase- Hbase客户端读写数据时的路由流程

      1、客户端先到zookeeper查找hbase:meta所在的RegionServer服务器 2、去hbase:meta表查找自己所要的数据所在的region server 3、去目标region server上的region要自己的数据 可以看出客户端查找数据可以不经过master      
    博客
    • 0
    • 0
    • 63
    牛肉丸没牛肉牛肉丸没牛肉
  • 激活idea2018

    激活idea2018

      首先下载安装完成后，打开hosts文件，新增一条路由： 0.0.0.0 account.jetbrains.com 打开软件输入序列码： EB101IWSWD-eyJsaWNlbnNlSWQiOiJFQjEwMUlXU1dEIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6I…
    博客
    • 0
    • 0
    • 118
    牛肉丸没牛肉牛肉丸没牛肉
  • 大数据- 自定义Log4j日记

    大数据- 自定义Log4j日记

      1.新建一个java project，在src下新建一个lib文件夹和 rescources 文件夹，resources文件夹不能命名错误。 点击File——》project Structure...打开根据下图操作 把相关jar包放进lib文件夹里并绑定。 新建一个java文件 Log4jTest.java 和 HadoopLog4j.java   1 2 3 4 5 6…
    博客
    • 0
    • 0
    • 52
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Hadoop运维小计

    Hadoop- Hadoop运维小计

      如果是新添加一个节点，需要执行以下步骤： 首先，把新节点的 IP或主机名 加入主节点（master）的 conf/slaves 文件。 然后登录新的从节点，执行以下命令： $ cd Hadoop_path $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker   然后就可…
    博客
    • 0
    • 0
    • 75
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 优化后的 shuffle 操作原理剖析

    Spark- 优化后的 shuffle 操作原理剖析

      在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGroup的概念。一个 ShuffleMapTask 将数据写入 ResultTask 数量的本地文本，这个不会变。但是，当下一个 ShuffleMapTask 运行的时候，可以直接将数据写入之前的 ShuffleMapTask 的本地文件。相当于是，对多个 ShuffleMapTask 输出…
    博客
    • 0
    • 0
    • 61
    牛肉丸没牛肉牛肉丸没牛肉
123
❮❯
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部