文章
文章用户商铺便笺星球文档问答供求信息
全部标签

大数据

最新随机最多浏览最多喜欢最多评论
  • Spark- Checkpoint原理剖析

    Spark- Checkpoint原理剖析

      Checkpoint，是Spark 提供的一个比较高级的功能。有的时候，比如说，我们的 Spark 应用程序，特别的复杂，然后从初始的RDD开始，到最后拯个应用程序完成，有非常多的步骤，比如超过20个transformation 操作。而且整个应用运行的时间也特别的长，比如通常要运行1-5小时。 在上述的情况下，就比较适合使用checkpoint 功能。因为，对于特别复杂的 Spar…
    博客
    • 0
    • 0
    • 110
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- Storm作业提交运行流程

    Storm- Storm作业提交运行流程

      用户编写Storm Topology 使用client提交Topology给Nimbus Nimbus指派Task给Supervisor Supervisor为Task启动Worker Worker执行Task    
    博客
    • 0
    • 0
    • 98
    牛肉丸没牛肉牛肉丸没牛肉
  • TinyMCE v4.5.0 可视化HTML编辑器

    TinyMCE v4.5.0 可视化HTML编辑器

    资源简介：TinyMCE是一个轻量级的基于浏览器的所见即所得编辑器，支持目前流行的各种浏览器，采用JavaScript/ECMAScript开发，主要特性包括主题/模板支持，多语言支持(包括简体中文)，支持通过插件的方式进行扩展。功能配置灵活简单（两行代码就可以将编辑器嵌入网页中），支持AJAX。另一特点是加载速度非常快，如果你的服务器采用的脚本语言是 PHP，那还可以进一步优化。最重要的是，Ti…
    JavaScript
    • 0
    • 0
    • 227
    summersummer
  • Hive- Hive安装

    Hive- Hive安装

      Hive安装 1.1下载Hive安装包 官网：http://hive.apache.org/downloads.html 个人建议到这里下载：http://apache.forsale.plus/ 1.2将hive文件上传到HADOOP集群，并解压 将文件上传到 /usr ，解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/ 重命名:…
    博客
    • 0
    • 0
    • 118
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- CDH大数据集群运维

    CDH- CDH大数据集群运维

      CDH前端CM监控不正常（未解决）   Request to the Service Monitor failed. This may cause slow page responses. View the status of the Service Monitor. Request to the Host Monitor failed. This may cause sl…
    博客
    • 0
    • 0
    • 264
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- RDD持久化

    Spark- RDD持久化

      官方原文： RDD Persistence One of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions …
    博客
    • 0
    • 0
    • 127
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Spark普通Shuffle操作的原理剖析

    Spark- Spark普通Shuffle操作的原理剖析

      在spark中，什么情况下会发生shuffle？ reduceByKey，groupByKey，sortByKey，countByKey，join，cogroup等操作。 默认的shuffle操作的原理剖析 假设有一个节点上面运行了4个 ShuffleMapTask，然后这个节点上只有2个 cpu core。假如有另外一台节点，上面也运行了4个ResultTask，现在呢，正等着要去…
    博客
    • 0
    • 0
    • 79
    牛肉丸没牛肉牛肉丸没牛肉
  • Linux- AWS之EC2大数据集群定时开关机

    Linux- AWS之EC2大数据集群定时开关机

      众所周知，云计算就是在计算你的钱，每当ec2开起来就要开始计费。当用户购买了一个庞大的与服务器做一个集群，尤其是用来做大数据集群，这些服务器的配置相当高，每台服务器所需要的费用不菲。其实在很多时候没能够完全利用起其全部的资源，尤其在空闲时间，在夜间没有作业的情况下，这些服务器完全处于空闲的状态，却时刻在计费，这是相当不划算的。于是有这样一个方案，我们是不是可以在机器处于空闲的状态时将…
    博客
    • 0
    • 0
    • 148
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- 大数据仓库Hive

    Hive- 大数据仓库Hive

      什么是 Hive？ Hive 是由 FaceBook 开源用于解决少量数据结构化日志的数据统计。Hive是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。Hive 处理的数据存储在 HDFS 上，分析数据的底层实现是 MapReduce ，执行程序运行的是YARN。 构建在Hadoop之上的数据仓库： 使用 HQL 作为查询接口 使…
    博客
    • 0
    • 0
    • 85
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- HDFS的API操作

    Hadoop- HDFS的API操作

      1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 注：如需手动引入ja…
    博客
    • 0
    • 0
    • 193
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Action实战

    Spark- Action实战

      Spark- Action实战   package cn.rzlee.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ActionOperation { def main(args: Array[String]): Unit…
    博客
    • 0
    • 0
    • 93
    牛肉丸没牛肉牛肉丸没牛肉
  • Docker-

    Docker-

      Docker是容器技术的一个代表。容器技术从本质上讲是将程序隔离打包这么个技术。Docker解决了软件包装问题，很好的理顺了开发和运维环境的差异，使得开发和运维可以全用同种语言进行沟通。它是一个云计算的技术。 Docker是通过内核虚拟化技术（namespace及cgroups等）来提供容器的资源隔离与安全保障。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运…
    博客
    • 0
    • 0
    • 77
    牛肉丸没牛肉牛肉丸没牛肉
  • Springboot- pagehelper使用

    Springboot- pagehelper使用

      1.添加pagehelper依赖 <dependency> <groupId>org.github.pagehelper</groupId> <artifactId>pagehelper-spring-boot-starter</artifactId> <version>1.3.2</version>…
    博客
    • 0
    • 0
    • 89
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkStreaming可更新状态的实例

    Spark- SparkStreaming可更新状态的实例

      Producer package zx.zx.sparkkafka import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.util.Random /** * Created by 166 on 2017/9/6. */ object…
    博客
    • 0
    • 0
    • 131
    牛肉丸没牛肉牛肉丸没牛肉
  • 可视化物联网编排工具Node-RED 1.0 发布

    可视化物联网编排工具Node-RED 1.0 发布

     Node-RED 是 IBM 新兴技术服务团队构建的可视化物联网编排工具，可基于浏览器的流程编辑器连接设备、服务器和 API 应用。Node-RED 1.0 已经发布，内容如下：异步消息传递：此版本将节点间传递的消息更改为始终是异步的，而不是有时是异步的，有时是同步的，具体取决于各个节点的实现Node Send API：现在节点可以使用一个新的 API 来处理运行时中的消息异…
    博客
    • 0
    • 0
    • 164
    hunterhohunterho
  • DataWarehouse- 从面试定位自己的水平

    DataWarehouse- 从面试定位自己的水平

      1.讲一下什么是维度表和事实表。用户资料表算是什么类型表。 2. 维度建模属于第几范式，让你对维度建模改进，有什么思路吗。 3. 了解数据血缘分析吗，让你实现的话有什么技术方案，感觉难点在哪。 4. 了解数据分层吗，讲一下分四层或者五层各有什么优劣。自己摸你一个场景，给出不同的方案。 5. 数据口径不一致的问题一般在什么情况下会发生，怎么避免。    
    博客
    • 0
    • 0
    • 76
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 新建UDF范例

    HIVE- 新建UDF范例

      首先pom文件导入依赖，Hadoop和hive的依赖导入自己机器的版本，hive记得导jdbc <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</v…
    博客
    • 0
    • 0
    • 103
    牛肉丸没牛肉牛肉丸没牛肉
  • Openldap- 大集群身份验证服务

    Openldap- 大集群身份验证服务

      无论在哪个行业，数据安全永远都是摆在首要地位。尤其是在大数据行业上，谁掌握了数据，谁就有可能成为下个亿万富豪的环境中，数据安全更为重要。大数据的安全可以从哪些地方入手，首先可以在身份验证上面入手。在大数据的集群设备上做好身份验证，可以使用openldap来做。 唯有通过openldap管理的账号才能对大数据系统进行访问，没有通过openldap创建的账号是不能login到Hadoop…
    博客
    • 0
    • 0
    • 96
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- 测试mr

    CDH- 测试mr

      cdh的mr样例算法的jar包在 [zc.lee@ip-172-32-1-221 hadoop-0.20-mapreduce]$ pwd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/hadoop-0.20-mapreduce 查看该目录下的文件 [zc.lee@ip-172-32-1-221 hadoop-0.20-m…
    博客
    • 0
    • 0
    • 148
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 数据清洗

    Spark- 数据清洗

      输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换（输入==>输出）工具类 */ object A…
    博客
    • 0
    • 0
    • 121
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

      报错 G:\APP\JDK\bin\java -Didea.launcher.port=7532 "-Didea.launcher.bin.path=G:\APP\IntelliJ IDEA\bin" -Dfile.encoding=UTF-8 -classpath "G:\APP\JDK\jre\lib\charsets.jar;G:\APP\JDK\…
    博客
    • 0
    • 0
    • 190
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop HA- zookeeper安装配置

    Hadoop HA- zookeeper安装配置

      安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包： 把下载好的zookeeper安装包，官网：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.8/  上传到服务器。 1.3解压  tar –xvzf zookeeper-3.4.8.tar.gz ，解压后放进 /usr/ 即可 …
    博客
    • 0
    • 0
    • 81
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- RDD简介

    Spark- RDD简介

      Spark里面提供了一个比较重要的抽象——弹性分布式数据集（resilient distributed dataset），简称RDD。弹性：数据可大可小，可分布在内存或磁盘，当某台机器宕机时，能够按照RDD的liveage重新计算，从而恢复。 RDD有5个特性： 1.一个分区列表，用于并行计算，每个分区对应一个原子数据集，作为这个分区的数据输入 2.计算这个RDD某个分区数据（这个分…
    博客
    • 0
    • 0
    • 106
    牛肉丸没牛肉牛肉丸没牛肉
  • 可视化开发laravel应用 Redprint Laravel App Builder CRUD Generator Plus v1.6.32 有安装指导

    可视化开发laravel应用 Redprint Laravel App Builder CRUD Generator Plus v1.6.32 有安装指导

    资源简介：Redprint App Builder is your app development flow on steroid! It’s your perfect Laravel CRUD Booster and App Builder. It has everything from it’s own Terminal Emulator, A Very powerful File Brows…
    可视化
    • 0
    • 0
    • 147
    typhoontyphoon
  • CapitalOne 和 GitHub 因数据泄露事件遭遇集体诉讼

    CapitalOne 和 GitHub 因数据泄露事件遭遇集体诉讼

    来自 thehill 的消息：CapitalOne 和 GitHub 因近期的数据泄露事件而遭遇集体诉讼，事件导致 CapitalOne 泄露超过 1 亿条客户数据。 Tycko＆Zavareei LLP 律师事务所周四提起诉讼，辩称 GitHub 和 CapitalOne 在对违规行为的回应中表现出疏忽。该公司代表受违规行为影响的人提起集体诉讼，指控两家公司未能保护客户数据。 在 Capital…
    博客
    • 0
    • 0
    • 97
    hunterhohunterho
  • Python- 贪婪与非贪婪

    Python- 贪婪与非贪婪

      python运行匹配时，如果没有人为限定，默认是贪婪模式。 import re a = 'python 22222java34bigdata' r = re.findall('[a-z]{3}',a) # 打印三个字符 rr = re.findall('[a-z]{3,6}',a) # 匹配到的长度最小为3，最长不能超过 r…
    Python
    • 0
    • 0
    • 133
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

    Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

      流量汇总程序需求 统计每一个用户（手机号）锁耗费的总上行流量、下行流量、总流量。 流程剖析 阶段：map 读取一行数据，切分字段， 抽取手机号，上行流量，下行流量 context.write(手机号，bean)   阶段：reduce 汇总遍历每个bean，将其中的上行流量，下行流量分别累加，得到一个新的bean context.write(手机号，新bean)； 代码实现…
    博客
    • 0
    • 0
    • 112
    牛肉丸没牛肉牛肉丸没牛肉
123
❮❯
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部