全部标签

Hadoop

最新随机最多浏览最多喜欢最多评论

Hadoop 生态数据存储系统：Apache Kudu 1.12.0

Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取与高效分析读取模式。它基于 Apache Ha
博客
- 0
- 0
- 20
summer2020-5-25 9:53:53
Hadoop 生态数据存储系统 Apache Kudu 1.11.0

资源简介： Apache Kudu 1.11.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低
博客
- 0
- 0
- 19
summer2019-11-9 12:48:44
Hadoop- HDFS的API操作

1、引入依赖 <dependency> <groupId>org.apa
博客
- 0
- 0
- 15
牛肉丸没牛肉2019-8-18 18:41:05
Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

如题出现Namenode经常挂掉 IPC’s epoch 9 is less tha
博客
- 0
- 0
- 33
牛肉丸没牛肉2019-8-18 17:54:33
Oozie-

oozie是一个工作流调度系统，用于管理Apache Hadoop作业。 oozie工作流作业是
博客
- 0
- 0
- 22
牛肉丸没牛肉2019-8-18 17:38:03
Hadoop- 集群启动详解

NameNode启动过程详解第一次启动：HDFS格式化后，生成fsimage文件 hdf &n
博客
- 0
- 0
- 13
牛肉丸没牛肉2019-8-18 14:54:11
Hadoop- Hadoop运维小计

如果是新添加一个节点，需要执行以下步骤：首先，把新节点的 IP或主机名加入主节点（maste
博客
- 0
- 0
- 13
牛肉丸没牛肉2019-8-18 14:50:33
Hadoop- MR的shuffle过程

step1 input InputFormat读取数据，将数据转换成<key ,value>对,设
博客
- 0
- 0
- 14
牛肉丸没牛肉2019-8-18 12:55:53
Hadoop- DistCp(分布式拷贝)

在实际的生产环境中，我们的企业都有测试集群和生产集群，有的比较大型的企业有多个版本的Hadoop
博客
- 0
- 0
- 29
牛肉丸没牛肉2019-8-18 12:14:31
Hadoop- 集群时间同步

集群的时间要同步 * 找一台机器时间服务器 * 所有的机器与这台机器时间进行定时的同步比如，
博客
- 0
- 0
- 17
牛肉丸没牛肉2019-8-18 12:11:48
Hadoop- MapReduce在实际应用中常见的调优

1、Reduce Task Number 通常来说一个block就对应一个map任务进行处理，r
博客
- 0
- 0
- 24
牛肉丸没牛肉2019-8-18 12:10:31
Hadoop- HDFS的Safemode

Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进
博客
- 0
- 0
- 22
牛肉丸没牛肉2019-8-18 12:08:53
Hadoop- 分布式资源管理YARN架构讲解

YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce
博客
- 0
- 0
- 20
牛肉丸没牛肉2019-8-18 12:07:17
Hadoop- Hadoop详解

首先所有知识以官网为准，所有的内容在官网上都有展示，所有的变动与改进，新增内容都以官网为准。hadoop.ap
博客
- 0
- 0
- 23
牛肉丸没牛肉2019-8-18 12:05:15
Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory

在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误.
博客
- 0
- 0
- 28
牛肉丸没牛肉2019-8-18 11:59:55
Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

流量汇总程序需求统计每一个用户（手机号）锁耗费的总上行流量、下行流量、总流量。流程剖析阶段
博客
- 0
- 0
- 20
牛肉丸没牛肉2019-8-17 18:42:02
Hadoop- Wordcount程序原理及代码实现

如果对Hadoop- MapReduce分布式计算框架原理还不熟悉的可以先了解一下它，因为本文的
博客
- 0
- 0
- 15
牛肉丸没牛肉2019-8-17 18:40:01
Hadoop- MapReduce分布式计算框架原理

分布式计算：原则：移动计算而尽可能减少移动数据（减少网络开销）分布式计算其实就是将单台机器上
博客
- 0
- 0
- 21
牛肉丸没牛肉2019-8-17 18:34:34
Hadoop- NameNode和Secondary NameNode元数据管理机制

元数据的存储机制 A、内存中有一份完整的元数据(内存meta data) B、磁盘有一个“准完整
博客
- 0
- 0
- 17
牛肉丸没牛肉2019-8-17 18:32:47
Hadoop HA- hadoop集群部署

前期部署，至少准备3台服务器（可以是虚拟机） 1、linux系统环境准备 ip地址配置 host
博客
- 0
- 0
- 33
牛肉丸没牛肉2019-8-17 18:20:25
大数据之路- Hadoop环境搭建（Linux）

前期部署 1.JDK 2.上传HADOOP安装包 2.1官网：http://hadoop.apa
博客
- 0
- 0
- 17
牛肉丸没牛肉2019-8-17 18:18:12
Hadoop HA- zookeeper安装配置

安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包：
博客
- 0
- 0
- 18
牛肉丸没牛肉2019-8-17 18:12:41
Hadoop- Hadoop环境搭建

Windows下Hadoop的安装准备工具：64位的JDK,Hadoop安装包（我使用的是2.
博客
- 0
- 0
- 14
牛肉丸没牛肉2019-8-17 17:51:20
Hadoop Shell命令

谁拥有数据，谁就是下个亿万富翁
博客
- 0
- 0
- 63
牛肉丸没牛肉2019-7-30 15:36:47
Apache Kudu 1.10.0 发布，Hadoop 生态数据存储系统

Apache Kudu 1.10.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取
博客
- 0
- 0
- 54
summer2019-7-12 22:20:19