Hadoop

- 13
- 0
博客
Hadoop 生态数据存储系统 Apache Kudu 1.11.0

资源简介： Apache Kudu 1.11.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低

summer2019-11-9 12:48:44
- 10
- 0
博客
Hadoop- HDFS的API操作

1、引入依赖 <dependency> <groupId>org.apa

牛肉丸没牛肉2019-8-18 18:41:05
- 19
- 0
博客
Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

如题出现Namenode经常挂掉 IPC’s epoch 9 is less tha

牛肉丸没牛肉2019-8-18 17:54:33
- 12
- 0
博客
Oozie-

oozie是一个工作流调度系统，用于管理Apache Hadoop作业。 oozie工作流作业是

牛肉丸没牛肉2019-8-18 17:38:03
- 7
- 0
博客
Hadoop- 集群启动详解

NameNode启动过程详解第一次启动：HDFS格式化后，生成fsimage文件 hdf &n

牛肉丸没牛肉2019-8-18 14:54:11
- 7
- 0
博客
Hadoop- Hadoop运维小计

如果是新添加一个节点，需要执行以下步骤：首先，把新节点的 IP或主机名加入主节点（maste

牛肉丸没牛肉2019-8-18 14:50:33
- 8
- 0
博客
Hadoop- MR的shuffle过程

step1 input InputFormat读取数据，将数据转换成<key ,value>对,设

牛肉丸没牛肉2019-8-18 12:55:53
- 20
- 0
博客
Hadoop- DistCp(分布式拷贝)

在实际的生产环境中，我们的企业都有测试集群和生产集群，有的比较大型的企业有多个版本的Hadoop

牛肉丸没牛肉2019-8-18 12:14:31
- 14
- 0
博客
Hadoop- 集群时间同步

集群的时间要同步 * 找一台机器时间服务器 * 所有的机器与这台机器时间进行定时的同步比如，

牛肉丸没牛肉2019-8-18 12:11:48
- 15
- 0
博客
Hadoop- MapReduce在实际应用中常见的调优

1、Reduce Task Number 通常来说一个block就对应一个map任务进行处理，r

牛肉丸没牛肉2019-8-18 12:10:31
- 12
- 0
博客
Hadoop- HDFS的Safemode

Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进

牛肉丸没牛肉2019-8-18 12:08:53
- 14
- 0
博客
Hadoop- 分布式资源管理YARN架构讲解

YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce

牛肉丸没牛肉2019-8-18 12:07:17
- 11
- 0
博客
Hadoop- Hadoop详解

首先所有知识以官网为准，所有的内容在官网上都有展示，所有的变动与改进，新增内容都以官网为准。hadoop.ap

牛肉丸没牛肉2019-8-18 12:05:15
- 15
- 0
博客
Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory

在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误. &nbsp

牛肉丸没牛肉2019-8-18 11:59:55
- 15
- 0
博客
Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

流量汇总程序需求统计每一个用户（手机号）锁耗费的总上行流量、下行流量、总流量。流程剖析阶段

牛肉丸没牛肉2019-8-17 18:42:02
- 14
- 0
博客
Hadoop- Wordcount程序原理及代码实现

如果对Hadoop- MapReduce分布式计算框架原理还不熟悉的可以先了解一下它，因为本文的

牛肉丸没牛肉2019-8-17 18:40:01
- 16
- 0
博客
Hadoop- MapReduce分布式计算框架原理

分布式计算：原则：移动计算而尽可能减少移动数据（减少网络开销）分布式计算其实就是将单台机器上

牛肉丸没牛肉2019-8-17 18:34:34
- 12
- 0
博客
Hadoop- NameNode和Secondary NameNode元数据管理机制

元数据的存储机制 A、内存中有一份完整的元数据(内存meta data) B、磁盘有一个“准完整

牛肉丸没牛肉2019-8-17 18:32:47
- 18
- 0
博客
Hadoop HA- hadoop集群部署

前期部署，至少准备3台服务器（可以是虚拟机） 1、linux系统环境准备 ip地址配置 host

牛肉丸没牛肉2019-8-17 18:20:25
- 10
- 0
博客
大数据之路- Hadoop环境搭建（Linux）

前期部署 1.JDK 2.上传HADOOP安装包 2.1官网：http://hadoop.apa

牛肉丸没牛肉2019-8-17 18:18:12
- 13
- 0
博客
Hadoop HA- zookeeper安装配置

安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包：

牛肉丸没牛肉2019-8-17 18:12:41
- 8
- 0
博客
Hadoop- Hadoop环境搭建

Windows下Hadoop的安装准备工具：64位的JDK,Hadoop安装包（我使用的是2.

牛肉丸没牛肉2019-8-17 17:51:20
- 41
- 0
博客
Hadoop Shell命令

谁拥有数据，谁就是下个亿万富翁

牛肉丸没牛肉2019-7-30 15:36:47
- 37
- 0
博客
Apache Kudu 1.10.0 发布，Hadoop 生态数据存储系统

Apache Kudu 1.10.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取

summer2019-7-12 22:20:19