文章
文章用户商铺快讯星球文档问答供求信息
全部标签

Hadoop

最新随机最多浏览最多喜欢最多评论
    • Hadoop 生态数据存储系统：Apache Kudu 1.12.0

      Hadoop 生态数据存储系统：Apache Kudu 1.12.0

      Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取与高效分析读取模式。它基于 Apache Hadoop 生态系设计，并支持与 Apache 软件基金会其它数据分析项目集成。 此版本带来了一些新功能、改进、优化和错误修复： 新功能 Kudu 现在通过集成 Apache Ranger 来支持原生细粒度认证 Kudu 的 Web UI 现在支持通过 Apache Knox 进行代理 Ku…
      博客
      • 0
      • 0
      • 155
      summersummer
    • Hadoop 生态数据存储系统 Apache Kudu 1.11.0

      Hadoop 生态数据存储系统 Apache Kudu 1.11.0

      资源简介：Apache Kudu 1.11.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取与高效分析读取模式。它基于 Apache Hadoop 生态系设计，并支持与 Apache 软件基金会其它数据分析项目集成。此版本带来的新特性包括：Kudu 现在支持维护平板电脑服务器。在此模式下，如果平板电脑服务器的副本失败，将不会重新复制它。仅在退出维护时，才会对任…
      博客
      • 0
      • 0
      • 42
      summersummer
    • Hadoop- HDFS的API操作

      Hadoop- HDFS的API操作

        1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 注：如需手动引入ja…
      博客
      • 0
      • 0
      • 98
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

      Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

        如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10，   2019-01-03 05:36:14,774 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* allocate blk_1073741949_1131{UCState=…
      博客
      • 0
      • 0
      • 131
      牛肉丸没牛肉牛肉丸没牛肉
    • Oozie-

      Oozie-

        oozie是一个工作流调度系统，用于管理Apache Hadoop作业。 oozie工作流作业是操作的有向无环图( DAGs )。 Oozie协调器作业是由时间(频率)和数据可用性触发的重复Oozie工作流作业。 oozie与Hadoop堆栈的其余部分集成，支持几种现成的Hadoop作业(如Java map - reduce、流map - reduce、Pig、Hive、Sqoop和…
      博客
      • 0
      • 0
      • 49
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- 集群启动详解

      Hadoop- 集群启动详解

        NameNode启动过程详解 第一次启动：HDFS格式化后，生成fsimage文件 hdf    
      博客
      • 0
      • 0
      • 26
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- Hadoop运维小计

      Hadoop- Hadoop运维小计

        如果是新添加一个节点，需要执行以下步骤： 首先，把新节点的 IP或主机名 加入主节点（master）的 conf/slaves 文件。 然后登录新的从节点，执行以下命令： $ cd Hadoop_path $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker   然后就可…
      博客
      • 0
      • 0
      • 37
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- MR的shuffle过程

      Hadoop- MR的shuffle过程

      step1 input InputFormat读取数据，将数据转换成<key ,value>对,设置FileInputFormat，默认是文本格式（TextInputFormat）   step2 map map<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 默认情况下KEYIN:LongWritable,偏移量。VALUEIN:Text，K…
      博客
      • 0
      • 0
      • 31
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- DistCp(分布式拷贝)

      Hadoop- DistCp(分布式拷贝)

        在实际的生产环境中，我们的企业都有测试集群和生产集群，有的比较大型的企业有多个版本的Hadoop 大数据集群，这时候有个这样的需求，各个集群上的资源需要进行迁移，比如说一些生产集群需要一些测试集群的数据，需要将测试集群的上的数据拷贝到生产集群，这时候就需要使用到分布式拷贝（Distributed Copy）. 比较常见的有不同集群之间的数据迁移 hadoop distcp <s…
      博客
      • 0
      • 0
      • 79
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- 集群时间同步

      Hadoop- 集群时间同步

        集群的时间要同步 * 找一台机器 时间服务器 * 所有的机器与这台机器时间进行定时的同步 比如，每日十分钟，同步一次时间 # rpm -qa|grep ntp # vi /etc/ntp.conf # vi /etc/sysconfig/ntpd # Drop root to id 'ntp:ntp' by default. SYNC_HWCLOCK=yes OP…
      博客
      • 0
      • 0
      • 49
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- MapReduce在实际应用中常见的调优

      Hadoop- MapReduce在实际应用中常见的调优

        1、Reduce Task Number 通常来说一个block就对应一个map任务进行处理，reduce任务如果人工不去设置干预的话就一个reduce。reduce任务的个数可以通过在程序中设置  job.setNumReduceTasks(个数); ，也可在配置文件上设置reduce任务个数，默认为1， 或者在代码config中配置 Configuration configura…
      博客
      • 0
      • 0
      • 60
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- HDFS的Safemode

      Hadoop- HDFS的Safemode

        Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进入安全模式，等待DataNode向NameNode发送block report ，当datanode blocks / total blocks = 99.99%，此时安全模式才会退出 安全模式下的操作： 可以查看文件系统的文件 在安全模式期间我们有些操作是不能进行的，比如不能改变文件系统…
      博客
      • 0
      • 0
      • 76
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- 分布式资源管理YARN架构讲解

      Hadoop- 分布式资源管理YARN架构讲解

        YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。资源调度和资源隔离是YARN作为一个资源管理系统最重要和最基础的两个功能。资源调度由 ResourceManager 完成，而资源…
      博客
      • 0
      • 0
      • 75
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- Hadoop详解

      Hadoop- Hadoop详解

      首先所有知识以官网为准，所有的内容在官网上都有展示，所有的变动与改进，新增内容都以官网为准。hadoop.apache.org Hadoop是一个开源的可拓展的分布式并行处理计算平台，利用服务器集群根据用户的自定义业务逻辑，对海量数据进行分布式处理。Hadoop提供了一个可靠的共享存储和分析系统，Hadoop的核心三大组件有HDFS（分布式文件系统），MapReduce（分布式运算编程框架），YA…
      博客
      • 0
      • 0
      • 122
      牛肉丸没牛肉牛肉丸没牛肉
    • Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory

      Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory

      在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误.   17/09/27 16:17:54 INFO mapreduce.Job: Task Id : attempt_1428293579539_0001_m_000003_0, Status : FAILED Container [pid=7847,containerID=containe…
      博客
      • 0
      • 0
      • 60
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

      Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

        流量汇总程序需求 统计每一个用户（手机号）锁耗费的总上行流量、下行流量、总流量。 流程剖析 阶段：map 读取一行数据，切分字段， 抽取手机号，上行流量，下行流量 context.write(手机号，bean)   阶段：reduce 汇总遍历每个bean，将其中的上行流量，下行流量分别累加，得到一个新的bean context.write(手机号，新bean)； 代码实现…
      博客
      • 0
      • 0
      • 51
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- Wordcount程序原理及代码实现

      Hadoop- Wordcount程序原理及代码实现

        如果对Hadoop- MapReduce分布式计算框架原理还不熟悉的可以先了解一下它，因为本文的wordcount程序实现就是MapReduce分而治之最经典的一个范例。 单词计数（wordcount）主要步骤： 1.读数据 2.按行处理 3.按空格切分行内单词 4.HashMap（单词，value+1） 等分给自己的数据片全部读取完之后 5.将HashMap按照首字母范围分为3个H…
      博客
      • 0
      • 0
      • 64
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- MapReduce分布式计算框架原理

      Hadoop- MapReduce分布式计算框架原理

       分布式计算：原则：移动计算而尽可能减少移动数据（减少网络开销）分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。 MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序。核心思想是：分而治之。Mapper负责分，把一个复杂的业务，任…
      博客
      • 0
      • 0
      • 62
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- NameNode和Secondary NameNode元数据管理机制

      Hadoop- NameNode和Secondary NameNode元数据管理机制

       元数据的存储机制A、内存中有一份完整的元数据(内存meta data)B、磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中)C、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（edits文件）NameNode和Secondary NameNode元数据管理机制客户端每次对文件的操作，如果涉及到元数据的更新（读除外），比如…
      博客
      • 0
      • 0
      • 36
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop HA- hadoop集群部署

      Hadoop HA- hadoop集群部署

        前期部署，至少准备3台服务器（可以是虚拟机） 1、linux系统环境准备 ip地址配置 hostname配置 hosts映射配置 关闭防火墙 service iptables stop ,也可以设置防火墙不开机自启动 chkconfig iptables off  init启动级别修改 2.java环境的配置 上传jdk，解压，修改/etc/profile 3.zookeeper集群…
      博客
      • 0
      • 0
      • 85
      牛肉丸没牛肉牛肉丸没牛肉
    • 大数据之路- Hadoop环境搭建（Linux）

      大数据之路- Hadoop环境搭建（Linux）

        前期部署 1.JDK 2.上传HADOOP安装包 2.1官网：http://hadoop.apache.org/   2.2下载hadoop-2.6.1的这个tar.gz文件，官网：   https://archive.apache.org/dist/hadoop/common/hadoop-2.6.1/ 下载成功后，把这个tar.gz包上传到服务器上，命令： 通…
      博客
      • 0
      • 0
      • 49
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop HA- zookeeper安装配置

      Hadoop HA- zookeeper安装配置

        安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包： 把下载好的zookeeper安装包，官网：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.8/  上传到服务器。 1.3解压  tar –xvzf zookeeper-3.4.8.tar.gz ，解压后放进 /usr/ 即可 …
      博客
      • 0
      • 0
      • 45
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop- Hadoop环境搭建

      Hadoop- Hadoop环境搭建

        Windows下Hadoop的安装 准备工具：64位的JDK,Hadoop安装包（我使用的是2.6.1） JDK下载地址 官网： http://www.oracle.com/technetwork/java/javase/downloads/index.html Hadoop下载地址 官网：http://hadoop.apache.org/ 1.安装JDK环境，配置系统环境变量. 选…
      博客
      • 0
      • 0
      • 53
      牛肉丸没牛肉牛肉丸没牛肉
    • Hadoop Shell命令

      Hadoop Shell命令

      谁拥有数据，谁就是下个亿万富翁
      博客
      • 0
      • 0
      • 128
      牛肉丸没牛肉牛肉丸没牛肉
    • Apache Kudu 1.10.0 发布，Hadoop 生态数据存储系统

      Apache Kudu 1.10.0 发布，Hadoop 生态数据存储系统

      Apache Kudu 1.10.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取与高效分析读取模式。它基于 Apache Hadoop 生态系设计，并支持与 Apache 软件基金会其它数据分析项目集成。 此版本带来的新特性包括： Kudu 现在通过使用 Apache Spark 实现的作业支持完整和增量表备份。此外，它还支持通过使用 Apache Spark 实现的…
      博客
      • 0
      • 0
      • 99
      summersummer
    ❯

    解锁会员权限

    开通会员

    解锁海量优质VIP资源

    立刻开通
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索

    • 扫码打开当前页

    返回顶部