文章
文章用户商铺快讯星球文档问答供求信息
全部标签

大数据

最新随机最多浏览最多喜欢最多评论
  • Hadoop- Hadoop详解

    Hadoop- Hadoop详解

    首先所有知识以官网为准，所有的内容在官网上都有展示，所有的变动与改进，新增内容都以官网为准。hadoop.apache.org Hadoop是一个开源的可拓展的分布式并行处理计算平台，利用服务器集群根据用户的自定义业务逻辑，对海量数据进行分布式处理。Hadoop提供了一个可靠的共享存储和分析系统，Hadoop的核心三大组件有HDFS（分布式文件系统），MapReduce（分布式运算编程框架），YA…
    博客
    • 0
    • 0
    • 183
    牛肉丸没牛肉牛肉丸没牛肉
  • Hbase- Hbase客户端读写数据时的路由流程

    Hbase- Hbase客户端读写数据时的路由流程

      1、客户端先到zookeeper查找hbase:meta所在的RegionServer服务器 2、去hbase:meta表查找自己所要的数据所在的region server 3、去目标region server上的region要自己的数据 可以看出客户端查找数据可以不经过master      
    博客
    • 0
    • 0
    • 68
    牛肉丸没牛肉牛肉丸没牛肉
  • Python- NumPy

    Python- NumPy

       NumPy包括的内容 NumPy系统是 Python的一种开源的数值计算扩展,是一个用 python实现的科学计算包。包括： 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组,称为 ndarray(N-dimensional array object ) 用于对整组数据进行快速运算的标准数学函数, func( universal function object) 用于整…
    Python
    • 0
    • 0
    • 206
    牛肉丸没牛肉牛肉丸没牛肉
  • Zeppelin- Linux下安装Zeppelin

    Zeppelin- Linux下安装Zeppelin

    前期部署: 下载,解压,配置PATH环境(编辑/etc/profile文件,记得source一下该文件) zepplin配置参考文档:https://zeppelin.apache.org/docs/0.7.2/install/configuration.html 往conf/zeppelin-env.sh文件中添加端口号 往底部添加 export ZEPPLELIN_PORT=8090 修改配置…
    博客
    • 0
    • 0
    • 121
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Transformation实战

    Spark- Transformation实战

      RDD的算子分为两类,是 Trans formation(Lazy),一类是 Action(触发任务执行 RDD不存在真正要计算的数据,而是记录了RDD的转换关系(调用了什么方法,传入什么函数)   RDD的 Trans formation的特点 1. lazy 2.生成新的RDD   package cn.rzlee.spark.core import org.…
    博客
    • 0
    • 0
    • 110
    牛肉丸没牛肉牛肉丸没牛肉
  • Zookeeper- Error contacting service. It is probably not running解决方案和原理

    Zookeeper- Error contacting service. It is probably not running解决方案和原理

       搭建启动Zookeeper集群出现Error contacting service. It is probably not running解决方案和原理 1.关闭防火墙  1 2 3 4 [root@srv01 bin]# zkServer.sh start JMX enabled by default Using config: /usr/zookeeper/bin/../con…
    博客
    • 0
    • 0
    • 159
    牛肉丸没牛肉牛肉丸没牛肉
  • Sqooop- 使用Sqoop进行数据的导入导出

    Sqooop- 使用Sqoop进行数据的导入导出

      Sqoop是Apache旗下的一个开源框架，专门用来做数据的导入和导出。 官网:https://sqoop.apache.org/ Sqoop的安装非常简单，只需要把下载下来的tar包解压设置两个环境变量就可以了 1.安装部署 下载版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 官网：http://mirror.bit.edu.cn/apa…
    博客
    • 0
    • 0
    • 176
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Linux下安装Spark

    Spark- Linux下安装Spark

       Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 [root@srv01 ~]# tar -xvzf spark-1.6.1-hadoop2.6.tgz /usr/spark-1.6.1-hadoop2.6 3.在 /usr 下…
    博客
    • 0
    • 0
    • 114
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 大数据运维之hive管理

    HIVE- 大数据运维之hive管理

      我现在在一家公司负责大数据平台（CDH平台）的运维管理，最常遇见的问题我总结出来，并且继续在下面更新。希望方便自己以后trouble shooting以及方便各位同行解决问题与学习。 关于做运维有几个重要的要点一定一定要遵守的： 遇到问题冷静，冷静，冷静，就山崩都要冷静，心态关乎你是否能将问题解决同时不会给人留下不好的印象。 凡是关于对集群更改与变动的操作，一定要在测试环境测试到没问…
    博客
    • 0
    • 0
    • 126
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题

    CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题

      CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题   cdh界面删除并不会将 kafka数据删除，需要将kafka集群节点 var/local/kafka/data 清理掉 然后将zk brokers/topics 下的topic也清理掉    
    博客
    • 0
    • 0
    • 65
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive Web Interface

    Hive- Hive Web Interface

      当我们安装好hive时候，我们启动hive的UI界面的时候，命令: hive –-service hwi ，报错，没有war包 我们查看hive/conf/hive-default.xml.template，查找hwi 把这3台属性复制，添加到hive-site.xml里面， vim hive-site.xml <property> <name>hive.hw…
    博客
    • 0
    • 0
    • 132
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 优化后的 shuffle 操作原理剖析

    Spark- 优化后的 shuffle 操作原理剖析

      在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGroup的概念。一个 ShuffleMapTask 将数据写入 ResultTask 数量的本地文本，这个不会变。但是，当下一个 ShuffleMapTask 运行的时候，可以直接将数据写入之前的 ShuffleMapTask 的本地文件。相当于是，对多个 ShuffleMapTask 输出…
    博客
    • 0
    • 0
    • 75
    牛肉丸没牛肉牛肉丸没牛肉
  • Scala- Double类型工具类

    Scala- Double类型工具类

      格式化分数，按照指定小数位四舍五入工具类 package com.rz.util object NumberUtils { /** * 格式化小数 * @param num Double对象 * @param scale 四舍五入的位数 * @return 格式化后的小数 */ def formatDouble(num: Double, scale: Int)={ val decim…
    博客
    • 0
    • 0
    • 75
    牛肉丸没牛肉牛肉丸没牛肉
  • JAVA- 数据库连接池原理

    JAVA- 数据库连接池原理

      第一次Java程序要在MySQL中执行一条语句，那么就必须建立一个Connection对象，代表了与MySQL数据库的连接通过直接发送你要执行的SQL语句之后，就会调用Connection.close()来关闭和销毁与数据库的连接。为什么要立即关闭呢？因为数据库的连接是一种很重的资源，代表了网络连接、IO等资源。所以如果不是用的话就需要尽早关闭，以避免资源浪费。 JDBC的劣势与不足…
    Java
    • 0
    • 0
    • 104
    牛肉丸没牛肉牛肉丸没牛肉
  • TinyMCE v4.5.0 可视化HTML编辑器

    TinyMCE v4.5.0 可视化HTML编辑器

    资源简介：TinyMCE是一个轻量级的基于浏览器的所见即所得编辑器，支持目前流行的各种浏览器，采用JavaScript/ECMAScript开发，主要特性包括主题/模板支持，多语言支持(包括简体中文)，支持通过插件的方式进行扩展。功能配置灵活简单（两行代码就可以将编辑器嵌入网页中），支持AJAX。另一特点是加载速度非常快，如果你的服务器采用的脚本语言是 PHP，那还可以进一步优化。最重要的是，Ti…
    JavaScript
    • 0
    • 0
    • 222
    summersummer
  • Spark- RDD持久化

    Spark- RDD持久化

      官方原文： RDD Persistence One of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions …
    博客
    • 0
    • 0
    • 120
    牛肉丸没牛肉牛肉丸没牛肉
  • CapitalOne 和 GitHub 因数据泄露事件遭遇集体诉讼

    CapitalOne 和 GitHub 因数据泄露事件遭遇集体诉讼

    来自 thehill 的消息：CapitalOne 和 GitHub 因近期的数据泄露事件而遭遇集体诉讼，事件导致 CapitalOne 泄露超过 1 亿条客户数据。 Tycko＆Zavareei LLP 律师事务所周四提起诉讼，辩称 GitHub 和 CapitalOne 在对违规行为的回应中表现出疏忽。该公司代表受违规行为影响的人提起集体诉讼，指控两家公司未能保护客户数据。 在 Capital…
    博客
    • 0
    • 0
    • 97
    hunterhohunterho
  • 可视化开发laravel应用 Redprint Laravel App Builder CRUD Generator Plus v1.6.32 有安装指导

    可视化开发laravel应用 Redprint Laravel App Builder CRUD Generator Plus v1.6.32 有安装指导

    资源简介：Redprint App Builder is your app development flow on steroid! It’s your perfect Laravel CRUD Booster and App Builder. It has everything from it’s own Terminal Emulator, A Very powerful File Brows…
    可视化
    • 0
    • 0
    • 144
    typhoontyphoon
  • Spark- Spark基本工作原理

    Spark- Spark基本工作原理

      Spark特点： 1.分布式 spark读取数据时是把数据分布式存储到各个节点内存中 2.主要基于内存（少数情况基于磁盘，如shuffle阶段） 所有计算操作，都是针对多个节点上内存的数据，进行并行操作的 3.迭代式计算 对分布式节点内存中的数据进行处理，处理后的数据可能会移动到其他节点的内存中，当需要用到某些数据时，从这些节点的内存中就能找到，迭代出来使用 Spark与MapRed…
    博客
    • 0
    • 0
    • 117
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- 大数据仓库Hive

    Hive- 大数据仓库Hive

      什么是 Hive？ Hive 是由 FaceBook 开源用于解决少量数据结构化日志的数据统计。Hive是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。Hive 处理的数据存储在 HDFS 上，分析数据的底层实现是 MapReduce ，执行程序运行的是YARN。 构建在Hadoop之上的数据仓库： 使用 HQL 作为查询接口 使…
    博客
    • 0
    • 0
    • 77
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop HA- hadoop集群部署

    Hadoop HA- hadoop集群部署

      前期部署，至少准备3台服务器（可以是虚拟机） 1、linux系统环境准备 ip地址配置 hostname配置 hosts映射配置 关闭防火墙 service iptables stop ,也可以设置防火墙不开机自启动 chkconfig iptables off  init启动级别修改 2.java环境的配置 上传jdk，解压，修改/etc/profile 3.zookeeper集群…
    博客
    • 0
    • 0
    • 132
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- 集群时间同步ntp问题解决

    CDH- 集群时间同步ntp问题解决

      在CDH集群中发现有两台机器获取不到心跳（），导致监控不了机器状态，出现告警   可以使用ntpstat检查与ntp 服务器的时间偏差状态   使用 ntpstat 发现没有同步到ntp时间服务器，运行 ntpdate ip  添加时间同步服务器出现报错 the NTP socket is in use, exiting   网上搜了一下，大部分的建议是…
    博客
    • 0
    • 0
    • 85
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- MapReduce分布式计算框架原理

    Hadoop- MapReduce分布式计算框架原理

     分布式计算：原则：移动计算而尽可能减少移动数据（减少网络开销）分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。 MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序。核心思想是：分而治之。Mapper负责分，把一个复杂的业务，任…
    博客
    • 0
    • 0
    • 122
    牛肉丸没牛肉牛肉丸没牛肉
  • Docker-

    Docker-

      Docker是容器技术的一个代表。容器技术从本质上讲是将程序隔离打包这么个技术。Docker解决了软件包装问题，很好的理顺了开发和运维环境的差异，使得开发和运维可以全用同种语言进行沟通。它是一个云计算的技术。 Docker是通过内核虚拟化技术（namespace及cgroups等）来提供容器的资源隔离与安全保障。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运…
    博客
    • 0
    • 0
    • 76
    牛肉丸没牛肉牛肉丸没牛肉
  • Apache Kudu 1.10.0 发布，Hadoop 生态数据存储系统

    Apache Kudu 1.10.0 发布，Hadoop 生态数据存储系统

    Apache Kudu 1.10.0 发布了，Kudu 是一个支持结构化数据的开源存储引擎，具有低延迟随机读取与高效分析读取模式。它基于 Apache Hadoop 生态系设计，并支持与 Apache 软件基金会其它数据分析项目集成。 此版本带来的新特性包括： Kudu 现在通过使用 Apache Spark 实现的作业支持完整和增量表备份。此外，它还支持通过使用 Apache Spark 实现的…
    博客
    • 0
    • 0
    • 155
    summersummer
  • Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

      报错 G:\APP\JDK\bin\java -Didea.launcher.port=7532 "-Didea.launcher.bin.path=G:\APP\IntelliJ IDEA\bin" -Dfile.encoding=UTF-8 -classpath "G:\APP\JDK\jre\lib\charsets.jar;G:\APP\JDK\…
    博客
    • 0
    • 0
    • 186
    牛肉丸没牛肉牛肉丸没牛肉
  • Python- 贪婪与非贪婪

    Python- 贪婪与非贪婪

      python运行匹配时，如果没有人为限定，默认是贪婪模式。 import re a = 'python 22222java34bigdata' r = re.findall('[a-z]{3}',a) # 打印三个字符 rr = re.findall('[a-z]{3,6}',a) # 匹配到的长度最小为3，最长不能超过 r…
    Python
    • 0
    • 0
    • 123
    牛肉丸没牛肉牛肉丸没牛肉
123
❮❯
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部