全部标签

博客

最新随机最多浏览最多喜欢最多评论

Hadoop- MR的shuffle过程

step1 input InputFormat读取数据，将数据转换成<key ,value>对,设置FileInputFormat，默认是文本格式（TextInputFormat） step2 map map<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 默认情况下KEYIN:LongWritable,偏移量。VALUEIN:Text，K…
博客
- 0
- 0
- 63
牛肉丸没牛肉19年8月18日
单机版Spark安装及PySpark环境配置

单机版Spark安装到官网http://archive.apache.org/dist/spark/ 下选择版本下载spark包，本次采用的是预编译版本选择spark-1.6.1-bin-hadoop2.6.tgz 解压到/opt/目录下 tar -xvzf spark-1.6.1-bin-hadoop2.6.tgz -C /opt/ [root@hdp spark-1.6.1-bin-had…
博客
- 0
- 0
- 171
牛肉丸没牛肉19年8月1日
Hadoop- NameNode和Secondary NameNode元数据管理机制

元数据的存储机制A、内存中有一份完整的元数据(内存meta data)B、磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中)C、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（edits文件）NameNode和Secondary NameNode元数据管理机制客户端每次对文件的操作，如果涉及到元数据的更新（读除外），比如…
博客
- 0
- 0
- 75
牛肉丸没牛肉19年8月17日
DataWarehouse- 从面试定位自己的水平

1.讲一下什么是维度表和事实表。用户资料表算是什么类型表。 2. 维度建模属于第几范式，让你对维度建模改进，有什么思路吗。 3. 了解数据血缘分析吗，让你实现的话有什么技术方案，感觉难点在哪。 4. 了解数据分层吗，讲一下分四层或者五层各有什么优劣。自己摸你一个场景，给出不同的方案。 5. 数据口径不一致的问题一般在什么情况下会发生，怎么避免。
博客
- 0
- 0
- 63
牛肉丸没牛肉19年8月18日
Hadoop HA- zookeeper安装配置

安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包：把下载好的zookeeper安装包，官网：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.8/ 上传到服务器。 1.3解压 tar –xvzf zookeeper-3.4.8.tar.gz ，解压后放进 /usr/ 即可 …
博客
- 0
- 0
- 64
牛肉丸没牛肉19年8月17日
Openldap- 大集群身份验证服务

无论在哪个行业，数据安全永远都是摆在首要地位。尤其是在大数据行业上，谁掌握了数据，谁就有可能成为下个亿万富豪的环境中，数据安全更为重要。大数据的安全可以从哪些地方入手，首先可以在身份验证上面入手。在大数据的集群设备上做好身份验证，可以使用openldap来做。唯有通过openldap管理的账号才能对大数据系统进行访问，没有通过openldap创建的账号是不能login到Hadoop…
博客
- 0
- 0
- 77
牛肉丸没牛肉19年8月18日
Hadoop- 分布式资源管理YARN架构讲解

YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。资源调度和资源隔离是YARN作为一个资源管理系统最重要和最基础的两个功能。资源调度由 ResourceManager 完成，而资源…
博客
- 0
- 0
- 99
牛肉丸没牛肉19年8月18日
Linux学习之路（五）压缩命令

常用压缩格式：　　.zip　　.gz　　.bz2 常用压缩格式：　　.tar.gz　　.tar.bz2 .zip格式压缩 .zip　　压缩文件名　　源文件　　　　#压缩文件 .zip　　-r　　压缩文件名　　源目录　　#压缩目录 .zip是Windows与Linux都可以用的，都可以解压缩。 zip rz.zip rz //压缩文件名最好带格式，方便他人直观看见它的格式…
博客
- 0
- 0
- 119
牛肉丸没牛肉19年8月17日
jupyter- 运维

jupyter运维常见CLI 查看安装的内核和位置 jupyter kernelspec list anaconda列出所有的环境 conda info -e
博客
- 0
- 0
- 65
牛肉丸没牛肉19年8月18日
Spark- SparkStreaming可更新状态的实例

Producer package zx.zx.sparkkafka import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.util.Random /** * Created by 166 on 2017/9/6. */ object…
博客
- 0
- 0
- 110
牛肉丸没牛肉19年8月18日
Hadoop- HDFS的Safemode

Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进入安全模式，等待DataNode向NameNode发送block report ，当datanode blocks / total blocks = 99.99%，此时安全模式才会退出安全模式下的操作：可以查看文件系统的文件在安全模式期间我们有些操作是不能进行的，比如不能改变文件系统…
博客
- 0
- 0
- 109
牛肉丸没牛肉19年8月18日
Spark- Linux下安装Spark

Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 [root@srv01 ~]# tar -xvzf spark-1.6.1-hadoop2.6.tgz /usr/spark-1.6.1-hadoop2.6 3.在 /usr 下…
博客
- 0
- 0
- 94
牛肉丸没牛肉19年8月17日
Hive- Hive Web Interface

当我们安装好hive时候，我们启动hive的UI界面的时候，命令: hive –-service hwi ，报错，没有war包我们查看hive/conf/hive-default.xml.template，查找hwi 把这3台属性复制，添加到hive-site.xml里面， vim hive-site.xml <property> <name>hive.hw…
博客
- 0
- 0
- 118
牛肉丸没牛肉19年8月17日
Spark- RDD持久化

官方原文： RDD Persistence One of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions …
博客
- 0
- 0
- 103
牛肉丸没牛肉19年8月18日
社交APP系统ThinkSNS+ PHP开发概述

Plus (读音： [pls] ，全称： ThinkSNS+ [k es en es pls] ，是ThinkSNS 系列产品一个重要版本，其软件识别名称为 Plus 即 + ) 是一个基于 Latest Laravel 框架进行开发的一个功能强大、易于开发和强拓展的社交系统。与其他开源社交程序不同的是 Plus 拥有多 Plus (读音：[plʌs]，全称：ThinkSNS+ [θɪŋk es …
博客
- 0
- 0
- 153
typhoon19年9月8日
Python- 列表内置方法

列表，元组查索引(下标) ，都是从0开始切片 .count 查某个元素的出现次数 .index 根据内容找其对应的位置 "haidilao ge" in a 增加 a.append() 追加 a.insert(index, "内容") a.extend 扩展修改 a[index] = "新的值" a[start:en…
Python
- 0
- 0
- 118
牛肉丸没牛肉19年8月18日
Spring- 通过Xml的方式完成Bean的实例化

传统应用程序可以通过反射方式进行实例化Bean，而Spring Ioc 容器则需要根据Bean定义的配置元数据使用反射机制来创建Bean。在Spring Ioc 容器中主要有以下几种创建Bean实例的方式：使用构造器实例化Bean 使用静态工厂方式实例化Bean 使用实例工厂方法实例化Bean 使用空构造器实例化时，该类必须含有空参构造器，如果不存在的话在实例化过程中…
Java
- 0
- 0
- 127
牛肉丸没牛肉19年8月18日
JAVA-配置path环境

配置path环境变量变的目的是什么？控制台可以在任意的路径下都可以找到java的开发工具。为了说明几个JDK环境变量的作用，这里先给出环境变量的定义环境变量：环境变量一般是指在操作系统中用来指定操作系统运行环境的一些参数，比如临时文件夹位置和系统文件夹位置等。这点有点类似于DOS时期的默认路径，你运行某些程序时除了在当前文件夹中寻找外，还会到设置的默认路径中去查找。简单地说这…
Java
- 0
- 0
- 120
牛肉丸没牛肉19年8月17日
JAVA- 内部类

内部类 public class InnerDemo { class Inner{ public void innerMethod(){ System.out.println("this is inner method"); } } public Inner getInnerInstance(){ return this.new Inner(); } public…
Java
- 0
- 0
- 63
牛肉丸没牛肉19年8月17日
Hive- Hive 按时间定期插入分区表

写个shell脚本Hive 按时间定期插入分区表,由于今天统计的是昨天的数据所以日期减一。 #！/bin/bash DT=`date -d '-1 day' "+%Y-%m-%d"` #如果某天的数据有误需要重跑 if [ $1 ];then DT=$1 fi SQL=" insert overwrite table t…
博客
- 0
- 0
- 65
牛肉丸没牛肉19年8月18日
JAVA-关键字&标识符

关键字：关键字就是在java程序中具备特殊含义的标识符。关键字一般用于描述一个程序的结构或者表示数据类型。他们用来表示一种数据类型，或者表示程序的结构等，关键字不能用作变量名、方法名、类名、包名。 1.1 常见的关键字备注：不必死记硬背，如果使用关键字作为标识符，编译器能提示错误。 goto 是java的保留关键字，意思是java并没有使用goto，以后是否使用未定。 &nb…
Java
- 0
- 0
- 61
牛肉丸没牛肉19年8月17日
Linux – xshell上传文件报错乱码

xshell上传文件报错乱码，解决方法 rz -be 回车下载sz filename
博客
- 0
- 0
- 87
牛肉丸没牛肉19年8月18日
JAVA- 切换默认的Java

删除自带的java yum remove java java -version发现还有java，因为电脑上安装了多个版本的java，这时我们可以用 yum groupremove java 通过组的这种方式，把它彻底删除掉
Java
- 0
- 0
- 50
牛肉丸没牛肉19年8月18日
如何在VMware Workstation上安装CentOS 7

1.首先打开VMware Workstation-文件-新建虚拟机 2.选择自定义向导，下一步。 3.由于我的软件版本比较高，不想太多硬件限制就选了版本11.也可以选择低一些版本的，这样兼容性会更好，你把虚拟机文件拷贝到低版本的VMware也能打开，也就是说当前版本能打开与他相同版本与低版本的虚拟机，不能打开比他高版本的。 4.选择安装来源-稍后安装操作系统，下一步 5.选择你所要安…
博客
- 0
- 0
- 91
牛肉丸没牛肉19年8月17日