文章
文章用户商铺快讯星球文档问答供求信息
全部标签

大数据

最新随机最多浏览最多喜欢最多评论
  • Hadoop- HDFS的API操作

    Hadoop- HDFS的API操作

      1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 注：如需手动引入ja…
    博客
    • 0
    • 0
    • 150
    牛肉丸没牛肉牛肉丸没牛肉
  • 数据仓库- 建模理念

    数据仓库- 建模理念

      数仓建模的目标 访问性能：能够快速查询所需的数据，减少数据I/O 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。 使用效率：改善用户使用体验，提高使用数据的效率 数据质量：改善数据统计口径的不一致性，减少数据计算错误的可性，提供高质量的、一致的数据访问平台   大数据的数仓建模需要通过建模的方法更好的组织、存储数据、以便在性能、…
    博客
    • 0
    • 0
    • 67
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 流量日志分析

    Spark- 流量日志分析

      日志生成 package zx.Utils import java.io.{File, FileWriter} import java.util.Calendar import org.apache.commons.lang.time.{DateUtils, FastDateFormat} import scala.collection.mutable.ArrayBuffer imp…
    博客
    • 0
    • 0
    • 92
    牛肉丸没牛肉牛肉丸没牛肉
  • Sqooop- 使用Sqoop进行数据的导入导出

    Sqooop- 使用Sqoop进行数据的导入导出

      Sqoop是Apache旗下的一个开源框架，专门用来做数据的导入和导出。 官网:https://sqoop.apache.org/ Sqoop的安装非常简单，只需要把下载下来的tar包解压设置两个环境变量就可以了 1.安装部署 下载版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 官网：http://mirror.bit.edu.cn/apa…
    博客
    • 0
    • 0
    • 164
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 常见问题

    Spark- 常见问题

      记录spark使用中常见问题 SparkSQL 日期解析时用到SimpleDateFormat， SimpleDateFormat是线程不安全的。可以使用 FastDateFormat 如： import org.apache.commons.lang3.time.FastDateFormat // 输入文件日期时间格式 // [10/Nov/2018:00:01:02 +0800]…
    博客
    • 0
    • 0
    • 87
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Linux下安装Spark

    Spark- Linux下安装Spark

       Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 [root@srv01 ~]# tar -xvzf spark-1.6.1-hadoop2.6.tgz /usr/spark-1.6.1-hadoop2.6 3.在 /usr 下…
    博客
    • 0
    • 0
    • 94
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 性能优化

    Spark- 性能优化

      由于Spark 的计算本质是基于内存的，所以Spark的性能城西的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。如果内存能够容得下所有的数据，那么网络传输和通信就会导致性能出现频惊。但是如果内存比较紧张，不足以放下所有的数据（比如在针对10亿以上的数据量进行计算时），还是需要对内存的使用进行性能优化的，比如说使用一些手段来减少内存的消耗。 Spark性能优化，其…
    博客
    • 0
    • 0
    • 86
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 使用第三方依赖解析IP地址

    Spark- 使用第三方依赖解析IP地址

      使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…
    博客
    • 0
    • 0
    • 119
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- 大数据仓库Hive

    Hive- 大数据仓库Hive

      什么是 Hive？ Hive 是由 FaceBook 开源用于解决少量数据结构化日志的数据统计。Hive是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。Hive 处理的数据存储在 HDFS 上，分析数据的底层实现是 MapReduce ，执行程序运行的是YARN。 构建在Hadoop之上的数据仓库： 使用 HQL 作为查询接口 使…
    博客
    • 0
    • 0
    • 66
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive Web Interface

    Hive- Hive Web Interface

      当我们安装好hive时候，我们启动hive的UI界面的时候，命令: hive –-service hwi ，报错，没有war包 我们查看hive/conf/hive-default.xml.template，查找hwi 把这3台属性复制，添加到hive-site.xml里面， vim hive-site.xml <property> <name>hive.hw…
    博客
    • 0
    • 0
    • 118
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- RDD持久化

    Spark- RDD持久化

      官方原文： RDD Persistence One of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions …
    博客
    • 0
    • 0
    • 103
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- HDFS的Safemode

    Hadoop- HDFS的Safemode

      Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进入安全模式，等待DataNode向NameNode发送block report ，当datanode blocks / total blocks = 99.99%，此时安全模式才会退出 安全模式下的操作： 可以查看文件系统的文件 在安全模式期间我们有些操作是不能进行的，比如不能改变文件系统…
    博客
    • 0
    • 0
    • 109
    牛肉丸没牛肉牛肉丸没牛肉
  • 激活idea2018

    激活idea2018

      首先下载安装完成后，打开hosts文件，新增一条路由： 0.0.0.0 account.jetbrains.com 打开软件输入序列码： EB101IWSWD-eyJsaWNlbnNlSWQiOiJFQjEwMUlXU1dEIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6I…
    博客
    • 0
    • 0
    • 111
    牛肉丸没牛肉牛肉丸没牛肉
  • Linux- AWS之EC2大数据集群定时开关机

    Linux- AWS之EC2大数据集群定时开关机

      众所周知，云计算就是在计算你的钱，每当ec2开起来就要开始计费。当用户购买了一个庞大的与服务器做一个集群，尤其是用来做大数据集群，这些服务器的配置相当高，每台服务器所需要的费用不菲。其实在很多时候没能够完全利用起其全部的资源，尤其在空闲时间，在夜间没有作业的情况下，这些服务器完全处于空闲的状态，却时刻在计费，这是相当不划算的。于是有这样一个方案，我们是不是可以在机器处于空闲的状态时将…
    博客
    • 0
    • 0
    • 128
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 优化后的 shuffle 操作原理剖析

    Spark- 优化后的 shuffle 操作原理剖析

      在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGroup的概念。一个 ShuffleMapTask 将数据写入 ResultTask 数量的本地文本，这个不会变。但是，当下一个 ShuffleMapTask 运行的时候，可以直接将数据写入之前的 ShuffleMapTask 的本地文件。相当于是，对多个 ShuffleMapTask 输出…
    博客
    • 0
    • 0
    • 54
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkStreaming可更新状态的实例

    Spark- SparkStreaming可更新状态的实例

      Producer package zx.zx.sparkkafka import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.util.Random /** * Created by 166 on 2017/9/6. */ object…
    博客
    • 0
    • 0
    • 110
    牛肉丸没牛肉牛肉丸没牛肉
  • Redis- 内存数据库Redis之安装部署

    Redis- 内存数据库Redis之安装部署

      内存数据库Redis之安装部署 Redis是一款非关系型，key-value存储的内存数据库，Redis数据库完全在内存中，使用磁盘仅用于持久性。Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。 支持丰富的数据类型：Redis支持字符串、列表、集合、有序集合散列数据类型，这使得它非常容易解决各种各样的问题。把redis看成java的一个hashmap你就入门…
    博客
    • 0
    • 0
    • 110
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive安装

    Hive- Hive安装

      Hive安装 1.1下载Hive安装包 官网：http://hive.apache.org/downloads.html 个人建议到这里下载：http://apache.forsale.plus/ 1.2将hive文件上传到HADOOP集群，并解压 将文件上传到 /usr ，解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/ 重命名:…
    博客
    • 0
    • 0
    • 83
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

    Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

      如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10，   2019-01-03 05:36:14,774 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* allocate blk_1073741949_1131{UCState=…
    博客
    • 0
    • 0
    • 217
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Hadoop环境搭建

    Hadoop- Hadoop环境搭建

      Windows下Hadoop的安装 准备工具：64位的JDK,Hadoop安装包（我使用的是2.6.1） JDK下载地址 官网： http://www.oracle.com/technetwork/java/javase/downloads/index.html Hadoop下载地址 官网：http://hadoop.apache.org/ 1.安装JDK环境，配置系统环境变量. 选…
    博客
    • 0
    • 0
    • 80
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Spark基本工作原理

    Spark- Spark基本工作原理

      Spark特点： 1.分布式 spark读取数据时是把数据分布式存储到各个节点内存中 2.主要基于内存（少数情况基于磁盘，如shuffle阶段） 所有计算操作，都是针对多个节点上内存的数据，进行并行操作的 3.迭代式计算 对分布式节点内存中的数据进行处理，处理后的数据可能会移动到其他节点的内存中，当需要用到某些数据时，从这些节点的内存中就能找到，迭代出来使用 Spark与MapRed…
    博客
    • 0
    • 0
    • 97
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    运行 mport org.apache.log4j.{Level, Logger} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * Created by Lee_Rz on 2017/8/30. */ object SparkDemo { def main(args: A…
    博客
    • 0
    • 0
    • 143
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- 分布式资源管理YARN架构讲解

    Hadoop- 分布式资源管理YARN架构讲解

      YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。资源调度和资源隔离是YARN作为一个资源管理系统最重要和最基础的两个功能。资源调度由 ResourceManager 完成，而资源…
    博客
    • 0
    • 0
    • 99
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 新建UDF范例

    HIVE- 新建UDF范例

      首先pom文件导入依赖，Hadoop和hive的依赖导入自己机器的版本，hive记得导jdbc <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</v…
    博客
    • 0
    • 0
    • 76
    牛肉丸没牛肉牛肉丸没牛肉
  • SpringBoot- springboot集成Redis出现报错：No qualifying bean of type ‘org.springframework.data.redis.connection.RedisConnectionFactory’

    SpringBoot- springboot集成Redis出现报错：No qualifying bean of type ‘org.springframework.data.redis.connection.RedisConnectionFactory’

      Springboot将accessToke写入Redisk 缓存，springboot集成Redis出现报错 No qualifying bean of type 'org.springframework.data.redis.connection.RedisConnectionFactory'   原因：我们在pom.xml中引入了spring-boo…
    博客
    • 0
    • 0
    • 418
    牛肉丸没牛肉牛肉丸没牛肉
  • Python- and & or 的短路原则

    Python- and & or 的短路原则

      条件1 and 条件2 条件1 or 条件2   短路原则 对于and 如果前面的第一个条件为假，那么这个and前后两个条件组成的表达式的计算结果就一定为假，第二个条件就不会被计算 对于or 如果前面的第一个条件为真，那么这个or前后两个条件组成的表达式的计算结果就一定为真，第二个条件就不会被计算    
    Python
    • 0
    • 0
    • 96
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- DistCp(分布式拷贝)

    Hadoop- DistCp(分布式拷贝)

      在实际的生产环境中，我们的企业都有测试集群和生产集群，有的比较大型的企业有多个版本的Hadoop 大数据集群，这时候有个这样的需求，各个集群上的资源需要进行迁移，比如说一些生产集群需要一些测试集群的数据，需要将测试集群的上的数据拷贝到生产集群，这时候就需要使用到分布式拷贝（Distributed Copy）. 比较常见的有不同集群之间的数据迁移 hadoop distcp <s…
    博客
    • 0
    • 0
    • 104
    牛肉丸没牛肉牛肉丸没牛肉
  • Python- NumPy

    Python- NumPy

       NumPy包括的内容 NumPy系统是 Python的一种开源的数值计算扩展,是一个用 python实现的科学计算包。包括： 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组,称为 ndarray(N-dimensional array object ) 用于对整组数据进行快速运算的标准数学函数, func( universal function object) 用于整…
    Python
    • 0
    • 0
    • 188
    牛肉丸没牛肉牛肉丸没牛肉
  • JAVA- 数据库连接池原理

    JAVA- 数据库连接池原理

      第一次Java程序要在MySQL中执行一条语句，那么就必须建立一个Connection对象，代表了与MySQL数据库的连接通过直接发送你要执行的SQL语句之后，就会调用Connection.close()来关闭和销毁与数据库的连接。为什么要立即关闭呢？因为数据库的连接是一种很重的资源，代表了网络连接、IO等资源。所以如果不是用的话就需要尽早关闭，以避免资源浪费。 JDBC的劣势与不足…
    Java
    • 0
    • 0
    • 89
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 计算每个学科最受欢迎的老师

    Spark- 计算每个学科最受欢迎的老师

      日志类型 测试数据 http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://java.myit.c…
    博客
    • 0
    • 0
    • 103
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- 表

    Hive- 表

      在hive中表的类型：管理表和托管表（外部表）。 内部表也称之为MANAGER_TABLE,默认存储在/user/hive/warehouse下，也可以通过location指定；删除表时，会删除表的数据以及元数据； 外部表称之为EXTERNAL_TABLE。在创建表时可以自己指定目录位置（LOCATION），数据存储所在的目录；删除表时，只会删除元数据不会删除表数据； 创建外部表实例…
    博客
    • 0
    • 0
    • 113
    牛肉丸没牛肉牛肉丸没牛肉
  • spark- PySparkSQL之PySpark解析Json集合数据

    spark- PySparkSQL之PySpark解析Json集合数据

      PySparkSQL之PySpark解析Json集合数据 数据样本 12341234123412342|asefr-3423|[{"name":"spark","score":"65"},{"name":"airlow","score":&quo…
    博客
    • 0
    • 0
    • 81
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Hadoop运维小计

    Hadoop- Hadoop运维小计

      如果是新添加一个节点，需要执行以下步骤： 首先，把新节点的 IP或主机名 加入主节点（master）的 conf/slaves 文件。 然后登录新的从节点，执行以下命令： $ cd Hadoop_path $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker   然后就可…
    博客
    • 0
    • 0
    • 62
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive 按时间定期插入分区表

    Hive- Hive 按时间定期插入分区表

        写个shell脚本Hive 按时间定期插入分区表,由于今天统计的是昨天的数据所以日期减一。 #！/bin/bash DT=`date -d '-1 day' "+%Y-%m-%d"` #如果某天的数据有误需要重跑 if [ $1 ];then DT=$1 fi SQL=" insert overwrite table t…
    博客
    • 0
    • 0
    • 66
    牛肉丸没牛肉牛肉丸没牛肉
  • DataWarehouse- 从面试定位自己的水平

    DataWarehouse- 从面试定位自己的水平

      1.讲一下什么是维度表和事实表。用户资料表算是什么类型表。 2. 维度建模属于第几范式，让你对维度建模改进，有什么思路吗。 3. 了解数据血缘分析吗，让你实现的话有什么技术方案，感觉难点在哪。 4. 了解数据分层吗，讲一下分四层或者五层各有什么优劣。自己摸你一个场景，给出不同的方案。 5. 数据口径不一致的问题一般在什么情况下会发生，怎么避免。    
    博客
    • 0
    • 0
    • 63
    牛肉丸没牛肉牛肉丸没牛肉
  • Kafka- Spark消费Kafka

    Kafka- Spark消费Kafka

      在高版本的API中 val brokers = properties.getProperty("kafka.host.list") val topics = Set(properties.getProperty("kafka.application.topic")) val kafkaParams = Map[String, String]( …
    博客
    • 0
    • 0
    • 96
    牛肉丸没牛肉牛肉丸没牛肉
123
❮❯
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部