文章
文章用户商铺快讯星球文档问答供求信息
全部标签

大数据

最新随机最多浏览最多喜欢最多评论
  • JAVA- 数据库连接池原理

    JAVA- 数据库连接池原理

      第一次Java程序要在MySQL中执行一条语句，那么就必须建立一个Connection对象，代表了与MySQL数据库的连接通过直接发送你要执行的SQL语句之后，就会调用Connection.close()来关闭和销毁与数据库的连接。为什么要立即关闭呢？因为数据库的连接是一种很重的资源，代表了网络连接、IO等资源。所以如果不是用的话就需要尽早关闭，以避免资源浪费。 JDBC的劣势与不足…
    Java
    • 0
    • 0
    • 53
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 数据倾斜

    HIVE- 数据倾斜

      数据倾斜就是由于数据分布不均匀，数据大量集中到一点上，造成数据热点。大多数情况下，分为一下三种情况： 1.map端执行比较快，reduce执行很慢，因为partition造成的数据倾斜。 2.某些reduce很快，某些reduce很慢，也是因为partition造成的数据倾斜。 3.某些map执行很快，某些map执行很慢，这是因为数据本身的分布的不合理性造成的。 造成上面reduce…
    博客
    • 0
    • 0
    • 44
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- MR的shuffle过程

    Hadoop- MR的shuffle过程

    step1 input InputFormat读取数据，将数据转换成<key ,value>对,设置FileInputFormat，默认是文本格式（TextInputFormat）   step2 map map<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 默认情况下KEYIN:LongWritable,偏移量。VALUEIN:Text，K…
    博客
    • 0
    • 0
    • 31
    牛肉丸没牛肉牛肉丸没牛肉
  • Hive- Hive 按时间定期插入分区表

    Hive- Hive 按时间定期插入分区表

        写个shell脚本Hive 按时间定期插入分区表,由于今天统计的是昨天的数据所以日期减一。 #！/bin/bash DT=`date -d '-1 day' "+%Y-%m-%d"` #如果某天的数据有误需要重跑 if [ $1 ];then DT=$1 fi SQL=" insert overwrite table t…
    博客
    • 0
    • 0
    • 30
    牛肉丸没牛肉牛肉丸没牛肉
  • Python- and & or 的短路原则

    Python- and & or 的短路原则

      条件1 and 条件2 条件1 or 条件2   短路原则 对于and 如果前面的第一个条件为假，那么这个and前后两个条件组成的表达式的计算结果就一定为假，第二个条件就不会被计算 对于or 如果前面的第一个条件为真，那么这个or前后两个条件组成的表达式的计算结果就一定为真，第二个条件就不会被计算    
    Python
    • 0
    • 0
    • 73
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- Storm作业提交运行流程

    Storm- Storm作业提交运行流程

      用户编写Storm Topology 使用client提交Topology给Nimbus Nimbus指派Task给Supervisor Supervisor为Task启动Worker Worker执行Task    
    博客
    • 0
    • 0
    • 56
    牛肉丸没牛肉牛肉丸没牛肉
  • Kafka- Kafka架构功能

    Kafka- Kafka架构功能

      Kafka是一个高吞吐量的分布式消息系统，一个分布式的发布-订阅消息系统。Kafka是一种快速，可拓展的，设计内在就是分布式的，分区的可复制的提交日志服务。 Apache Kafka与传统消息系统相比，有以下不同： 它设计为一个分布式系统，易于向外拓展； 它同时为发布和订阅提供高吞吐量； 它支持多订阅者，当失败时能自动平衡消费者； 它将消息持久化到磁盘，因此可用于批量消费，例如ETL…
    博客
    • 0
    • 0
    • 32
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- RDD简介

    Spark- RDD简介

      Spark里面提供了一个比较重要的抽象——弹性分布式数据集（resilient distributed dataset），简称RDD。弹性：数据可大可小，可分布在内存或磁盘，当某台机器宕机时，能够按照RDD的liveage重新计算，从而恢复。 RDD有5个特性： 1.一个分区列表，用于并行计算，每个分区对应一个原子数据集，作为这个分区的数据输入 2.计算这个RDD某个分区数据（这个分…
    博客
    • 0
    • 0
    • 54
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkStreaming可更新状态的实例

    Spark- SparkStreaming可更新状态的实例

      Producer package zx.zx.sparkkafka import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.util.Random /** * Created by 166 on 2017/9/6. */ object…
    博客
    • 0
    • 0
    • 69
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 计算每个学科最受欢迎的老师

    Spark- 计算每个学科最受欢迎的老师

      日志类型 测试数据 http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://java.myit.c…
    博客
    • 0
    • 0
    • 58
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 流量日志分析

    Spark- 流量日志分析

      日志生成 package zx.Utils import java.io.{File, FileWriter} import java.util.Calendar import org.apache.commons.lang.time.{DateUtils, FastDateFormat} import scala.collection.mutable.ArrayBuffer imp…
    博客
    • 0
    • 0
    • 65
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Hadoop运维小计

    Hadoop- Hadoop运维小计

      如果是新添加一个节点，需要执行以下步骤： 首先，把新节点的 IP或主机名 加入主节点（master）的 conf/slaves 文件。 然后登录新的从节点，执行以下命令： $ cd Hadoop_path $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker   然后就可…
    博客
    • 0
    • 0
    • 37
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- 集群启动详解

    Hadoop- 集群启动详解

      NameNode启动过程详解 第一次启动：HDFS格式化后，生成fsimage文件 hdf    
    博客
    • 0
    • 0
    • 26
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 新建UDF范例

    HIVE- 新建UDF范例

      首先pom文件导入依赖，Hadoop和hive的依赖导入自己机器的版本，hive记得导jdbc <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</v…
    博客
    • 0
    • 0
    • 48
    牛肉丸没牛肉牛肉丸没牛肉
  • Openldap- 大集群身份验证服务

    Openldap- 大集群身份验证服务

      无论在哪个行业，数据安全永远都是摆在首要地位。尤其是在大数据行业上，谁掌握了数据，谁就有可能成为下个亿万富豪的环境中，数据安全更为重要。大数据的安全可以从哪些地方入手，首先可以在身份验证上面入手。在大数据的集群设备上做好身份验证，可以使用openldap来做。 唯有通过openldap管理的账号才能对大数据系统进行访问，没有通过openldap创建的账号是不能login到Hadoop…
    博客
    • 0
    • 0
    • 60
    牛肉丸没牛肉牛肉丸没牛肉
  • Linux- AWS之EC2大数据集群定时开关机

    Linux- AWS之EC2大数据集群定时开关机

      众所周知，云计算就是在计算你的钱，每当ec2开起来就要开始计费。当用户购买了一个庞大的与服务器做一个集群，尤其是用来做大数据集群，这些服务器的配置相当高，每台服务器所需要的费用不菲。其实在很多时候没能够完全利用起其全部的资源，尤其在空闲时间，在夜间没有作业的情况下，这些服务器完全处于空闲的状态，却时刻在计费，这是相当不划算的。于是有这样一个方案，我们是不是可以在机器处于空闲的状态时将…
    博客
    • 0
    • 0
    • 99
    牛肉丸没牛肉牛肉丸没牛肉
  • HIVE- 大数据运维之hive管理

    HIVE- 大数据运维之hive管理

      我现在在一家公司负责大数据平台（CDH平台）的运维管理，最常遇见的问题我总结出来，并且继续在下面更新。希望方便自己以后trouble shooting以及方便各位同行解决问题与学习。 关于做运维有几个重要的要点一定一定要遵守的： 遇到问题冷静，冷静，冷静，就山崩都要冷静，心态关乎你是否能将问题解决同时不会给人留下不好的印象。 凡是关于对集群更改与变动的操作，一定要在测试环境测试到没问…
    博客
    • 0
    • 0
    • 75
    牛肉丸没牛肉牛肉丸没牛肉
  • Docker-

    Docker-

      Docker是容器技术的一个代表。容器技术从本质上讲是将程序隔离打包这么个技术。Docker解决了软件包装问题，很好的理顺了开发和运维环境的差异，使得开发和运维可以全用同种语言进行沟通。它是一个云计算的技术。 Docker是通过内核虚拟化技术（namespace及cgroups等）来提供容器的资源隔离与安全保障。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运…
    博客
    • 0
    • 0
    • 39
    牛肉丸没牛肉牛肉丸没牛肉
  • Kafka- Spark消费Kafka

    Kafka- Spark消费Kafka

      在高版本的API中 val brokers = properties.getProperty("kafka.host.list") val topics = Set(properties.getProperty("kafka.application.topic")) val kafkaParams = Map[String, String]( …
    博客
    • 0
    • 0
    • 41
    牛肉丸没牛肉牛肉丸没牛肉
  • 激活idea2018

    激活idea2018

      首先下载安装完成后，打开hosts文件，新增一条路由： 0.0.0.0 account.jetbrains.com 打开软件输入序列码： EB101IWSWD-eyJsaWNlbnNlSWQiOiJFQjEwMUlXU1dEIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6I…
    博客
    • 0
    • 0
    • 79
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- 集群时间同步ntp问题解决

    CDH- 集群时间同步ntp问题解决

      在CDH集群中发现有两台机器获取不到心跳（），导致监控不了机器状态，出现告警   可以使用ntpstat检查与ntp 服务器的时间偏差状态   使用 ntpstat 发现没有同步到ntp时间服务器，运行 ntpdate ip  添加时间同步服务器出现报错 the NTP socket is in use, exiting   网上搜了一下，大部分的建议是…
    博客
    • 0
    • 0
    • 50
    牛肉丸没牛肉牛肉丸没牛肉
  • Python- 贪婪与非贪婪

    Python- 贪婪与非贪婪

      python运行匹配时，如果没有人为限定，默认是贪婪模式。 import re a = 'python 22222java34bigdata' r = re.findall('[a-z]{3}',a) # 打印三个字符 rr = re.findall('[a-z]{3,6}',a) # 匹配到的长度最小为3，最长不能超过 r…
    Python
    • 0
    • 0
    • 57
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- CDH大数据集群运维

    CDH- CDH大数据集群运维

      CDH前端CM监控不正常（未解决）   Request to the Service Monitor failed. This may cause slow page responses. View the status of the Service Monitor. Request to the Host Monitor failed. This may cause sl…
    博客
    • 0
    • 0
    • 199
    牛肉丸没牛肉牛肉丸没牛肉
  • CDH- 测试mr

    CDH- 测试mr

      cdh的mr样例算法的jar包在 [zc.lee@ip-172-32-1-221 hadoop-0.20-mapreduce]$ pwd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/hadoop-0.20-mapreduce 查看该目录下的文件 [zc.lee@ip-172-32-1-221 hadoop-0.20-m…
    博客
    • 0
    • 0
    • 109
    牛肉丸没牛肉牛肉丸没牛肉
  • PostgreSql

    PostgreSql

      PostgreSql  
    博客
    • 0
    • 0
    • 55
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- 使用Storm实现累积求和的操作

    Storm- 使用Storm实现累积求和的操作

      需求：1+2+3+... = ？？？ 实现方案： Spout发出数字作为input 使用Bolt来处理业务逻辑：求和 将结果输出到控制台 拓扑设计：DataSourceSpout -->SumBolt→输出   package com.imooc.bigdata; import org.apache.storm.Config; import org.apache.st…
    博客
    • 0
    • 0
    • 61
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- 使用Storm实现词频汇总

    Storm- 使用Storm实现词频汇总

      需求：读取指定目录的数据，并实现单词计数的功能 实现方案： Spout来读取指定目录的数据，作为后续Bolt处理的input 使用一个Bolt把input 的数据，切割分开，我们按照逗号进分割 使用一个Bolt来进行最终的单词次数统计操作并输出 拓扑设计：DataSourceSpout ==>SpiltBolt ==>CountBolt   Storm编程注意，…
    博客
    • 0
    • 0
    • 59
    牛肉丸没牛肉牛肉丸没牛肉
  • Oozie-

    Oozie-

      oozie是一个工作流调度系统，用于管理Apache Hadoop作业。 oozie工作流作业是操作的有向无环图( DAGs )。 Oozie协调器作业是由时间(频率)和数据可用性触发的重复Oozie工作流作业。 oozie与Hadoop堆栈的其余部分集成，支持几种现成的Hadoop作业(如Java map - reduce、流map - reduce、Pig、Hive、Sqoop和…
    博客
    • 0
    • 0
    • 49
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark-Spark setMaster & WordCount Demo

    Spark-Spark setMaster & WordCount Demo

      Spark setMaster源码 /** * The master URL to connect to, such as "local" to run locally with one thread, "local[4]" to * run locally with 4 cores, or "spark://master:7077&…
    博客
    • 0
    • 0
    • 76
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Transformation实战

    Spark- Transformation实战

      RDD的算子分为两类,是 Trans formation(Lazy),一类是 Action(触发任务执行 RDD不存在真正要计算的数据,而是记录了RDD的转换关系(调用了什么方法,传入什么函数)   RDD的 Trans formation的特点 1. lazy 2.生成新的RDD   package cn.rzlee.spark.core import org.…
    博客
    • 0
    • 0
    • 55
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Action实战

    Spark- Action实战

      Spark- Action实战   package cn.rzlee.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ActionOperation { def main(args: Array[String]): Unit…
    博客
    • 0
    • 0
    • 47
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- RDD持久化

    Spark- RDD持久化

      官方原文： RDD Persistence One of the most important capabilities in Spark is persisting (or caching) a dataset in memory across operations. When you persist an RDD, each node stores any partitions …
    博客
    • 0
    • 0
    • 56
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 共享变量

    Spark- 共享变量

      Shared Variables Normally, when a function passed to a Spark operation (such as map or reduce) is executed on a remote cluster node, it works on separate copies of all the variables used in the…
    博客
    • 0
    • 0
    • 63
    牛肉丸没牛肉牛肉丸没牛肉
  • Hbase- Hbase客户端读写数据时的路由流程

    Hbase- Hbase客户端读写数据时的路由流程

      1、客户端先到zookeeper查找hbase:meta所在的RegionServer服务器 2、去hbase:meta表查找自己所要的数据所在的region server 3、去目标region server上的region要自己的数据 可以看出客户端查找数据可以不经过master      
    博客
    • 0
    • 0
    • 39
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

    Hadoop- Namenode经常挂掉 IPC’s epoch 9 is less than the last promised epoch 10

      如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10，   2019-01-03 05:36:14,774 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* allocate blk_1073741949_1131{UCState=…
    博客
    • 0
    • 0
    • 131
    牛肉丸没牛肉牛肉丸没牛肉
  • Springboot- pagehelper使用

    Springboot- pagehelper使用

      1.添加pagehelper依赖 <dependency> <groupId>org.github.pagehelper</groupId> <artifactId>pagehelper-spring-boot-starter</artifactId> <version>1.3.2</version>…
    博客
    • 0
    • 0
    • 49
    牛肉丸没牛肉牛肉丸没牛肉
123
❮❯
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部