文章
文章用户商铺快讯星球文档问答供求信息
全部标签

博客

最新随机最多浏览最多喜欢最多评论
  • Oozie-

    Oozie-

      oozie是一个工作流调度系统，用于管理Apache Hadoop作业。 oozie工作流作业是操作的有向无环图( DAGs )。 Oozie协调器作业是由时间(频率)和数据可用性触发的重复Oozie工作流作业。 oozie与Hadoop堆栈的其余部分集成，支持几种现成的Hadoop作业(如Java map - reduce、流map - reduce、Pig、Hive、Sqoop和…
    博客
    • 0
    • 0
    • 77
    牛肉丸没牛肉牛肉丸没牛肉
  • Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

    Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现

      流量汇总程序需求 统计每一个用户（手机号）锁耗费的总上行流量、下行流量、总流量。 流程剖析 阶段：map 读取一行数据，切分字段， 抽取手机号，上行流量，下行流量 context.write(手机号，bean)   阶段：reduce 汇总遍历每个bean，将其中的上行流量，下行流量分别累加，得到一个新的bean context.write(手机号，新bean)； 代码实现…
    博客
    • 0
    • 0
    • 82
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 优化后的 shuffle 操作原理剖析

    Spark- 优化后的 shuffle 操作原理剖析

      在spark新版本中，引入了 consolidation 机制，也就是说提出了ShuffleGroup的概念。一个 ShuffleMapTask 将数据写入 ResultTask 数量的本地文本，这个不会变。但是，当下一个 ShuffleMapTask 运行的时候，可以直接将数据写入之前的 ShuffleMapTask 的本地文件。相当于是，对多个 ShuffleMapTask 输出…
    博客
    • 0
    • 0
    • 51
    牛肉丸没牛肉牛肉丸没牛肉
  • JAVA- 面向对象

    JAVA- 面向对象

      程序的发展经历了两个主要阶段：面向过程、面向对象。面向对象是当前软件开发的主流。 面向过程就是分析出解决所需要的步骤，然后用函数将这些步骤一步一步实现，使用的时候一个一个一次调用。 面向对象是把构成问题的事务分解成各个对象。建立对象的目的不是为了完成一个步骤而是为了描述某个事物在整个解决问题步骤中的行为。 面向对象是为了专注在程序中采用封装、继承、多态等设计方法。面向对象的设计是一种…
    Java
    • 0
    • 0
    • 82
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Spark基本工作原理

    Spark- Spark基本工作原理

      Spark特点： 1.分布式 spark读取数据时是把数据分布式存储到各个节点内存中 2.主要基于内存（少数情况基于磁盘，如shuffle阶段） 所有计算操作，都是针对多个节点上内存的数据，进行并行操作的 3.迭代式计算 对分布式节点内存中的数据进行处理，处理后的数据可能会移动到其他节点的内存中，当需要用到某些数据时，从这些节点的内存中就能找到，迭代出来使用 Spark与MapRed…
    博客
    • 0
    • 0
    • 90
    牛肉丸没牛肉牛肉丸没牛肉
  • Linux- 自动备份MySQL数据库脚本

    Linux- 自动备份MySQL数据库脚本

      数据安全很重要，所以日常中需要对数据库进行备份。      
    博客
    • 0
    • 0
    • 46
    牛肉丸没牛肉牛肉丸没牛肉
  • Linux下的网络远程安装

    Linux下的网络远程安装

    Linux下的网络远程安装 1.用RHEL6.5光盘安装第一台服务器 2.在第一台服务器上配置YUM服务器 先创建一个挂载 1 #mount 2 #umount /dev/cdrom 3 #mkdir /mnt/rhel-dvd 4 5 #vim /etc/fstab 6 /dev/sr0 /mnt/rhel-dvd iso9660 defaults,ro 0 0 7 8 #mount -a //…
    博客
    • 0
    • 0
    • 57
    牛肉丸没牛肉牛肉丸没牛肉
  • 计算机体系的划分

    计算机体系的划分

    计算机体系的划分 1.按处理机个数和种类划分 按处理机个数和种类，计算机体系可分为单处理机、多处理机、并行处理机、关联处理机、超标量处理机、超流水线处理机、SMP(对称多处理机)、MPP(大规模并行处理机)、机群系统等。 2.Flynn分类法 按照指令流和数据流的不同组织方式，可将计算机系统结构分为四类，如 体系分类 结构 特性 示例 单指令流单数据流(SISD) 单控制器、单处理器、单主存模块 …
    博客
    • 0
    • 0
    • 43
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 使用第三方依赖解析IP地址

    Spark- 使用第三方依赖解析IP地址

      使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…
    博客
    • 0
    • 0
    • 109
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- SparkStreaming可更新状态的实例

    Spark- SparkStreaming可更新状态的实例

      Producer package zx.zx.sparkkafka import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.util.Random /** * Created by 166 on 2017/9/6. */ object…
    博客
    • 0
    • 0
    • 100
    牛肉丸没牛肉牛肉丸没牛肉
  • Storm- 使用Storm实现累积求和的操作

    Storm- 使用Storm实现累积求和的操作

      需求：1+2+3+... = ？？？ 实现方案： Spout发出数字作为input 使用Bolt来处理业务逻辑：求和 将结果输出到控制台 拓扑设计：DataSourceSpout -->SumBolt→输出   package com.imooc.bigdata; import org.apache.storm.Config; import org.apache.st…
    博客
    • 0
    • 0
    • 79
    牛肉丸没牛肉牛肉丸没牛肉
  • 高可用架构设计总结

    高可用架构设计总结

    本文作者：12叔 我们来总结一下高可用架构的设计 我们主要讨论存储高可用，计算高可用和业务系统的高可用 高可用主要是通过冗余的方式进行的 存储高可用 存储高可用主要这几种方式 主备复制 主备复制是最常见也是最简单的一种存储高可用方案，几乎所有的存储系统都提供了主备复制的功能 主备架构中的“备机”主要还是起到一个备份作用，并不承担实际的业务读写操作。 优点 对于客户端来说，不需要感知备机的存在，即使…
    博客
    • 0
    • 0
    • 61
    summersummer
  • Kafka- Spark消费Kafka

    Kafka- Spark消费Kafka

      在高版本的API中 val brokers = properties.getProperty("kafka.host.list") val topics = Set(properties.getProperty("kafka.application.topic")) val kafkaParams = Map[String, String]( …
    博客
    • 0
    • 0
    • 72
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- Action实战

    Spark- Action实战

      Spark- Action实战   package cn.rzlee.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ActionOperation { def main(args: Array[String]): Unit…
    博客
    • 0
    • 0
    • 69
    牛肉丸没牛肉牛肉丸没牛肉
  • wordpress外链批量修改为go内链美化跳转 免插件 杜绝权重损失

    wordpress外链批量修改为go内链美化跳转 免插件 杜绝权重损失

    在自己的博客中,随着时间的积累,往往会产生很多内链和外链,这其中包括评论者自己发布的链接,文章中包括的链接等等.业界也流传着一种说法,就是这样不利于SEO优化,不管是真的假的,我们要做的就是实现自动在这些外链中,添加一项跳转链接. 实现代码 首先制作用于美化跳转的go.php页面,存放于网站根目录 <?php //by https://www.os99.net $t_url = preg_r…
    博客
    • 0
    • 0
    • 143
    typhoontyphoon
  • Python- and & or 的短路原则

    Python- and & or 的短路原则

      条件1 and 条件2 条件1 or 条件2   短路原则 对于and 如果前面的第一个条件为假，那么这个and前后两个条件组成的表达式的计算结果就一定为假，第二个条件就不会被计算 对于or 如果前面的第一个条件为真，那么这个or前后两个条件组成的表达式的计算结果就一定为真，第二个条件就不会被计算    
    Python
    • 0
    • 0
    • 90
    牛肉丸没牛肉牛肉丸没牛肉
  • Redis- 内存数据库Redis之安装部署

    Redis- 内存数据库Redis之安装部署

      内存数据库Redis之安装部署 Redis是一款非关系型，key-value存储的内存数据库，Redis数据库完全在内存中，使用磁盘仅用于持久性。Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。 支持丰富的数据类型：Redis支持字符串、列表、集合、有序集合散列数据类型，这使得它非常容易解决各种各样的问题。把redis看成java的一个hashmap你就入门…
    博客
    • 0
    • 0
    • 107
    牛肉丸没牛肉牛肉丸没牛肉
  • ARP之windows下的ARP命令

    ARP之windows下的ARP命令

    ARP之windows下的ARP命令 1 2 3 4 5 arp -a                              查看当前电脑上的ARP映射表。可以看到当前的ARP的映射关系是动态的还是静态的。 arp -s w.x.y.z   aa-bb-cc-dd-ee-ff  添加静态ARP实现ARP绑定。其中w.x.y.z代表要绑定的IP地址，aa-bb-cc-dd-ee-ff代表其MAC…
    博客
    • 0
    • 0
    • 48
    牛肉丸没牛肉牛肉丸没牛肉
  • Spark- 常见问题

    Spark- 常见问题

      记录spark使用中常见问题 SparkSQL 日期解析时用到SimpleDateFormat， SimpleDateFormat是线程不安全的。可以使用 FastDateFormat 如： import org.apache.commons.lang3.time.FastDateFormat // 输入文件日期时间格式 // [10/Nov/2018:00:01:02 +0800]…
    博客
    • 0
    • 0
    • 82
    牛肉丸没牛肉牛肉丸没牛肉
  • Linux安装Scala(小白版)

    Linux安装Scala(小白版)

    一、下载Scala安装包 从scala官方网站地址：http://www.scala-lang.org/download/下载scala二进制包，以2.12.6版本为例 二、安装 1、将下载的二进制包移动到/usr/local目录，解压缩文件包 tar zxvf scala-2.12.6.tgz  mv scala-2.12.6 scala //重命名目录 2、设置环境变量 vi /etc/pro…
    博客
    • 0
    • 1
    • 63
    SparkGorSparkGor
  • Spark-Spark setMaster & WordCount Demo

    Spark-Spark setMaster & WordCount Demo

      Spark setMaster源码 /** * The master URL to connect to, such as "local" to run locally with one thread, "local[4]" to * run locally with 4 cores, or "spark://master:7077&…
    博客
    • 0
    • 0
    • 121
    牛肉丸没牛肉牛肉丸没牛肉
  • VLAN(虚拟局域网)划分

    VLAN(虚拟局域网)划分

    VLAN根据不同的需求，可以有多种划分方式： 一：静态划分 基于端口             按VLAN交换机上的物理端口和内部的PVC(永久虚电路)端口来划分 静态划分安全、可靠，易于配置与维护 二：动态划分 基于MAC  这种划分VLAN的方法是根据每个用户主机的MAC地址来划分的 基于网络协议  VLAN按网络层协议来划分为IP、IPX等VLAN网络 基于IP组播 IP组播即认为一个IP组播…
    博客
    • 0
    • 0
    • 87
    牛肉丸没牛肉牛肉丸没牛肉
  • 高性能架构设计总结

    高性能架构设计总结

    本文作者：12叔 我们来总结一下高性能架构的设计 高性能架构可以分为为计算高性能和存储高性能 计算高性能架构 高性能架构设计主要集中在两方面： 尽量提升单服务器的性能，将单服务器的性能发挥到极致 。 如果单服务器无法支撑性能，考虑服务器集群方案 。 单服务器高性能 单服务器高性能的关键之一就是服务器采取的网络编程模型，网络编程模型有如下两个关键设计点 ： 服务器如何管理连接。 服务器如何处理请求 …
    博客
    • 0
    • 0
    • 52
    summersummer
  • 如何在VMware Workstation上安装CentOS 7

    如何在VMware Workstation上安装CentOS 7

      1.首先打开VMware Workstation-文件-新建虚拟机 2.选择自定义向导，下一步。 3.由于我的软件版本比较高，不想太多硬件限制就选了版本11.也可以选择低一些版本的，这样兼容性会更好，你把虚拟机文件拷贝到低版本的VMware也能打开，也就是说当前版本能打开与他相同版本与低版本的虚拟机，不能打开比他高版本的。 4.选择安装来源-稍后安装操作系统，下一步 5.选择你所要安…
    博客
    • 0
    • 0
    • 80
    牛肉丸没牛肉牛肉丸没牛肉
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部