-
Linux安装Scala(小白版)
一、下载Scala安装包 从scala官方网站地址：http://www.scala-lang.org/download/下载scala二进制包，以2.12.6版本为例 二、安装 1、将下载的二进制包移动到/usr/local目录，解压缩文件包 tar zxvf scala-2.12.6.tgz mv scala-2.12.6 scala //重命名目录 2、设置环境变量 vi /etc/pro…...- 0
- 1
- 49
-
Linux-TFTP之用于网络远程安装
TFTP：Trival File Transfer Protocol，简单文件传输协议。是TCP/IP协议族中的一个用来在客户机与服务器之间进行简单文件传输的协议，提供不复杂、开销不大的文件传输服务。端口号为69。 TFTP和FTP的区别 1、FTP用TCP协议，TFTP用UDP协议 2、FTP支持用户认证，TFTP不支持 3、FTP文件大小没有限制，TFTP有限制，32MB大小 4、TFTP仅仅…...- 0
- 0
- 43
-
如何用命令行删除EasyBCD开机选择项？
用硬盘安装Ubuntu方法的windows双系统电脑上面，很多人都是用EasyBCD设置的开机启动选择。所以当我们不需要双系统的时候，或者已经删除双系统后，或者安装双系统失败的情况下，发现电脑的开机启动还是存在让你选择操作系统的时候，我们可以通过进入Dos里面用命令行模式来删除该引导。 在运行中输入:msconfig，发现只有一个引导，并没有发现残留的引导，无法手动删除，那么我们尝试…...- 0
- 0
- 83
-
Hadoop- 分布式资源管理YARN架构讲解
YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。资源调度和资源隔离是YARN作为一个资源管理系统最重要和最基础的两个功能。资源调度由 ResourceManager 完成，而资源…...- 0
- 0
- 79
-
Openldap- 大集群身份验证服务
无论在哪个行业，数据安全永远都是摆在首要地位。尤其是在大数据行业上，谁掌握了数据，谁就有可能成为下个亿万富豪的环境中，数据安全更为重要。大数据的安全可以从哪些地方入手，首先可以在身份验证上面入手。在大数据的集群设备上做好身份验证，可以使用openldap来做。 唯有通过openldap管理的账号才能对大数据系统进行访问，没有通过openldap创建的账号是不能login到Hadoop…...- 0
- 0
- 61
-
Spark-Spark setMaster & WordCount Demo
Spark setMaster源码 /** * The master URL to connect to, such as "local" to run locally with one thread, "local[4]" to * run locally with 4 cores, or "spark://master:7077&…...- 0
- 0
- 80
-
社交APP系统ThinkSNS+ PHP开发概述
Plus (读音： [pls] ，全称： ThinkSNS+ [k es en es pls] ，是ThinkSNS 系列产品一个重要版本，其软件识别名称为 Plus 即 + ) 是一个基于 Latest Laravel 框架进行开发的一个功能强大、易于开发和强拓展的社交系统。与其他开源社交程序不同的是 Plus 拥有多 Plus (读音：[plʌs]，全称：ThinkSNS+ [θɪŋk es …...- 0
- 0
- 117
-
大数据- 自定义Log4j日记
1.新建一个java project，在src下新建一个lib文件夹和 rescources 文件夹，resources文件夹不能命名错误。 点击File——》project Structure...打开根据下图操作 把相关jar包放进lib文件夹里并绑定。 新建一个java文件 Log4jTest.java 和 HadoopLog4j.java 1 2 3 4 5 6…...- 0
- 0
- 33
-
Spark- Checkpoint原理剖析
Checkpoint，是Spark 提供的一个比较高级的功能。有的时候，比如说，我们的 Spark 应用程序，特别的复杂，然后从初始的RDD开始，到最后拯个应用程序完成，有非常多的步骤，比如超过20个transformation 操作。而且整个应用运行的时间也特别的长，比如通常要运行1-5小时。 在上述的情况下，就比较适合使用checkpoint 功能。因为，对于特别复杂的 Spar…...- 0
- 0
- 62
-
激活idea2018
首先下载安装完成后，打开hosts文件，新增一条路由： 0.0.0.0 account.jetbrains.com 打开软件输入序列码： EB101IWSWD-eyJsaWNlbnNlSWQiOiJFQjEwMUlXU1dEIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6I…...- 0
- 0
- 82
-
Python- NumPy
NumPy包括的内容 NumPy系统是 Python的一种开源的数值计算扩展,是一个用 python实现的科学计算包。包括： 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组,称为 ndarray(N-dimensional array object ) 用于对整组数据进行快速运算的标准数学函数, func( universal function object) 用于整…...- 0
- 0
- 151
-
JAVA-配置path环境
配置path环境变量变的目的是什么？ 控制台可以在任意的路径下都可以找到java的开发工具。 为了说明几个JDK环境变量的作用，这里先给出环境变量的定义 环境变量： 环境变量一般是指在操作系统中用来指定操作系统运行环境的一些参数，比如临时文件夹位置和系统文件夹位置等。这点有点类似于DOS时期的默认路径，你运行某些程序时除了在当前文件夹中寻找外，还会到设置的默认路径中去查找。简单地说这…...- 0
- 0
- 84
-
Hadoop- Wordcount程序原理及代码实现
如果对Hadoop- MapReduce分布式计算框架原理还不熟悉的可以先了解一下它，因为本文的wordcount程序实现就是MapReduce分而治之最经典的一个范例。 单词计数（wordcount）主要步骤： 1.读数据 2.按行处理 3.按空格切分行内单词 4.HashMap（单词，value+1） 等分给自己的数据片全部读取完之后 5.将HashMap按照首字母范围分为3个H…...- 0
- 0
- 67
-
Python- 列表内置方法
列表，元组 查 索引(下标) ，都是从0开始 切片 .count 查某个元素的出现次数 .index 根据内容找其对应的位置 "haidilao ge" in a 增加 a.append() 追加 a.insert(index, "内容") a.extend 扩展 修改 a[index] = "新的值" a[start:en…...- 0
- 0
- 90
-
JQuery- JQuery学习
jQuery与JavaScript加载页面的区别 1.JavaScript传统的方式页面加载会存在覆盖问题，加载比jQuery慢(整个页面加载完毕<包含里面的其他内容，比如图片>) 2.jQuery的加载比JavaScript加载要快！(当整个dom数结构绘制完毕就会加载) 3.jQuery不存在覆盖问题,加载的时候是顺序执行 <!DOCTYPE html> …...- 0
- 0
- 55
-
Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法
在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值给新的变量名会报NullPointerException错误， 可以先用row.isNullAt(index)去判断该字段的值是否为空 首先上错误 修改为先初始化变量，判断row.isNullAt(6) 如果不为空就将值赋值给变量 ...- 0
- 0
- 87
-
Linux下的网络远程安装
Linux下的网络远程安装 1.用RHEL6.5光盘安装第一台服务器 2.在第一台服务器上配置YUM服务器 先创建一个挂载 1 #mount 2 #umount /dev/cdrom 3 #mkdir /mnt/rhel-dvd 4 5 #vim /etc/fstab 6 /dev/sr0 /mnt/rhel-dvd iso9660 defaults,ro 0 0 7 8 #mount -a //…...- 0
- 0
- 41
-
如何识别真Microsoft服务与非Microsoft服务来定位病毒自己的服务
在我当网管的那段时间，发现有病毒入侵客户服务器，该病毒伪装自己的进程名，我们在服务中发现其也有伪装成系统服务的服务在运行，占用客户服务器的性能，使得CPU与内存的利用率达到90%以上，并持续时间长，甚至不能远程登陆，只能通过云平台查看服务器是否仍然在线。那么有没有一个这样的方法，在电脑性能被占用很高的情况下，发现可以的进程，并找到其服务（发现存在服务）是不是真Microsoft服务，…...- 0
- 0
- 27
-
Hadoop- HDFS的Safemode
Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进入安全模式，等待DataNode向NameNode发送block report ，当datanode blocks / total blocks = 99.99%，此时安全模式才会退出 安全模式下的操作： 可以查看文件系统的文件 在安全模式期间我们有些操作是不能进行的，比如不能改变文件系统…...- 0
- 0
- 79
-
Linux- AWS之EC2大数据集群定时开关机
众所周知，云计算就是在计算你的钱，每当ec2开起来就要开始计费。当用户购买了一个庞大的与服务器做一个集群，尤其是用来做大数据集群，这些服务器的配置相当高，每台服务器所需要的费用不菲。其实在很多时候没能够完全利用起其全部的资源，尤其在空闲时间，在夜间没有作业的情况下，这些服务器完全处于空闲的状态，却时刻在计费，这是相当不划算的。于是有这样一个方案，我们是不是可以在机器处于空闲的状态时将…...- 0
- 0
- 102
-
Spark- Transformation实战
RDD的算子分为两类,是 Trans formation(Lazy),一类是 Action(触发任务执行 RDD不存在真正要计算的数据,而是记录了RDD的转换关系(调用了什么方法,传入什么函数) RDD的 Trans formation的特点 1. lazy 2.生成新的RDD package cn.rzlee.spark.core import org.…...- 0
- 0
- 58
-
谷歌开源代码评审规范：好坏代码应该这样来判断
谷歌开源了一套代码评审（Code Review）规范，它是谷歌一套通用的工程实战指南，几乎涵盖了所有编程语言与各种类型的项目，这个规范代表了谷歌长期发展以来最佳实战经验的集合，谷歌表示希望开源项目或其他组织能够从这套规范中受益。 代码评审，也称代码复查，如果一个团队正在使用任务分支工作流，那么在所有代码编写完成并通过自动化测试之后，在代码合并之前，就会启动代码评审。通常的目的是查找系…...- 0
- 0
- 37
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×