-
Linux安装Scala(小白版)
一、下载Scala安装包 从scala官方网站地址:http://www.scala-lang.org/download/下载scala二进制包,以2.12.6版本为例 二、安装 1、将下载的二进制包移动到/usr/local目录,解压缩文件包 tar zxvf scala-2.12.6.tgz mv scala-2.12.6 scala //重命名目录 2、设置环境变量 vi /etc/pro…- 0
- 1
- 63
-
Linux学习之路(二)文件处理命令之上
文件处理命令 1.目录处理命令 2.文件处理命令 3.链接命令 1.目录处理命令 建立目录:mkdir mkdir -p [目录名] -p 递归创建 命令英文原意 : make directories 切换所在目录 cd [目录] 命令英文原意:change directories 简化操作 cd ~ 进入当前用户的家目录 cd cd - 进入上次目录 c…- 0
- 0
- 69
-
Hive- Hive Web Interface
当我们安装好hive时候,我们启动hive的UI界面的时候,命令: hive –-service hwi ,报错,没有war包 我们查看hive/conf/hive-default.xml.template,查找hwi 把这3台属性复制,添加到hive-site.xml里面, vim hive-site.xml <property> <name>hive.hw…- 0
- 0
- 111
-
Python- and & or 的短路原则
条件1 and 条件2 条件1 or 条件2 短路原则 对于and 如果前面的第一个条件为假,那么这个and前后两个条件组成的表达式的计算结果就一定为假,第二个条件就不会被计算 对于or 如果前面的第一个条件为真,那么这个or前后两个条件组成的表达式的计算结果就一定为真,第二个条件就不会被计算- 0
- 0
- 90
-
Sqoop- sqoop将mysql数据表导入到hive报错
sqoop将mysql数据表导入到hive报错 [root@ip-172-32-1-221 lib]# sqoop import --connect jdbc:mysql://54.223.175.12:3308/gxt3 --username guesttest --password guesttest --table ecomaccessv3 -m 1 --hive-import…- 0
- 0
- 94
-
Spark- JdbcRDD以及注意事项
先上Demo package com.rz.spark.base import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} object JdbcRDDDemo { def main(args: Array[St…- 0
- 0
- 50
-
Ubuntu 17.4下如何安装VMwareTools
解压vmware-tools-distrib 运行vmware-install.pl安装过程中间出现错误,要求选择"ifconfig"工具。由于ifconfig工具过时逐渐被各大厂商抛弃,新Ubuntu已经没有默认安装该工具,于是导致安装不能顺利安装下去,导致失败。还有另外的可能是,安装系统时没有网络环境,有些工具需要在有网络环境的情况下才能完成安装,需要后期进入…- 0
- 0
- 87
-
Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory
在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误. 17/09/27 16:17:54 INFO mapreduce.Job: Task Id : attempt_1428293579539_0001_m_000003_0, Status : FAILED Container [pid=7847,containerID=containe…- 0
- 0
- 78
-
JAVA- 切换默认的Java
删除自带的java yum remove java java -version发现还有java,因为电脑上安装了多个版本的java,这时我们可以用 yum groupremove java 通过组的这种方式,把它彻底删除掉- 0
- 0
- 47
-
Spring Boot- 用idea新建spring boot web项目
1.新建project 2.选择Spring Initializr,next 3.输入项目信息,next 4.选择web依赖以及Spring Boot的版本,next 5.Finish 6.Enable Auto-Import- 0
- 0
- 62
-
JAVA- 内部类及匿名内部类
普通类,我们平时见到的那种类,就是一个后缀为.java的文件中,直接定义的类,比如 public Cat{ private String name; private int age; } 内部类, 内部类。顾名思义,就是包含在外部类中的类,就叫内部类。内部类有两种,一种是静态内部类,一种是非静态内部类。 静态内部类和非静态内部类的区别主要如下: 1…- 0
- 0
- 57
-
JAVA- JDBC之DBHelper
<span style="font-family: 'Microsoft YaHei'; font-size: 18px;">package com.myit.util; import java.lang.reflect.Field; import java.sql.Connection; import java.sql.Drive…- 0
- 0
- 53
-
Spark- Spark内核架构原理和Spark架构深度剖析
Spark内核架构原理 1.Driver 选spark节点之一,提交我们编写的spark程序,开启一个Driver进程,执行我们的Application应用程序,也就是我们自己编写的代码。Driver会根据我们对RDD定义的操作,提交一大堆的task去Executor上。Driver注册了一些Executor之后,就可以开始正式执行我们的Spark应用程序了,首先第一步,创建初始RD…- 0
- 0
- 69
-
MySQL- 常用的MySQL函数,指令等
MySQL查看版本: status; 或者 select version(); //select @@version MySQL昨天, 一周前 ,一月前 ,一年前的数据 这里主要用到了 DATE_SUB(date,INTERVAL expr unit) select DATE_SUB(NOW(),INTERVAL 1 DAY); select DATE_SUB(NOW(),INTE…- 0
- 0
- 82
-
SpringBoot- springboot集成Redis出现报错:No qualifying bean of type ‘org.springframework.data.redis.connection.RedisConnectionFactory’
Springboot将accessToke写入Redisk 缓存,springboot集成Redis出现报错 No qualifying bean of type 'org.springframework.data.redis.connection.RedisConnectionFactory' 原因:我们在pom.xml中引入了spring-boo…- 0
- 0
- 395
-
wordpress外链批量修改为go内链美化跳转 免插件 杜绝权重损失
在自己的博客中,随着时间的积累,往往会产生很多内链和外链,这其中包括评论者自己发布的链接,文章中包括的链接等等.业界也流传着一种说法,就是这样不利于SEO优化,不管是真的假的,我们要做的就是实现自动在这些外链中,添加一项跳转链接. 实现代码 首先制作用于美化跳转的go.php页面,存放于网站根目录 <?php //by https://www.os99.net $t_url = preg_r…- 0
- 0
- 143
-
Linux学习之路(二)文件处理命令之下
分区格式化: 一块分区想要使用的话,要格式化。格式化主要有两个工作,1,把分区分成等大小的数据块,每个数据块一般为4KB。2在分区之前建一个分区表,给第一个文件建一行相关数据,在分区表里保存了它的ionde值,文件修改时间,存储的位置等。 当要找一个文件,用户去搜索文件不是直接到硬盘去取数据,而是先去分区上搜索文件索引表,在这里可以通过inde值确定文件的存储位置,知道在哪个数据块,…- 0
- 0
- 61
-
Sqooop- 使用Sqoop进行数据的导入导出
Sqoop是Apache旗下的一个开源框架,专门用来做数据的导入和导出。 官网:https://sqoop.apache.org/ Sqoop的安装非常简单,只需要把下载下来的tar包解压设置两个环境变量就可以了 1.安装部署 下载版本:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 官网:http://mirror.bit.edu.cn/apa…- 0
- 0
- 149
-
Storm- Storm作业提交运行流程
用户编写Storm Topology 使用client提交Topology给Nimbus Nimbus指派Task给Supervisor Supervisor为Task启动Worker Worker执行Task- 0
- 0
- 77
-
Linux-Yum服务器搭建
Yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软件包,无须繁琐地一次次下载、安装。 在服务器上配置Yum服务器 1 mount | grep iso 2 umount /dev/cd…- 0
- 0
- 53








































