-
Python- and & or 的短路原则
条件1 and 条件2 条件1 or 条件2 短路原则 对于and 如果前面的第一个条件为假，那么这个and前后两个条件组成的表达式的计算结果就一定为假，第二个条件就不会被计算 对于or 如果前面的第一个条件为真，那么这个or前后两个条件组成的表达式的计算结果就一定为真，第二个条件就不会被计算 ...- 0
- 0
- 76
-
SpringBoot- springboot集成Redis出现报错：No qualifying bean of type ‘org.springframework.data.redis.connection.RedisConnectionFactory’
Springboot将accessToke写入Redisk 缓存，springboot集成Redis出现报错 No qualifying bean of type 'org.springframework.data.redis.connection.RedisConnectionFactory' 原因：我们在pom.xml中引入了spring-boo…...- 0
- 0
- 356
-
MySQL- 常用的MySQL函数，指令等
MySQL查看版本： status； 或者 select version(); //select @@version MySQL昨天， 一周前 ，一月前 ，一年前的数据 这里主要用到了 DATE_SUB(date,INTERVAL expr unit) select DATE_SUB(NOW(),INTERVAL 1 DAY); select DATE_SUB(NOW(),INTE…...- 0
- 0
- 63
-
Spark- 根据ip地址计算归属地
主要考察的是广播变量的使用： 1、将要广播的数据 IP 规则数据存放在HDFS上，（广播出去的内容一旦广播出去产就不能改变了，如果需要实时改变的规则，可以将规则放到Redis中） 2、在Spark中转成RDD，然后收集到Driver端， 3、把 IP 规则数据广播到Executor中。Driver端广播变量的引用是怎样跑到 Executor中的呢? Task在Driver端生成的，…...- 0
- 0
- 124
-
在cmd中将FAT32转换为NTFS分区的命令是什么？
将FAT32转换为NTFS分区的命令是什么？ ========================================== 在cmd命令行模式下输入： convert x: /fs:ntfs x:表示要转换的分区 ...- 0
- 0
- 30
-
Kafka- Spark消费Kafka
在高版本的API中 val brokers = properties.getProperty("kafka.host.list") val topics = Set(properties.getProperty("kafka.application.topic")) val kafkaParams = Map[String, String]( …...- 0
- 0
- 43
-
wordpress外链批量修改为go内链美化跳转 免插件 杜绝权重损失
在自己的博客中,随着时间的积累,往往会产生很多内链和外链,这其中包括评论者自己发布的链接,文章中包括的链接等等.业界也流传着一种说法,就是这样不利于SEO优化,不管是真的假的,我们要做的就是实现自动在这些外链中,添加一项跳转链接. 实现代码 首先制作用于美化跳转的go.php页面,存放于网站根目录 <?php //by https://www.os99.net $t_url = preg_r…...- 0
- 0
- 130
-
Spark- Spark普通Shuffle操作的原理剖析
在spark中，什么情况下会发生shuffle？ reduceByKey，groupByKey，sortByKey，countByKey，join，cogroup等操作。 默认的shuffle操作的原理剖析 假设有一个节点上面运行了4个 ShuffleMapTask，然后这个节点上只有2个 cpu core。假如有另外一台节点，上面也运行了4个ResultTask，现在呢，正等着要去…...- 0
- 0
- 42
-
Hadoop- HDFS的Safemode
Hadoop- HDFS的Safemode hadoop启动时，NameNode启动完后就开始进入安全模式，等待DataNode向NameNode发送block report ，当datanode blocks / total blocks = 99.99%，此时安全模式才会退出 安全模式下的操作： 可以查看文件系统的文件 在安全模式期间我们有些操作是不能进行的，比如不能改变文件系统…...- 0
- 0
- 79
-
单机版Spark安装及PySpark环境配置
单机版Spark安装 到官网http://archive.apache.org/dist/spark/ 下选择版本下载spark包，本次采用的是预编译版本 选择spark-1.6.1-bin-hadoop2.6.tgz 解压到/opt/目录下 tar -xvzf spark-1.6.1-bin-hadoop2.6.tgz -C /opt/ [root@hdp spark-1.6.1-bin-had…...- 0
- 0
- 145
-
Spark- JdbcRDD以及注意事项
先上Demo package com.rz.spark.base import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} object JdbcRDDDemo { def main(args: Array[St…...- 0
- 0
- 28
-
Spark- 使用第三方依赖解析IP地址
使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…...- 0
- 0
- 85
-
Ubuntu 17.4下如何安装和配置flash player
Ubuntu Linux系统下没有自带的flash player，要自己手动安装。下面post出简单的安装过程。 首先打开终端，输入命令：sudo apt-get install flashplugin-installer 然后按照提示输入root密码进行安装。后面有些选项直接按回车[Enter]就行。 安装完后重启浏览器就能正常播放网页视频了。 ...- 0
- 0
- 42
-
Spark- 计算每个学科最受欢迎的老师
日志类型 测试数据 http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://bigdata.myit.com/zhangsan http://java.myit.c…...- 0
- 0
- 65
-
Hive- Hive安装
Hive安装 1.1下载Hive安装包 官网：http://hive.apache.org/downloads.html 个人建议到这里下载：http://apache.forsale.plus/ 1.2将hive文件上传到HADOOP集群，并解压 将文件上传到 /usr ，解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/ 重命名:…...- 0
- 0
- 55
-
Hadoop- 分布式资源管理YARN架构讲解
YARN是分布式资源管理，每一台机器都要去管理该台计算机的资源，Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager，整个集群的管理者管理着整个集群的NodeManager，叫 ResourceManager。资源调度和资源隔离是YARN作为一个资源管理系统最重要和最基础的两个功能。资源调度由 ResourceManager 完成，而资源…...- 0
- 0
- 79
-
Redis- 内存数据库Redis之安装部署
内存数据库Redis之安装部署 Redis是一款非关系型，key-value存储的内存数据库，Redis数据库完全在内存中，使用磁盘仅用于持久性。Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。 支持丰富的数据类型：Redis支持字符串、列表、集合、有序集合散列数据类型，这使得它非常容易解决各种各样的问题。把redis看成java的一个hashmap你就入门…...- 0
- 0
- 82
-
Spark- 数据清洗
输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换（输入==>输出）工具类 */ object A…...- 0
- 0
- 80
-
激活idea2018
首先下载安装完成后，打开hosts文件，新增一条路由： 0.0.0.0 account.jetbrains.com 打开软件输入序列码： EB101IWSWD-eyJsaWNlbnNlSWQiOiJFQjEwMUlXU1dEIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6I…...- 0
- 0
- 82
-
Python- NumPy
NumPy包括的内容 NumPy系统是 Python的一种开源的数值计算扩展,是一个用 python实现的科学计算包。包括： 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组,称为 ndarray(N-dimensional array object ) 用于对整组数据进行快速运算的标准数学函数, func( universal function object) 用于整…...- 0
- 0
- 151
-
华为服务器设置iBMC管理网口IP地址，开启Monitor图文教程
设置iBMC管理网口IP地址默认用户名：root 默认密码：Huawei12#$ 操作步骤服务器重启时，当出现如下界面时，重复按“Delete”。在启动过程出现输入密码对话框，输入BIOS密码后进入BIOS设置界面。 选择“Advanced > IPMI iBMC Configuration”，按“Enter”。 进入“IPMI iBMC Configuration”界面。 选择“…...- 0
- 0
- 190
-
Linux- 关于windows和Linux和Mac的换行符
windows 的换行符为"\r\n" Linux的换行符为"\n" Mac的换行符为"\n\r"，和Windows相反 ...- 0
- 0
- 46
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×