-
pyspark-pycharm本地运行pyspark程序报错org.apache.spark.SparkException: Python worker failed to connect back.
新配置的本地pyspark环境，本地运行pyspark程序报错，org.apache.spark.SparkException: Python worker failed to connect back. 解决办法1： 在pycharm上运行时，Edit Configurations，配置环境变量 PYSPARK_PYTHON=${windows上安装的python路径}python.exe 解决…- 2
- 1
- 141
-
Ubuntu 发布迁移手册，拉拢 Windows 7 用户
Windows 7 前阵子正式退役，在这个过程中，许多 Linux 发行版社区乘机想拉拢“被抛弃”的 Windows 7 用户（俗称 Win 7 难民），比如 Zorin OS 15 Lite、KDE 社区与 Linux Lite。 现在 Ubuntu 也对 Win 7 难民们伸出了橄榄枝。 Canonical 近日发布了一系列教程，旨在帮助 Windows 7 用户迁移到 Ubun…- 0
- 0
- 66
-
谷歌 DNS Over HTTPS 服务 GA
谷歌近期宣布其 DNS Over HTTPS（DoH）服务正式普遍可用，并且完全支持 RFC 8484 文档。 谷歌于 2009 年推出 Google Public DNS，并于 2016 年在此基础上推出 DNS Over HTTPS，这是一项实验性服务，旨在加强 DNS 的安全性，此前的服务入口是 dns.google.com/experimental。 现在谷歌宣布 DoH 已经正式普遍可用…- 0
- 0
- 91
-
JAVA-关键字&标识符
关键字： 关键字就是在java程序中具备特殊含义的标识符。关键字一般用于描述一个程序的结构或者表示数据类型。他们用来表示一种数据类型，或者表示程序的结构等，关键字不能用作变量名、方法名、类名、包名。 1.1 常见的关键字 备注：不必死记硬背，如果使用关键字作为标识符，编译器能提示错误。 goto 是java的保留关键字，意思是java并没有使用goto，以后是否使用未定。 &nb…- 0
- 0
- 57
-
Spark- 使用第三方依赖解析IP地址
使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…- 0
- 0
- 108
-
开源流处理框架Apache Flink 1.8.3
Apache Flink 1.8.3 发布了，更新内容如下：改进[FLINK-12848] - RowTypeInfo 中的方法 equals() 应该考虑fieldsNames[FLINK-13729] - 更新网站生成依赖性[FLINK-13965] - 将 hasDeprecatedKeys 和 deprecatedKeys 方法保留在 ConfigOptio…- 0
- 0
- 54
-
分布式消息中间件Kafka
Kafka介绍Apache Kafka是一种分布式，分区，复制的提交日志服务。它提供了消息传递系统的功能，但具有独特的设计。首先让我们回顾一些基本的消息传递术语：Kafka在称为主题的类别中维护消息的提要我们将消息发布到Kafka主题生成器的进程称为生产者。 我们将订阅主题的进程并处理已发布消息的进程称为消费者。Kafka作为由一个或多个服务器组成的集群运行，每个服务器称为Broker(代理)。因…- 0
- 0
- 118
-
Vue 3 源码公布，尚处于 Pre-Alpha 状态
10 月 5 日凌晨，Vue.js 框架的作者兼核心开发者尤雨溪公布了尚处于 Pre-Alpha 状态的 Vue 3 源码（https://github.com/vuejs/vue-next）。（说学不动的童鞋抓紧剩余的国庆假期撸一遍源码吧 : D）作者表示，Vue 3 主要的架构改进、优化和新功能均已完成，剩下的主要任务是完成一些 Vue 2 现有功能的移植。稳定版的具体发布时间尚未…- 0
- 0
- 114
-
MyEclipse中文乱码解决方法
当我们导入一个外部Java项目时，发现MyEclipse出击中文乱码问题。原因是MyEclipse默认编码为GBK，而开发人员通常使用的编程编码为UTF-8。解决的方法为： 转自MyEclipse默认编码为GBK，修改为UTF8的方法【修改JS编码格式】 MyEclipse 默认编码居然是GBK，js文件默认编码是ISO-.... 怎么可以这样呢？ 都修改成UTF8的方法： 1、w…- 0
- 0
- 61
-
Spark- 根据ip地址计算归属地
主要考察的是广播变量的使用： 1、将要广播的数据 IP 规则数据存放在HDFS上，（广播出去的内容一旦广播出去产就不能改变了，如果需要实时改变的规则，可以将规则放到Redis中） 2、在Spark中转成RDD，然后收集到Driver端， 3、把 IP 规则数据广播到Executor中。Driver端广播变量的引用是怎样跑到 Executor中的呢? Task在Driver端生成的，…- 0
- 0
- 149
-
采用10 纳米工艺 – 英特尔推出其首款人工智能芯片
在周二于加州帕洛阿尔托举行的 Hot Chips 会议上，英特尔宣布即将推出两款新的人工智能处理器，它们将作为英特尔 Nervana 神经网络处理器（NNP）产品系列的一部分，旨在加速人工智能模型的训练和推理。其中，NNP-T 用于训练，NNP-I 用于推理。 这些芯片由位于以色列海法的研发中心开发。英特尔早前投资了一些以色列的人工智能创业公司，Nervana NNP 系列正是以其于…- 0
- 0
- 58
-
Windows 计算器又添两项新功能
根据微软负责 Notepad 和 Windows 计算器的高级项目经理 Dave Grochocki 透露的消息，Windows 计算器目前正在开发两项开发者呼声很高的新特性： 始终显示在其它应用之上，不被遮挡 迷你模式 图片来自：softpedia 今年 3 月份，微软在 MIT 许可下开源了 Windows 计算器（Windows Calculator），引起了热烈反响，毕竟这是一个大家很熟悉…- 0
- 0
- 130
-
Laravel 6.7.0
Laravel 6.7.0 发布了，更新内容如下： 新增 为 HasTimestamps 关注添加了getQualifiedCreatedAtColumn() 和 getQualifiedUpdatedAtColumn() 方法 (#30792) 向 Exceptions\Handler 添加了 exceptionContext() 方法 (#30780) 添加了邮戳传输抛出错误的…- 0
- 0
- 48
-
JAVA-三大语句（选择语句、条件语句、循环语句）
1 跳出指定的for循环体，和goto很像 1 2 3 4 5 6 7 8 1 K:for(int i=0;i<3;i++){//给这个for循环体取一个名字为K 2 for(int j=0;j<3;j++){ 3 if(j==1){break K;}//如果你不指跳出的for循环，那么就是跳出本地for循环，这里指定K，则调试for循环名称为K的…- 0
- 0
- 51
-
Spark- 自定义排序
考察spark自定义排序 方式一：自定义一个类继承Ordered和序列化，Driver端将数据变成RDD，整理数据转成自定义类类型的RDD，使用本身排序即可。 package com.rz.spark.base import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} // 自定…- 0
- 0
- 93
-
GitHub公布其托管平台与美国贸易管制的相关细节
Github 官方对托管平台与美国贸易管制相关的细则发布了详细的说明。 以下是细则的详细内容： GitHub.com，GitHub Enterprise Server 以及您上传到 Github 任一产品的信息可能受到贸易管制法规的约束，包括美国出口管理条例（EAR）。 GitHub 的愿景都是成为全球开发人员协作的平台。我们认真负责全面检查政府的授权，以确保用户和客户不受法律要求的…- 0
- 0
- 78
-
IBM宣布开源Power芯片指令集架构(ISA)，OpenPOWER基金会加入Linux基金会
在正在进行的北美 OpenPOWER 峰会上，IBM 宣布开源 Power 芯片指令集架构（ISA，Instruction Set Architecture）。 同时 IBM 还推动 OpenPOWER 基金会加入了 Linux 基金会。OpenPOWER 基金会由 Google、Mellanox Technologies、Nvidia 和 Tyan 组建，这是一个基于 Power …- 0
- 0
- 52
-
统一操作系统 UOS 龙芯版上线
中国电子集团（CEC）、武汉深之度科技有限公司、南京诚迈科技、中兴新支点在内的多家国内操作系统核心企业自愿发起“UOS(unity operating system)统一操作系统筹备组”，以共同打造“UOS 统一操作系统”。官方介绍称：“UOS 将采用开源共创社区研发模式，鼓励上下游产业链厂商和技术人员参与研发工作贡献代码，共同打造符合行业用户需求的安全、易用、稳定的操作系统产品。”…- 0
- 0
- 59
-
运维进化论：微盟故障给我们的启示
作者简介：茹炳晟，业界知名实战派软件质量和研发工程效能专家，中国商业联合会互联网应用技术委员会智库专家，畅销书《测试工程师全栈技术进阶与实践》的作者，InfoQ 极客时间“软件测试52讲-从小工到专家的实战心法”的专栏作者。现任Dell EMC中国研发集团资深架构师，历任eBay中国研发中心测试基础架构技术负责人，HP软件中国研发中心资深架构师、性能测试专家，Alcatel-Lucent高级技术主…- 0
- 0
- 74
-
JAVA- continue与break与return关键字
continue与break关键字 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 for(int i=0;i<10;i++){ if(i%2==0){ continue; //跳过当前循环执行下一次循环 } System.out.println(i); } for(int…- 0
- 0
- 54
-
Spark- JdbcRDD以及注意事项
先上Demo package com.rz.spark.base import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} object JdbcRDDDemo { def main(args: Array[St…- 0
- 0
- 50
-
CapitalOne 和 GitHub 因数据泄露事件遭遇集体诉讼
来自 thehill 的消息：CapitalOne 和 GitHub 因近期的数据泄露事件而遭遇集体诉讼，事件导致 CapitalOne 泄露超过 1 亿条客户数据。 Tycko＆Zavareei LLP 律师事务所周四提起诉讼，辩称 GitHub 和 CapitalOne 在对违规行为的回应中表现出疏忽。该公司代表受违规行为影响的人提起集体诉讼，指控两家公司未能保护客户数据。 在 Capital…- 0
- 0
- 80
-
Python 3.8.2 和 3.9.0a4
Python 同时发布了 3.8.2 和 3.9.0a4 版本。 Python 3.8.2 Python 3.8.2 是 Python 3.8 的第二个维护版本，包含这两个月以来的错误修复。有关在 3.8.2 中进行的所有更改的详细信息，可以在其 change log 中找到。 另外，与 3.8.1 相比，版本 3.8.2 还包含 3.8.2rc1 和 3.8.2rc2 中引入的更改。 3.8 系…- 0
- 0
- 162
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×