-
Hadoop- MapReduce在实际应用中常见的调优
1、Reduce Task Number 通常来说一个block就对应一个map任务进行处理,reduce任务如果人工不去设置干预的话就一个reduce。reduce任务的个数可以通过在程序中设置 job.setNumReduceTasks(个数); ,也可在配置文件上设置reduce任务个数,默认为1, 或者在代码config中配置 Configuration configura…- 0
- 0
- 84
-
基于 Python 的量化交易框架vn.py 2.0.9
vn.py 是基于 Python 的开源量化交易程序开发框架,起源于国内私募的自主量化交易系统,目前已经成长为一套全功能的交易程序开发框架。新版更新说明如下:交易接口DeribitGateway,Deribit期权合约接口(数字货币)FemasGateway更新到穿透式监管版本,支持商品期货SoptGateway更新到穿透式监管版本,支持深交所期权策略应用Black-76、Black-…- 0
- 0
- 204
-
Spark- Spark内核架构原理和Spark架构深度剖析
Spark内核架构原理 1.Driver 选spark节点之一,提交我们编写的spark程序,开启一个Driver进程,执行我们的Application应用程序,也就是我们自己编写的代码。Driver会根据我们对RDD定义的操作,提交一大堆的task去Executor上。Driver注册了一些Executor之后,就可以开始正式执行我们的Spark应用程序了,首先第一步,创建初始RD…- 0
- 0
- 73
-
KarelDB:Kafka 支持的一款开源关系数据库
Java 开发者对 Apache Kafka 应该不会感到陌生,这是一个分布式的发布订阅消息系统,作为一个非常重要的开源项目,它已经被许多公司以及产品用作关键组件。Kafka 及其配套的 Key-Value 存储系统如今也越来越多地被用来为关系数据库提供持久性存储,大多数数据库也使用 Key-Value 存储系统作为基础。本文将要介绍的这款数据库正是由 Apache Kafk…- 0
- 0
- 104
-
如何在云厂商“寄生”下生存, 开源公司抱团取暖
上周 OSS Capital 召集一些开源公司,组织了一场关于如何面对“云厂商给开源带来的危害”的会议。 OSS Capital 是一家风险投资公司,该公司只投开源,其董事会合伙人之一是开源运动的先驱人物 Bruce Perens。网上有一个十分有名的“开源商业化独角兽”表格即来自该公司创始人 Joseph Jacks。(其实收录的是年营收在 1 亿美元以上的开源公司,严格上来说并不…- 0
- 0
- 71
-
开源流处理框架Apache Flink 1.8.3
Apache Flink 1.8.3 发布了,更新内容如下:改进[FLINK-12848] - RowTypeInfo 中的方法 equals() 应该考虑fieldsNames[FLINK-13729] - 更新网站生成依赖性[FLINK-13965] - 将 hasDeprecatedKeys 和 deprecatedKeys 方法保留在 ConfigOptio…- 0
- 0
- 58
-
CentOS 8 正式发布
CentOS 8 官方正式发布了!!!CentOS 完全遵守 Red Hat 的再发行政策,并且致力与上游产品在功能上完全兼容。CentOS 对组件的修改主要是去除 Red Hat 的商标及美工图。该版本还包含全新的 CentOS Streams ,Centos Stream 是一个滚动发布的 Linux 发行版,它介于 Fedora Linux的上游开发和 RHEL 的下游…- 0
- 0
- 73
-
Spark- 使用第三方依赖解析IP地址
使用 github上已有的开源项目 1)git clone https://github.com/wzhe06/ipdatabase.git 2)编译下载的项目: mvn clean package- DskipTests 3)安装jar包到自己的 maven仓库 mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatab…- 0
- 0
- 119
-
游戏模拟器ScummVM 2.1.0 发布
ScummVM 2.1.0 已经发布,该版本增加了 16 款基于 8 个引擎的新游戏、一个 Nintendo Switch 端口和近 500 个 bug 修复程序,内容如下:新支持的游戏有:Blade RunnerDuckman: The Graphic Adventures of a Private DickHoyle BridgeHoyle Children's…- 0
- 0
- 99
-
Fedora CoreOS,专为容器化的操作系统
2018 年年初,Red Hat 斥资 2.5 亿美元收购了 CoreOS,并于 6 月份宣布推出 Fedora CoreOS,成为 CoreOS 新的上游发行版。 Fedora CoreOS 是一个专门为安全和大规模运行容器化工作负载而构建的新 Fedora 版本,它是 Fedora Atomic Host 和 CoreOS Container Linux 的后续项目。Fedora CoreO…- 0
- 0
- 73
-
木兰宽松许可证(MulanPSL)开源协议诞生,比 Apache License 友好
近日,中国开源云联盟官网上线了“木兰宽松许可证”(MulanPSL),据传这是中国首个开源协议。 有专家指出,相比 Apache License,MulanPSL 拥有两大优势: 解决联盟存在互诉漏洞,也就是 A 想诉 B,A 授权 C,由 C 可以诉 B 的问题。 比 Apache License 更友好一些,Apache License 要求列出每个修改文件,其实很多项目做不到这一点,所以 M…- 0
- 0
- 67
-
微软正探索将 Rust 作为 C 和 C++ 的安全替代方案
微软正在探索使用 Rust 编程语言作为 C、C++ 和其他语言的替代方案,以此来改善应用程序的安全状况。 自 2004 年以来,微软安全响应中心(MSRC)已对所有报告过的微软安全漏洞进行了分类。根据他们提供的数据,所有微软年度补丁中约有 70% 是针对内存安全漏洞的修复程序。 ▲微软每年约有 70% 的漏洞仍然是内存安全问题 这样高的百分比是因为 Windows 和大多数其他微软产品主要使用 …- 0
- 0
- 195
-
C 语言集成开发环境Geany 1.36 发布
Geany 是一个小型的 C 代码编辑器,使用 GTK2 开发的开发环境。包括语法高亮、代码自动完成、调用提示以及支持其他类型语言等。1.36 版本已经发布,内容如下:将用户定义的文件类型扩展映射优先于默认文件类型扩展映射优先考虑最长匹配的文件类型模式将套接字文件放置在 $XDG_RUNTIME_DIR 中改进 Go to Tag 文件类型弹出窗口中的路径省略显示各种首选项的…- 0
- 0
- 90
-
面向深度学习应用的开源性能库 MKL-DNN 1.1 发布
MKL-DNN 是用于深度神经网络的英特尔数学核心库,是一款面向深度学习应用的开源性能库。 该库包括针对英特尔架构处理器和英特尔处理器显卡优化的神经网络的基本构建模块。 MKL-DNN 1.1 发布了,现重新命名为深度神经网络库(DNNL),内容有:使用 TBB 线程改进功能性能,实现与 OpenMP 线程相同的性能改进 INT 8 和 FP32 GEMM 在系统上的性能与英…- 0
- 0
- 113
-
Linux安装Scala(小白版)
一、下载Scala安装包 从scala官方网站地址:http://www.scala-lang.org/download/下载scala二进制包,以2.12.6版本为例 二、安装 1、将下载的二进制包移动到/usr/local目录,解压缩文件包 tar zxvf scala-2.12.6.tgz mv scala-2.12.6 scala //重命名目录 2、设置环境变量 vi /etc/pro…- 0
- 1
- 69
-
Storm- Storm作业提交运行流程
用户编写Storm Topology 使用client提交Topology给Nimbus Nimbus指派Task给Supervisor Supervisor为Task启动Worker Worker执行Task- 0
- 0
- 81
-
免费建站系统:Joomla 3.9.18
Joomla!是一套全球知名的内容管理系统,占有全球6%的网站市场份额。 Joomla!是使用PHP语言加上MySQL数据库所开发的软件系统。可以在Linux、 Windows、MacOSX等各种不同的平台上执行。目前是由Open Source Matters这个开放源码组织进行开发与支持,这个组织的成员来自全世界各地,小组成员约有150人,包含了开发者、设计者、系统管理者、文件撰写者,以及超过2…- 0
- 0
- 80
-
Rainbond 5.1.5 发布,企业应用市场远程一键安装
2019年7月8日,Rainbond发布5.1.5版本,本次版本更新带来了全新的应用市场交付Pipeline体验,并对源码类服务的运行机制、ServiceMesh架构、服务管理等方面做了大量优化。Rainbond:支撑企业应用的开发、架构、交付和运维的全流程,通过“无侵入”架构无缝衔接各类企业应用,底层资源可以对接和管理IaaS、虚拟机和物理服务器。发布版本:5.1.5版本更新:推荐更新范围:应用…- 0
- 0
- 146
-
Python- and & or 的短路原则
条件1 and 条件2 条件1 or 条件2 短路原则 对于and 如果前面的第一个条件为假,那么这个and前后两个条件组成的表达式的计算结果就一定为假,第二个条件就不会被计算 对于or 如果前面的第一个条件为真,那么这个or前后两个条件组成的表达式的计算结果就一定为真,第二个条件就不会被计算- 0
- 0
- 96
-
Spark- 数据清洗
输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换(输入==>输出)工具类 */ object A…- 0
- 0
- 110
-
社交电商系统 ThinkSNS
ThinkSNS+ 3.0主要新增/优化内容: 1.更新分享策略。 2. 增加商家微信信息,便于小程序端卖家和买家沟通 3. 管理后台功能新增 4. 增加苹果登录功能(针对苹果上架),没有上架的无法使用 5. 更多细节可查看各端git信息。 6.修复bug 社交电商软件系统ThinkSNS+ 3.0 各端更新内容详情如下: 一、后端更新内容 - 修复错误的鉴权方法导致的圈子创建权限错误 - 修复钱…- 0
- 0
- 222
-
Storm- 使用Storm实现词频汇总
需求:读取指定目录的数据,并实现单词计数的功能 实现方案: Spout来读取指定目录的数据,作为后续Bolt处理的input 使用一个Bolt把input 的数据,切割分开,我们按照逗号进分割 使用一个Bolt来进行最终的单词次数统计操作并输出 拓扑设计:DataSourceSpout ==>SpiltBolt ==>CountBolt Storm编程注意,…- 0
- 0
- 86
-
Vue 3 源码公布,尚处于 Pre-Alpha 状态
10 月 5 日凌晨,Vue.js 框架的作者兼核心开发者尤雨溪公布了尚处于 Pre-Alpha 状态的 Vue 3 源码(https://github.com/vuejs/vue-next)。(说学不动的童鞋抓紧剩余的国庆假期撸一遍源码吧 : D)作者表示,Vue 3 主要的架构改进、优化和新功能均已完成,剩下的主要任务是完成一些 Vue 2 现有功能的移植。稳定版的具体发布时间尚未…- 0
- 0
- 118











































