华为发布 Volcano 开源项目,方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入

是基于 Kubernetes 的批处理系统,源自于华为云 容器。 方便 、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

授权协议: 

开发语言: 

操作系统: 

开发厂商: 

整体架构

volcano

提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制,包括:

  1. 机器学习/深度学习
  2. 生物信息学/基因组学
  3. 其他“”应用

这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。

Volcano为Kubernetes添加的机制和功能的一些例子:

  1. 作业管理的扩展和改进,如:
  2. Multi-pod 作业
  3. 生命周期管理扩展,包括挂起、恢复和重启
  4. 提升错误处理
  5. 作业的索引
  6. 任务依赖
  7. 调度扩展
  8. 联合调度
  9. 公平调度
  10. 队列调度
  11. 抢先和收回
  12. 预订和回填
  13. 基于拓扑逻辑的调度
  14. 运行时扩展
  15. 支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能
  16. 其他
  17. 数据局部感知和智能调度
  18. 优化数据吞吐量,往返延迟等

Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。

下载地址:

高性能任务调度引擎 Volcano

提取码:86mt复制
解压码:无

人已赞赏
博客

突发!美国国会发函要求 Facebook 立即停止 Libra 项目

2019-7-3 16:26:15

博客

最新数据库排行:Oracle 分数增长最多,Redis 持续下降

2019-7-3 16:50:52

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
有新消息 消息中心
搜索