华为发布 Volcano 开源项目,方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入

是基于 Kubernetes 的批处理系统,源自于华为云 容器。 方便 、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

授权协议: 

开发语言: 

操作系统: 

开发厂商: 

整体架构

volcano

Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制,包括:

  1. 机器学习/深度学习
  2. 生物信息学/基因组学
  3. 其他“”应用

这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。

Volcano为Kubernetes添加的机制和功能的一些例子:

  1. 作业管理的扩展和改进,如:
  2. Multi-pod 作业
  3. 生命周期管理扩展,包括挂起、恢复和重启
  4. 提升错误处理
  5. 作业的索引
  6. 任务依赖
  7. 调度扩展
  8. 联合调度
  9. 公平调度
  10. 队列调度
  11. 抢先和收回
  12. 预订和回填
  13. 基于拓扑逻辑的调度
  14. 运行时扩展
  15. 支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能
  16. 其他
  17. 数据局部感知和智能调度
  18. 优化数据吞吐量,往返延迟等

Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。

下载地址:

高性能任务调度引擎 Volcano

提取码:86mt;解压码:

下载
「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论