热点

OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习

字号+ 作者:牛骥同槽网 来源:场景购 2026-11-23 我要评论(0)

OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习

为了满足 GPT-3、CLIP 和 DALL+ 等大型模型的需要,以及类似于神经语言模型的缩放定Op律的快速小规模迭代研究,OpenAI 将基础设施 k8s 集群扩展到 7500 各节点。

据其描述,对于大型机en器学习作业来说,一个节点通常由单个 pod 占据,并且 OpenAI 部署的集群具有二等分带宽,因此尽管其AI有许多节点,但是调度程序的压力相对较低,仅在一项新任务一次性创建数百个 pod 时会有调度压力。

除 将此之外,OpenAI 还详细说明了其在扩展 k8s 集群时的重要工作内容,比如通过改用基于别名的 k IP 寻址来解决大量节点的联网问题,在专用节点上部署 etcd 和 API 服务器以分散负载,定位使用 Pro8smetheus 和 Grafana 收集指标时的 OOM 问题,设计对集群的健康检查,以及在团队中合理分配 扩集群资源等。

不过,OpenAI 也指出,在扩展 k8s 集群时,目前仍有一些问题要解决,比如大规模时展至 Prometheus 的内置 TSDB 存储引擎压缩速度过慢,并且需要很长的时间才能重新启动 W 7AL(写入预录),以及扩展集群时,由于每个 pod 都会被计算为需要一定带宽而带来的网络带宽压50力。然而,尽管还有很多地方需要改进,但 k8s 凭借其出色的扩展能力,仍然能满足其研究需求。

本0 文转自OSCHINA

本文标题:OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习

本文地址:个节https://www.oschina.net/news/127949/openai-s点以cale-k8s-7500

 

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • OpenAI 计划将与微软收入分成比例大幅降低,预计新增 500 亿美元收入

    OpenAI 计划将与微软收入分成比例大幅降低,预计新增 500 亿美元收入

    2026-10-10

  • ​全国发布《人工智能安全治理框架》2.0版,推动安全可信的 AI 生态建设

    ​全国发布《人工智能安全治理框架》2.0版,推动安全可信的 AI 生态建设

    2026-09-26

  • 是否有算法可以控制超级人工智能?

    是否有算法可以控制超级人工智能?

    2026-11-22

  • Facebook财报收入超预期 但面临苹果隐私政策隐忧

    Facebook财报收入超预期 但面临苹果隐私政策隐忧

    2026-06-11

网友点评