微软研究人员日前推出了名为 ZeRO++ 的新技术,用于优化在训练大型 AI 模型时,容易遇到的数据传输成本和带宽限制的难题,可显著减少大模型训练时间和成本。
据悉,ZeRO++ 建立在现有的 ZeRO 传输技术基础上,并提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。
▲ 图源 微软
为了减少参数通信量,ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。为了能够尽量减少通信开销,ZeRO++ 通过在每台机器上保持完整的模型副本,以向 GPU 显存换取通信带宽。而在梯度通信方面,ZeRO++ 引入了一种名为 qgZ 的新的量化梯度通信方式,可以减少跨节点的流量和延迟。
▲ 图源 微软
这些改进的通信技术大大减少了通信量,微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。当在每个 GPU 上使用小批量大小时,在高带宽集群中,ZeRO++ 相比 ZeRO-3 的吞吐量提高了 28% 至 36%。在低带宽集群中,与 ZeRO-3 相比,ZeRO++ 实现了平均 2 倍的加速,使得大模型训练在更多种类的集群上更为可行。
注意到,例如 Turing-NLG、ChatGPT 和 GPT-4 这样的大型模型,其训练需要跨多个 GPU 设备占用大量显存和计算资源,而 ZeRO++ 引入了通信优化策略,以克服在低带宽集群上进行训练时原有 ZeRO 传输技术的带宽限制。目前微软已经放出了相关技术文档,研究人员可以利用 ZeRO++ 更有效地训练模型,在 AI 领域探索新的可能性。
关键词:
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
投诉邮箱:Email:133 46734 45@qq.com人形机器人公司 1XTechnologies 近日宣布,在由 OpenAI 创业基金领投的 A2 轮融资中,获得 2350 万美元。 本轮融资由OpenAl
谷歌今天在 I O 2024 开发者大会上宣布了用于数据中心的第六代张量处理单元 (TPU),代号为 Trillium。虽然没有透露具体的发布日期,但
继发布依据一段文字描述可自动生成60秒影片的Sora杀手级AI 模型后,OpenAI 日前首次公开旗下历经近2年开发的Voice EngineAI声音模型新技
Meta 继推出 ImageBind 之后,于今天再次推出了全新的生成式 AI 模型 Voicebox。该模型帮助创作者执行音频编辑、采样和风格化等
OpenAI 现已开始向所有用户推出ChatGPT 搜索。该公司于 10 月 31 日首次宣布,经过短暂的测试期后,它于 11 月向付费会员开放
根据国外科技媒体 9to5Google 报道,谷歌计划将生成式 AI 聊天机器人 Bard 以小部件的形式,引入到 Pixel 系列手机中,这样用
音乐平台 Spotify 宣布推出一项全新的人工智能 AI 功能,可以为每个人打造专属的 DJ。 Spotify 在博客中称,这个 DJ 非
在 ChatGPT 的核心团队中,不乏清华大学毕业进入 OpenAI 的开发者,就在 GPT-4 发布的同一天,清华大学顶尖的 NLP 团队,也公
微软教育为学校推出了新的人工智能工具,包括适用于 Microsoft 365 的扩展Copilot、名为 Loop 的协作应用程序以及人工智能驱动的阅读
前身为俄罗斯Yandex集团旗下自动驾驶业务,并且在后续更名为Avride的自动驾驶技术业者,日前宣布与Uber合作在德州奥斯汀...
中国人工智能 (AI) 物流公司 Westwell 周二在香港开设国际总部,作为全球扩张的跳板。这家总部位于上海的公司为物流行业...
UL Solutions宣布推出新版人工智能推论效能量测工具Procyon AI Inference Benchmark,让OEM、ODM,或是零售业者能借此确认新一代Window
根据用户反映,目前ChatGPT目前已停售Plus付费(20美元 月)服务,根据网站上OpenAI给出的理由,是需求量太大。 在今年...
OpenAI获得微软100亿美元投资的消息出来后,一些人的想法有些沮丧: 一方面,摆脱了经济压力的OpenAI可能将不再那么op...
Meta 最近宣布其人工智能 Meta AI 正在推出,并将可供所有印度用户使用。Meta AI 将在该公司的应用程序(WhatsApp、Facebook、In
4月12日,据资料显示,马斯克旗下人工智能初创公司xAI正寻求30亿至40亿美元融资,该公司估值或达180亿美元。知情人士透露,硅...
先前有消息指称苹果的人工智能服务Apple Intelligence付费订阅价格可能会以每月20美元计算,但最快可能会等到2027年才会...
2023年彭博富豪榜TOP10大部分来自于科技领域。由于AI技术的不断发展,美股在2023年年内出现了一波反弹,这使得科技领域的...
OpenAI 在GPT-5上的工作,绰号为 Project Orion,遇到了相当大的颠簸。该项目的运行远远落后于计划,而且启动成本很高。经过 1
去年接任Square Enix首席执行官的桐生隆司,在2024年的年度新年致词中说明,会积极地将人工智能及其他先进技术应用在游戏开...
WooHoo 是一家总部位于硅谷的解决方案提供商,也是 WooHoo X 系列的开发商,WooHoo® X 系列是一款屡获殊荣的豪华酒店业企业
数码博主 @i 冰宇宙 近日在推特爆料称,三星正在为 Galaxy S24 系列手机开发一些 AI 技术,并表示这项技术与三星语音助手 Bix
据报道,电子商务巨头亚马逊正在培训一种新的大型语言模型(LLM),以应对微软支持的OpenAI和谷歌母公司Alphabet提供的人...
谷歌昨日推出了一种新的人工智能(AI)模型 Robotics Transformer2(RT-2),可以帮助训练机器人理解扔垃圾等任务。 ▲ 图源 谷
在今日的 2023 MWC 上海大会上,中国联通举办了未来网络暨科技创新成果发布会,发布鸿湖图文大模型、通信网络全域数字...
2024年春运于1月26日正式启动,将于3月5日结束,为期40天。根据交通运输部的数据,今年春运期间,铁路、公路、水运、民航的营...
继日前推出规模仅13亿组参数的自然语言模型Phi-1之后,微软稍早宣布推出参数增加为27亿组,同时性能可对比Meta Llama 2 70亿组参数