英伟达将升级优化NeMoMegatron框架以加速其整体训练速度

来源：中关村在线　2022-08-02 10:24:02

随着大型语言模型(LLM)的规模和复杂日益增加，NVIDIA宣布对NeMo Megatron框架进行更新，将训练速度提高30%。

此次更新包括两项开创的技术和一个超参数工具，用于优化和扩展任意数量GPU上的LLM训练，这为使用NVIDIA AI训练和部署模型提供了新功能。

BLOOM是全球最大的开放科学、开放存取多语言模型，具有1760亿参数。

该模型在NVIDIA AI上进行了训练，支持46种语言和13种编程语言的文本生成。

NVIDIA AI还提供了最强大的转换器语言模型，具有5300亿参数，Megatron-Turing NLG模型 (MT-NLG)。

LLM是当今重要的先进技术之一，涉及从文本中学的多达数万亿参数。但LLM的开发过程昂贵而耗时，需要深厚的技术知识、分布式基础设施和全栈式方法。

LLM也有助于推动实时内容生成、文本摘要等的发展。

推荐DIY文章

英伟达将升级优化NeMoMegatron框架 以加速其整体训练速度