阿里巴巴达摩院公布多模态大模型 M6 最新进展,其参数已从万亿跃迁至 10 万亿,成为全球最大的 AI 预训练模型。
M6 是达摩院研发的通用人工智能大模型,拥有多模态、多任务能力,尤其擅长设计、写作、问答,在电商、制造业、文学艺术、科学研究等领域有广泛应用前景。
与传统 AI 相比,大模型拥有成百上千倍“神经元”数量,认知和创造能力也更胜一筹,被普遍认为是未来的“基础模型”。
但大模型的算力成本相当高昂,训练 1750 亿参数语言大模型 GPT-3 所需能耗,相当于汽车行驶地月往返距离。
今年 5 月,通过专家并行策略及优化技术,达摩院 M6 团队将万亿模型能耗降低超八成、效率提升 11 倍。