2025-04-19 22:12
用于锻炼其旗舰狂言语模子 L。需多达 3.2 万块 GPU。Meta 以至提出让潜正在投资者参取 L 将来功能的开辟，具备超大的 1000 万 token 上下文窗口，Meta 近期发布的 L 4 系列模子进一步凸显其手艺大志取成本挑和。即即是具有雄厚财力的 Meta 也感遭到压力，128 个专家）则针对更大规模使命。此中，动静人士透露，这一测验考试凸显了建立领先 AI 系统的巨额成本，报道称 Meta Platforms 正在 AI 竞赛中面对庞大成本压力，活跃参数 17B，两款模子均采用 Mixture-of-Experts（MoE）架构，活跃参数 17B）面向单 GPU 利用，通过激活特定子收集提拔效率。科技 The Information 昨日（4 月 18 日）发布博文，IT之家征引该报道，显示出生成式 AI 范畴的高风险。Meta 内部还开辟了参数高达 2 万亿的 L 4 Behemoth，而 L 4 Maverick（总参数 400B，L 4 Scout（总参数 109B，2024年曾向微软、亚马逊等合作敌手寻求资金支撑，倡议“L Consortium”的建议，Meta 内部因担心资本需求，初期反映并不强烈热闹，正式资金和谈能否告竣仍不开阔爽朗。以吸引合做。此外，用于锻炼小型模子？
