Meta 宣布最新模型 Llama 4 herd

Meta 宣布了其最新的开放权重原生多模模型 Llama 4 Scout 和 Llama 4 Maverick。新模型使用了混合专家架构（mixture-of-experts）构建，每个有 170 亿活跃参数。Llama 4 Scout 有 16 个专家，适合单个 NVIDIA H100 GPU，提供了 1000 万上下文窗口，性能强于 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。Llama 4 Maverick 有 128 个专家，在基准测试中超过 GPT-4o 和 Gemini 2.0 Flash，在 LMArena 的 ELO 得分为 1417，它适合单台 H100 主机。Meta 还训练了一个教师模型 Llama 4 Behemoth，它有 16 个专家和 2880 亿个活跃参数，在多项 STEM 测试中超过了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro，该模型仍然在训练中。最新模型通过 llama.com 和 Hugging Face 提供下载。