Llama 4 系列：原生多模态 AI 创新新纪元的开端
前几天 Meta 人工智能研究副总裁 Joelle Pineau 离职，Llama 就是她主导的项目，很多人以为 Llama 4 难产了，没想到今天(2025-04-05) Meta 就放出了 Llama4 系列模型，该系列的核心是 Llama 4 Scout 和 Llama 4 Maverick 两款开放权重的模型，它们首次采用了 专家混合 (MoE) 架构，并具备处理文本、图像和视频的原生多模态能力，同时支持 100M 超长上下文窗口。 1️⃣ 模型方面 Llama 4 Scout：拥有 17B 活跃参数和 16 个专家 (109B 总参数)，可在单个 NVIDIA H100 GPU (Int4 量化) 上运行。其上下文窗口 10M tokens。性能优于 Gemma 3, Gemini 2.0 Flash-Lite, 和 Mistral 3.1。 Llama 4 Maverick：拥有 17B 活跃参数和 128 个专家 (400B 总参数)，可在单个 H100 主机上运行。性能优于 GPT-4o 和 Gemini 2.0 Flash，在推理和编码方面与 DeepSeek v3 相当，但活跃参数更少。其聊天版本在 LMArena 上 ELO 评分达 1417。 Llama 4 Behemoth：“教师”模型，拥有 288B 活跃参数和 16 个专家 (近 2000B 总参数)，仍在训练中。在多个 STEM 基准测试中表现优于 GPT-4....