硬件需求

最近很多朋友都咨询我怎么在自己的电脑上部署 deepseek r1，我很好奇为啥大家都要在自己 PC 上部署模型，而不是直接使用 DeepSeek 官网提供的网页或 app 版本，有的人告诉我是因为好奇，有的人是为了蹭一蹭热点，有的人说是为了显得牛逼，有的人说 DeepSeek 官网不稳定等等，反正各有各的原因。但我觉得对于个人而言，如果不是因为隐私或机密数据不能对外共享，其实使用本地部署的模型意义不大，而本地PC 能部署的模型参数很小，只有 1.5B、7B、8B、14B、32B、70B 这几个蒸馏版本，能力和满血版 deepseek-r1 671B 的模型能力相差甚远。但鉴于这些朋友不是从事 AI 相关工作，我都会给每个人科普一下以上这些信息，并列出 DeepSeek-R1 论文中给的各个模型的对比评测结果，最后给出一些本地部署蒸馏的小模型的指南。在这里我也把整理的内容分享给大家，有需要可自取。 评测结果 满血版的 deepseek-r1 671B 的模型评测结果 从上面结果可以看出来，DeepSeek-R1 的能力水平和 OpenAI 的 openai-o1-1217 版本能力相当，甚至有些评测集上要更好。这里我也解释一下上面横轴上的不同评测集的含义： AIME 测试集 2024 是指 2024 年的美国数学邀请赛（American Invitational Mathematics Examination），这是一项针对高中生的数学竞赛，旨在选拔优秀学生进入更高级别的数学竞赛。在人工智能领域，AIME 2024 的试题被用作评估大型语言模型（LLM）数学推理能力的基准数据集。另外，AIME（美国数学邀请赛）共有15道填空题，答案为0到999之间的整数。题目难度呈递增趋势，前5题相对简单，难度与AMC10/12相近，后10题难度逐渐增加，考察学生的数学综合应用和计算能力。 Codeforces 评测集 Codeforces是一个知名的在线编程竞赛平台，汇集了大量高质量的编程题目和用户提交的解决方案。由于其题目多样性和挑战性，研究人员常将 Codeforces 的题目用作评估大型语言模型（LLM）编程和推理能力的基准数据集。 GPQA Diamond 评测集 GPQA Diamond 是一个专门设计用于评估大型语言模型（LLM）在需要深度推理和领域专业知识问题上的能力的基准数据集。该数据集由纽约大学、CohereAI 和 Anthropic 的研究人员联合发布，旨在衡量模型在需要深度推理和领域专业知识问题上的能力。GPQA Diamond 数据集包含 198 道高难度的问答题，主要涵盖物理、化学、生物学和经济学等 STEM 领域。所有问题及其答案都经过领域专家的验证，确保准确性和完整性。这些问题设计为对抗性构建，防止模型依赖表面模式或记忆，强调深度理解和多步骤推理能力。在评估中，模型需要生成准确且完整的答案，主要评估指标为准确率。GPQA Diamond 为研究人员提供了一个具有挑战性的基准，用于评估和改进大型语言模型在复杂推理任务中的表现。 MATH-500 评测集 MATH-500 是一个包含 500 道数学题目的评测集，旨在全面考察大型语言模型（LLM）的数学解题能力。该评测集涵盖了多种数学主题，设计用于评估模型在数学推理和问题解决方面的表现。...