DeepSeek的负担能力是一个神话：革命性的AI实际上花费了16亿美元

DeepSeek的新聊天机器人拥有令人印象深刻的介绍：“嗨，我被创建了，您可以问任何东西，并得到一个甚至可能让您感到惊讶的答案。”这种AI是中国初创公司DeepSeek的产物，已迅速成为主要参与者，甚至导致NVIDIA的股价大幅下降。

DeepSeek的成功源于其创新的建筑和培训方法。关键技术包括：

• 多语预测（MTP）：同时预测多个单词，提高准确性和效率。
• 专家（MOE）的混合物：利用256个神经网络（每个令牌激活），加速培训并提高性能。
• 多头潜在注意力（MLA）：从文本中反复提取关键细节，确保不会错过关键信息。

尽管DeepSeek最初使用2048 GPU声称DeepSeek V3的培训成本非常低，但半分析显示出了更广泛的基础设施：大约50,000个NVIDIA HOPPER GPU（包括10,000 H800、10,000 H100，以及其他H20 GPU，以及其他数据中心的其他H20 GPU）。这意味着服务器总投资约为16亿美元，运营费用估计为9.44亿美元。

DeepSeek是中国对冲基金高飞行员的子公司，拥有其数据中心，提供了对优化和更快的创新实施的控制。它的自资助性质提高了灵活性和决策速度。该公司还吸引了顶尖人才，一些研究人员每年收入超过130万美元，主要是从领先的中国大学招募。

DeepSeek最初的600万美元数字仅代表培训的GPU成本，不包括研究，改进，数据处理和基础架构。该公司对AI开发的总投资超过5亿美元。但是，与更大的官僚主义公司相比，其精益结构允许有效的创新实施。

DeepSeek的成功凸显了资金庞大的独立AI公司与行业巨头竞争的潜力。但是，它的成就源于大量投资，技术突破和强大的团队。因此，对模型开发的“革命预算”主张是过分简化的。然而，它的成本仍然明显低于竞争对手。例如，DeepSeek的R1型号的培训成本为500万美元，而Chatgpt4的1亿美元。