DeepSeek的負擔能力是一個神話：革命性的AI實際上花費了16億美元

DeepSeek的新聊天機器人擁有令人印象深刻的介紹：“嗨，我被創建了，您可以問任何東西，並得到一個甚至可能讓您感到驚訝的答案。”這種AI是中國初創公司DeepSeek的產物，已迅速成為主要參與者，甚至導致NVIDIA的股價大幅下降。

DeepSeek的成功源於其創新的建築和培訓方法。關鍵技術包括：

• 多語預測（MTP）：同時預測多個單詞，提高準確性和效率。
• 專家（MOE）的混合物：利用256個神經網絡（每個令牌激活），加速培訓並提高性能。
• 多頭潛在註意力（MLA）：從文本中反复提取關鍵細節，確保不會錯過關鍵信息。

儘管DeepSeek最初使用2048 GPU聲稱DeepSeek V3的培訓成本非常低，但半分析顯示出了更廣泛的基礎設施：大約50,000個NVIDIA HOPPER GPU（包括10,000 H800、10,000 H100，以及其他H20 GPU，以及其他數據中心的其他H20 GPU）。這意味著服務器總投資約為16億美元，運營費用估計為9.44億美元。

DeepSeek是中國對沖基金高飛行員的子公司，擁有其數據中心，提供了對優化和更快的創新實施的控制。它的自資助性質提高了靈活性和決策速度。該公司還吸引了頂尖人才，一些研究人員每年收入超過130萬美元，主要是從領先的中國大學招募。

DeepSeek最初的600萬美元數字僅代表培訓的GPU成本，不包括研究，改進，數據處理和基礎架構。該公司對AI開發的總投資超過5億美元。但是，與更大的官僚主義公司相比，其精益結構允許有效的創新實施。

DeepSeek的成功凸顯了資金龐大的獨立AI公司與行業巨頭競爭的潛力。但是，它的成就源於大量投資，技術突破和強大的團隊。因此，對模型開發的“革命預算”主張是過分簡化的。然而，它的成本仍然明顯低於競爭對手。例如，DeepSeek的R1型號的培訓成本為500萬美元，而Chatgpt4的1億美元。