L'abordabilité de Deepseek est un mythe: l'IA révolutionnaire a coûté 1,6 milliard de dollars pour développer

Le nouveau chatbot de Deepseek possède une introduction impressionnante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette IA, un produit de la startup chinoise Deepseek, est rapidement devenue un acteur majeur, contribuant même à une baisse significative du cours des actions de Nvidia.

Le succès de Deepseek provient de ses méthodes d'architecture et de formation innovantes. Les technologies clés comprennent:

• Prédiction multi-token (MTP): prédire plusieurs mots simultanément, augmentant la précision et l'efficacité.
• Mélange d'experts (MOE): en utilisant 256 réseaux de neurones (huit activés par jeton), accélérant la formation et améliorant les performances.
• Attention latente multi-tête (MLA): Extraction à plusieurs reprises des détails clés du texte, garantissant que des informations cruciales ne sont pas manquées.

Alors que Deepseek a initialement réclamé un coût de formation remarquablement faible de 6 millions de dollars pour Deepseek V3 en utilisant 2048 GPU, la semianalyse a révélé une infrastructure beaucoup plus étendue: environ 50 000 GPU Nvidia Hopper (y compris 10 000 H800, 10 000 H100 et des GPU H20 supplémentaires) répartis sur plusieurs centres de données. Cela se traduit par un investissement total de serveur d'environ 1,6 milliard de dollars et les frais opérationnels estimés à 944 millions de dollars.

Deepseek, une filiale du High Flyer de fonds spéculatifs chinois, possède ses centres de données, fournissant un contrôle sur l'optimisation et la mise en œuvre plus rapide de l'innovation. Sa nature autofinancée améliore la flexibilité et la vitesse de prise de décision. La société attire également les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, recrutent principalement dans les principales universités chinoises.

Le chiffre initial de 6 millions de dollars de Deepseek ne représente que les coûts de GPU avant la formation, l'exclusion de la recherche, du raffinement, du traitement des données et des infrastructures. L'investissement total de la société dans le développement de l'IA dépasse 500 millions de dollars. Sa structure Lean, cependant, permet une mise en œuvre efficace de l'innovation par rapport aux entreprises plus grandes et plus bureaucratiques.

Le succès de Deepseek met en évidence le potentiel de sociétés d'IA indépendantes bien financées pour rivaliser avec les géants de l'industrie. Cependant, ses réalisations sont enracinées dans des investissements substantiels, des percées technologiques et une équipe solide. La réclamation du «budget révolutionnaire» pour le développement de modèles est donc une simplification à l'extérieur. Néanmoins, ses coûts restent considérablement inférieurs à ceux des concurrents; Par exemple, le modèle R1 de Deepseek a coûté 5 millions de dollars pour s'entraîner, par rapport aux 100 millions de dollars de ChatGPT4.