Deepseek AI-verrassingen: ontwikkeling van miljard dollar onthuld

Het verrassend goedkope AI -model van Deepseek, Deepseek V3, heeft de technische wereld geschud en veroorzaakt een aanzienlijke daling van de aandelenkoers van Nvidia. Terwijl Deepseek aanvankelijk slechts $ 6 miljoen trainingskosten claimde, onthult een nadere blik een veel meer substantiële investering.

afbeelding: ensigame.com

De innovatieve architectuur van Deepseek V3 is de sleutel tot de prestaties. Het heft gebruik van:

• Multi-Token Prediction (MTP): Het tegelijkertijd voorspellen van meerdere woorden voor verhoogde nauwkeurigheid en snelheid.
• Mix van experts (MOE): Gebruikt 256 neurale netwerken (acht actief per token) voor versnelde training en verbeterde prestaties.
• Latent aandacht voor meerdere kop (MLA): Herhaaldelijk extraheren van belangrijke informatie uit tekstfragmenten om cruciaal detailverlies te minimaliseren.

afbeelding: ensigame.com

Semianyse onthulde echter de ware infrastructuur van Deepseek: ongeveer 50.000 Nvidia Hopper GPU's (inclusief H800-, H100- en H20 -eenheden) verspreid over meerdere datacenters. Dit vertegenwoordigt een totale serverinvestering van ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen. Dit is in tegenspraak met de initiële claim van $ 6 miljoen, die alleen pre-training GPU-gebruik omvat, exclusief onderzoek, verfijning, gegevensverwerking en infrastructuur.

Deepseek, een dochteronderneming van High-Flyer, een Chinees hedgefonds, bezit zijn datacenters, in tegenstelling tot cloud-reliante concurrenten. Deze zelf gefinancierde aanpak zorgt voor snelle innovatie en implementatie. Het bedrijf trekt top Chinees talent aan, waarbij sommige onderzoekers jaarlijks meer dan $ 1,3 miljoen verdienen.

afbeelding: ensigame.com

De werkelijke investering van Deepseek in AI -ontwikkeling is groter dan $ 500 miljoen. Terwijl de magere structuur de efficiëntie bevordert, is het verhaal "revolutionaire budget" misleidend. Het ware succes komt voort uit substantiële investeringen, technologische vooruitgang en een zeer bekwaam team.

afbeelding: ensigame.com

Ondanks de opgeblazen initiële kostenclaims, zijn de modellenopleidingskosten van Deepseek ($ 5 miljoen voor R1) nog steeds aanzienlijk lager dan concurrenten zoals chatgpt4o ($ 100 miljoen), wat een concurrentievoordeel benadrukt. Het Deepseek-voorbeeld toont een pad naar succes voor goed gefinancierde, onafhankelijke AI-bedrijven, maar de realiteit is veel duurder dan aanvankelijk afgebeeld.