Fortsatt brist på AI-chipp, men det kan finnas ett ljus i tunneln

Användningen av generativ AI fortsätter att öka kraftigt, men infrastrukturen för att stödja denna tillväxt har för närvarande en flaskhals när det kommer till utbud och efterfrågan.

Enligt en undersökning från IDC säger 66 procent av företagen i världen att de kommer att investera i generativ AI under de kommande 18 månaderna. Bland de organisationer som anger att generativ AI kommer att leda till ökade it-utgifter under 2024 kommer infrastrukturen att stå för 46 procent av de totala utgifterna. Problemet är att det råder brist på en viktig del av den hårdvara som behövs för att bygga upp AI-infrastrukturen.

Den explosionsartade utvecklingen av AI under de senaste två åren har ansträngt branschens förmåga att leverera de speciella högpresterande chipp som behövs för att driva den processintensiva verksamheten inom generativ AI och AI generellt. Det mesta av fokuset på processorbrist har legat på den kraftigt ökande efterfrågan på Nvidias GPU:er och alternativ från olika chipptillverkare som AMD, Intel och operatörer av hyperscale-datacenter, enligt Benjamin Lee, professor vid institutionen för data- och informationsvetenskap vid University of Pennsylvania.

– Det har varit mycket mindre fokus på den exploderande efterfrågan på minneschipp med hög bandbredd, som tillverkas i Korea-baserade gjuterier som drivs av SK Hynix, säger Lee.

Förra veckan meddelade SK Hynix att företagets HBM-produkter (High Bandwidth Memory), som behövs i kombination med högpresterande GPU:er för att hantera bearbetningskrav för AI, är nästan fullbokade fram till 2025 på grund av den höga efterfrågan. Priset på HBM-minnen har också nyligen ökat med 5-10 procent, drivet av betydande prispåslag och ökade kapacitetsbehov för AI-chipp, enligt analysföretaget Trendforce.

HBM-chipp förväntas stå för mer än 20 procent av det totala marknadsvärdet för DRAM-minnen från och med 2024, och potentiellt överstiga 30 procent 2025, enligt Avril Wu, analytiker på Trendforce. ”Inte alla större leverantörer har klarat kundkraven för [högpresterande HBM], vilket leder till att köpare måste acceptera högre priser för att säkra stabila och högkvalitativa leveranser”, skriver Wu i en analysrapport.

Varför GPU:er behöver minne med hög bandbredd

Utan HBM-chipp skulle minnessystemet i en server i ett datacenter inte kunna hålla jämna steg med en högpresterande processor, till exempel en GPU, enligt Lee. Det är HBM-chipp som förser GPU:er med den data som de bearbetar. 

– Den som köper en GPU för AI-beräkningar kommer också att behöva minne med hög bandbredd, säger Lee.

… Med andra ord skulle högpresterande GPU:er utnyttjas dåligt och ofta sitta stilla i väntan på dataöverföring. Sammanfattningsvis är den höga efterfrågan på SK Hynix minneschipp orsakad av den höga efterfrågan på Nvidias GPU-chipp och, i mindre utsträckning, förknippad med efterfrågan på alternativa AI-chipp från AMD, Intel och andra.

– HBM är relativt nytt och har fått ett starkt momentum på grund av vad HBM erbjuder – mer bandbredd och kapacitet, säger Gaurav Gupta, analytiker på Gartner. 

– Det skiljer sig från vad Nvidia och Intel säljer. Bortsett från SK Hynix är situationen för HBM likartad för andra minnesaktörer. För Nvidia tror jag att det finns begränsningar, men de är mer kopplade till förpackningskapaciteten för deras chipp hos gjuterierna.

Medan SK Hynix håller på att nå sina leveransgränser, ökar Samsung och Micron sin HBM-produktion och bör kunna tillgodose efterfrågan när marknaden blir mer distribuerad, enligt Lee.

De nuvarande HBM-bristerna finns främst i paketeringen från TSMC (så kallad chip-on-wafer-on-substrate eller CoWoS), som är den exklusiva leverantören av tekniken. Enligt Lee kommer TSMC att mer än fördubbla sin SOIC-kapacitet och öka kapaciteten för CoWoS med mer än 60 procent. 

– Jag förväntar mig att bristen kommer att minska i slutet av året, säger han.

Samtidigt kommer fler leverantörer av paketerings- och gjuteriteknik att gå online och kvalificera sin teknik för att stödja NVIDIA, AMD, Broadcom, Amazon och andra som använder TSMC:s chip-paketeringsteknik, enligt Lee.

Nvidia, vars produktion representerar cirka 70 procent av det globala utbudet av AI-serverchipp, förväntas generera 40 miljarder dollar i intäkter från GPU-försäljning i år, enligt Bloombergs analytiker. Som jämförelse förväntas konkurrenterna Intel och AMD generera 500 miljoner dollar respektive 3,5 miljarder dollar. Men alla tre ökar produktionen så snabbt som möjligt.

Nvidia tacklar GPU-försörjningsbristen genom att öka sin CoWoS- och HBM-produktionskapacitet, enligt Trendforce. 

”Detta proaktiva tillvägagångssätt förväntas halvera den nuvarande genomsnittliga leveranstiden på 40 veckor till andra kvartalet 2024, när ny kapacitet börjar komma online”, skriver TrendForce i sin rapport. ”Denna expansion syftar till att lindra flaskhalsarna i leveranskedjan som har hindrat tillgängligheten för AI-servrar på grund av GPU-brister.”

Shane Rau, IDC:s analyschef för halvledare, säger att även om efterfrågan på AI-chippkapacitet är mycket hög, anpassar sig marknaderna. 

– När det gäller GPU:er i serverklass ökar de utbudet av wafers, förpackningar och minnen. Det ökade utbudet är viktigt eftersom GPU:er i serverklass, på grund av sin prestanda och programmerbarhet, kommer att förbli den plattform som väljs för att träna och köra stora AI-modeller.

Kämpar för att möta efterfrågan

De globala utgifterna för AI-fokuserade chipp förväntas uppgå till 53 miljarder dollar i år – och mer än fördubblas under de kommande fyra åren, enligt Gartner Research. Det är därför ingen överraskning att chipptillverkarna lanserar nya processorer så fort de kan.

Intel har tillkännagivit sina planer för chipp som syftar till att driva AI-funktioner med sina Gaudi 3-processorer, och har sagt att dess Xeon 6-processorer, som kan köra RAG-processer (retrieval augmented generation), också kommer att vara viktiga. Gaudi 3 GPU är specialbyggd för att träna och köra massiva stora språkmodeller (LLM) som ligger till grund för generativ AI i datacenter.

Samtidigt presenterade AMD sin MI300 GPU för arbetsbelastningar i AI-datacenter under sitt senaste vinstsamtal, vilket också har god dragkraft på marknaden, enligt IDC:s Mario Morales, som tillägger att analysföretaget följer över 80 halvledartillverkare som utvecklar specialiserade chipp för AI.

På mjukvarusidan av ekvationen utvecklar LLM-skaparna också mindre modeller som är skräddarsydda för specifika uppgifter; de kräver färre bearbetningsresurser och förlitar sig på lokala, proprietära data – till skillnad från de massiva, amorfa algoritmerna som kan skryta med hundratals miljarder eller till och med mer än en biljon parametrar.

Intels strategi framöver är liknande: företaget vill möjliggöra genAI på alla typer av datorenheter, från bärbara datorer till smarta telefoner. Intels Xeon 6-processorer kommer att innehålla vissa versioner med inbyggda neurala processorenheter (NPU:er eller ”AI-acceleratorer”) för användning i arbetsstationer, pc och edge-enheter. Intel hävdar också att deras Xeon 6-processorer kommer att vara tillräckligt bra för att köra mindre, mer anpassade LLM:er.

Men utan HBM skulle dessa processorer sannolikt få svårt att hålla jämna steg med generativ AI:s höga prestandakrav.