We bouwen een LLM-chip die veel hogere doorvoer levert dan welke andere chip dan ook, terwijl we ook de laagste latentie bereiken. We noemen het de MatX One. De MatX One-chip is gebaseerd op een splitsbare systolische array, die de energie- en oppervlakte-efficiëntie heeft waar grote systolische arrays om bekend staan, terwijl het ook een hoge benutting krijgt op kleinere matrices met flexibele vormen. De chip combineert de lage latentie van SRAM-eerst ontwerpen met de lange-context ondersteuning van HBM. Deze elementen, plus een frisse kijk op numeriek, leveren een hogere doorvoer op LLM's dan welk aangekondigd systeem dan ook, terwijl ze tegelijkertijd de latentie van SRAM-eerst ontwerpen evenaren. Hogere doorvoer en lagere latentie geven je slimmere en snellere modellen voor je abonnementsdollar. We hebben een Series B van $500M opgehaald om de ontwikkeling af te ronden en de productie snel op te schalen, met tapeout binnen een jaar. De ronde werd geleid door Jane Street, een van de meest tech-savvy Wall Street bedrijven, en Situational Awareness LP, wiens oprichter @leopoldasch het definitieve memo over AGI schreef. Deelnemers zijn onder andere @sparkcapital, @danielgross en @natfriedman’s fonds, @patrickc en @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp, en anderen. We verwelkomen ook investeerders uit de toeleveringsketen, waaronder Marvell en Alchip. @MikeGunter_ en ik zijn MatX begonnen omdat we vonden dat de beste chip voor LLM's ontworpen moet worden vanuit eerste principes met een diep begrip van wat LLM's nodig hebben en hoe ze zich zullen ontwikkelen. We zijn bereid om in te boeten op de prestaties van kleine modellen, laag-volume workloads, en zelfs de eenvoud van programmeren om zo'n chip te leveren. We zijn nu een team van 100 personen met mensen die nadenken over alles, van leerschema's, tot Swing Modulo Scheduling, tot guard/round/sticky bits, tot blind-mated verbindingen—allemaal in hetzelfde gebouw. Als je ons wilt helpen bij het architecten, ontwerpen en implementeren van vele generaties chips in grote volumes, overweeg dan om je bij ons aan te sluiten.