Vi bygger en LLM-brikke som leverer mye høyere gjennomstrømning enn noen annen brikke, samtidig som den oppnår lavest latens. Vi kaller den MatX One. MatX One-brikken er basert på et delbart systolisk array, som har energi- og arealeffektiviteten som store systoliske arrays er kjent for, samtidig som den får høy utnyttelse på mindre matriser med fleksible former. Brikken kombinerer den lave latenstiden til SRAM-først-design med lang-kontekststøtte fra HBM. Disse elementene, pluss en ny tilnærming til numerikk, gir høyere gjennomstrømning på LLM-er enn noe annonsert system, samtidig som de matcher latenstiden til SRAM-først-design. Høyere gjennomstrømning og lavere ventetid gir deg smartere og raskere modeller for abonnementsbudsjettet ditt. Vi har hentet inn en Series B til 500 millioner dollar for å avslutte utviklingen og raskt skalere produksjonen, med tapeouting på under ett år. Runden ble ledet av Jane Street, et av de mest teknologikyndige Wall Street-selskapene, og Situational Awareness LP, hvis grunnlegger @leopoldasch skrev det definitive notatet om AGI. Deltakerne inkluderer @sparkcapital, @danielgross and @natfriedman's fund, @patrickc and @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp og andre. Vi ønsker også investorer velkommen gjennom hele forsyningskjeden, inkludert Marvell og Alchip. @MikeGunter_ og jeg startet MatX fordi vi mente at den beste brikken for LLM-er burde designes fra grunnprinsipper med en dyp forståelse av hva LLM-er trenger og hvordan de vil utvikle seg. Vi er villige til å gi opp ytelse med små modeller, lavvolum og til og med enkel programmering for å levere på en slik brikke. Vi er nå et team på 100 personer med folk som tenker på alt fra læretidsplaner, til Swing Modulo Scheduling, til guard/round/sticky bits, til blind-mated forbindelser – alt i samme bygning. Hvis du ønsker å hjelpe oss med å arkitektere, designe og distribuere mange generasjoner av brikker i stort volum, kan du vurdere å bli med oss.