Ми створюємо LLM-чіп, який забезпечує значно вищу пропускну здатність, ніж будь-який інший чип, при цьому досягаючи найнижчої затримки. Ми називаємо його MatX One. Чіп MatX One базується на розділеному систолічному масиві, який має енергетичну та площинну ефективність, за яку славляться великі систолічні масиви, а також забезпечує високу ефективність на менших матрицях з гнучкими формами. Чіп поєднує низьку затримку SRAM-орієнтованих конструкцій із підтримкою довгого контексту HBM. Ці елементи, а також свіжий підхід до числової техніки, забезпечують вищу пропускну здатність на LLM, ніж будь-яка анонсована система, одночасно відповідаючи затримці SRAM-орієнтованих дизайнів. Вища пропускна здатність і менша затримка дають вам розумніші та швидші моделі за ваші гроші підписки. Ми залучили $500 млн серії B, щоб завершити розробку та швидко масштабувати виробництво, з завершенням роботи менш ніж за рік. Раунд очолили Jane Street, одна з найбільш технологічно підкованих компаній Волл-стріт, та Situational Awareness LP, засновник якої @leopoldasch написав визначальну записку щодо AGI. Серед учасників — фонд @sparkcapital, @danielgross та @natfriedman, @patrickc і @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp та інші. Ми також вітаємо інвесторів у всьому ланцюгу постачання, зокрема Marvell та Alchip. @MikeGunter_ і я заснували MatX, бо вважали, що найкращий чіп для LLM має бути розроблений з перших принципів із глибоким розумінням потреб LLM і того, як вони будуть еволюціонувати. Ми готові відмовитися від продуктивності малих моделей, невеликих обсягів роботи та навіть простоти програмування для створення такого чипа. Зараз у нас команда зі 100 осіб, які думають про все: від вивчення розкладів швидкості до розкладу Swing Modulo Schedule, до guard/round/sticky bits, до сліпих з'єднань — усе це в одній будівлі. Якщо ви хочете допомогти нам спроектувати, проєктувати та впроваджувати багато поколінь чипів у великих обсягах, розгляньте можливість приєднатися до нас.