Kami membangun chip LLM yang memberikan throughput yang jauh lebih tinggi daripada chip lain sekaligus mencapai latensi terendah. Kami menyebutnya MatX One. Chip MatX One didasarkan pada susunan sistolik yang dapat dipisahkan, yang memiliki energi dan efisiensi area yang terkenal dengan susunan sistolik besar, sementara juga mendapatkan pemanfaatan tinggi pada matriks yang lebih kecil dengan bentuk yang fleksibel. Chip ini menggabungkan latensi rendah dari desain SRAM-first dengan dukungan HBM konteks panjang. Elemen-elemen ini, ditambah pandangan baru pada numerik, memberikan throughput yang lebih tinggi pada LLM daripada sistem yang diumumkan, sekaligus mencocokkan latensi desain SRAM-first. Throughput yang lebih tinggi dan latensi yang lebih rendah memberi Anda model yang lebih cerdas dan lebih cepat untuk dolar langganan Anda. Kami telah mengumpulkan Seri B senilai $500 juta untuk menyelesaikan pengembangan dan menskalakan manufaktur dengan cepat, dengan tapeout dalam waktu kurang dari setahun. Putaran ini dipimpin oleh Jane Street, salah satu perusahaan Wall Street yang paling paham teknologi, dan Situational Awareness LP, yang pendirinya @leopoldasch menulis memo definitif tentang AGI. Peserta antara lain dana @sparkcapital, @danielgross dan @natfriedman, @patrickc dan @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp, dan lain-lain. Kami juga menyambut investor di seluruh rantai pasokan, termasuk Marvell dan Alchip. @MikeGunter_ dan saya memulai MatX karena kami merasa bahwa chip terbaik untuk LLM harus dirancang dari prinsip pertama dengan pemahaman mendalam tentang apa yang dibutuhkan LLM dan bagaimana mereka akan berkembang. Kami bersedia menyerah pada kinerja model kecil, beban kerja volume rendah, dan bahkan kemudahan pemrograman untuk menghadirkan chip semacam itu. Kami sekarang adalah tim beranggotakan 100 orang dengan orang-orang yang memikirkan segala hal mulai dari jadwal tingkat pembelajaran, hingga Penjadwalan Modulo Ayunan, hingga bagian penjaga/bulat/lengket, hingga koneksi buta—semuanya di gedung yang sama. Jika Anda ingin membantu kami merancang, merancang, dan menerapkan banyak generasi chip dalam volume besar, pertimbangkan untuk bergabung dengan kami.