Săptămâna aceasta Complex Systems este cu @philipkiely , care a scris recent cartea (literal) despre Ingineria Inferenței. Am discutat despre cum arată adoptarea IA ca chestiune inginerească în companii.

Continui să cred că aplicațiile de chat sunt a) printre cele mai exploziv populare aplicații individuale lansate vreodată pe piață și b) în principal o demonstrație tehnologică pentru produsul real, adică API-ul. Este o primitivă transformativă, precum instrucțiunile if și bucle for.

Spre deosebire de instrucțiunile if și buclele for, se dezvoltă un strat middleware, parțial din cauza ritmului de schimbare al substratului de bază, care (ciudat pentru tehnologie) nu este strict pozitiv. Așa că, în loc să-ți smulgi părul când apare un update de model...

... Echipa responsabilă cu implementarea inteligenței la scară largă poate, de exemplu, să aibă benchmarking automat al diferitelor modele în funcție de sarcinile pe care le ai, să ruleze solicitări anterioare împotriva noului challenger și să le evalueze automat, apoi să avanseze automat câștigătorii.

Multe dintre acestea seamănă cu introducerea adaptivă a infrastructurii în mers, o capacitate care mi se pare puțin SF.

Cred că există vizibilitate asimetrică pe Twitter a cazurilor de utilizare a inteligenței artificiale prosumer, inclusiv a instrumentelor moderne de programare (care sunt cele mai importante din punct de vedere economic pentru dezvoltarea LLM-urilor... până în prezent). Introducerea în mediul enterprise va întârzia, dar nu cu un deceniu, și va arăta diferit.

Mai puține "hai să dăm toate inbox-urile și YOLO", mai multe piloți, mai multe aplicații de linie de business transformate treptat, iar apoi lucrurile devin cu adevărat ciudate în a doua generație, când începi să te gândești "Cum arată acest proces de business, viața dacă îl proiectăm în jurul existenței LLM-urilor."