Har bygget i dette området i flere år nå, og har fulgt Nishkarsh i mange år også – gratulerer med oppskytingen! Siden dette er i samme rom som vi bygger i, har jeg dykket dypt i det og har tanker. Selve lanseringen er veldig hype-preget, og er ment å utløse rage-bait 1. Det er posisjonert som en database, men er nesten et @supermemory-lignende system 2. Deres eksempel med at «vektor-DBS» ikke kan gjøre dette, er egentlig et spørsmål om «innbyggingsmodeller». og embedding-modeller har superposisjoner, de er billige og kan lett utlede forskjeller mellom dem. Det er ikke vanskelig å be Claude om å gjøre et mini-eksperiment for å bevise dette (vedlagt nedenfor). Det som betyr noe, er: er den i stand til å spore hvordan kunnskap utvikler seg? Tiden går? Dette gjorde meg nysgjerrig, så jeg leste artikkelen deres 3. Deres forskningsartikkel hardkoder og manipulerer benchmarken med forskjellige prompter for hver kategori!! (se bilde nedenfor). Hvis benchmarkingen deres blir fikset, vil superminne forbli SOTA. 4. De gjenoppfant kontekstuell gjenfinningsartikkel av Anthropic fra 2024 og kalte den «det foreldreløse pronomenparadokset» 5. De nevner at de bruker en egendefinert "in-memory vector store" = ved omtrent 500 GB må du betale mer enn 10 000 dollar bare for RAM. 6. Inferensen kjøres for mange ganger i pipelinen – noe som betyr at for hver LLM-token du importerer, vil du ende opp med å betale 5 ganger mer enn tokenkostnaden for grafen + kontekstualisering + lagring. 7. Forsinkelse og kostnadstall ble aldri rapportert. Min mistanke er at latensen vil slite i skala på grunn av arkitekturen. Men jeg klarer ikke å si – produktet deres ligger bak Demo Gate. 8. benchmarkingskoden er ikke OSS (så vidt jeg kan se). ikke reproduserbar + hvem vet hvor mye kontekst de tilfører modellen? Hva er K-en? 9. Uorganiske, ikke-offentliggjorte annonser (bare les sitattweetene). Influencer-kontoer med 400 000+ følgere sier alle det samme. Folk slipper unna med dette @nikitabier lol Jeg er helt med på sunn konkurranse og fremgang innen dette feltet, og liker å se godt arbeid gjøres av andre. Men det er lett å bare si ting. "Ingen vil sjekke." Å spille spillet på riktig måte er vanskelig, og alle sier bare hva de kan for å imponere folk. ...