De fleste AI-leverandører ber deg stole på dem med dataene dine. Vi fjernet oss bare fra ligningen. I dag leverer vi ende-til-ende-kryptering for AI-inferens på Chutes. Her er hva det faktisk betyr:

Promptene dine krypteres på maskinen din, direkte til den spesifikke GPU-instansen som kjører i et Trusted Execution Environment. Chifferteksten går gjennom vårt API og lastbalanserere, men de kan bokstavelig talt ikke lese den. Ingen kan. Ikke nettverket. Ikke oss. Ikke gruvearbeiderne som opererer maskinvaren. Nøkkelutvekslingen bruker ML-KEM 768, en NIST-standardisert post-kvant nøkkelinnkapslingsmekanisme, sammen med HKDF-SHA256 og ChaCha20-Poly1305. TEE-instanser publiserer en ML-KEM offentlig nøkkel, og hver forespørsel bruker et nytt, midlertidig klienttastatur for forward secrecy. Selv om noen fanget hver pakke i dag, kunne fremtidige kvantedatamaskiner fortsatt ikke dekryptere dem.

Den delen som betyr noe for byggere: Det finnes to måter å bruke dette på, avhengig av oppsettet ditt. Hvis du bruker OpenAI Python SDK, pip-installer chutes-e2ee og send den tilpassede transporten inn i klienten din. Grunn-URL-en din kan forbli den samme, og kryptering skjer transparent på HTTP-laget med bare minimal klientledning.

Hvis du bruker en annen klientplattform, kjør vår e2ee-proxy Docker-container lokalt og pek klienten din dit. Den støtter begge OpenAI-kompatible API-er, inkludert den nyere Responses API-spesifikasjonen brukt av verktøy som Codex, og Anthropics Messages API-spesifikasjon for Claude-lignende klienter. Proxyen håndterer formatoversettelse, nøkkelutveksling, kryptering og strømmedekryptering for deg. Begge støtter strømming. Begge bevarer normal tokenbasert faktureringssemantikk. Begge er åpen kildekode under MIT-lisensen.