La maggior parte dei fornitori di AI ti chiede di fidarti di loro con i tuoi dati. Noi ci siamo semplicemente esclusi dall'equazione. Oggi stiamo implementando la crittografia end-to-end per l'inferenza AI su Chutes. Ecco cosa significa realmente:

I tuoi prompt vengono crittografati sul tuo dispositivo, direttamente nell'istanza GPU specifica che gira all'interno di un Ambiente di Esecuzione Fidato. Il testo cifrato passa attraverso la nostra API e i bilanciatori di carico, ma non possono letteralmente leggerlo. Nessuno può. Non la rete. Non noi. Non i miner che operano l'hardware. Lo scambio di chiavi utilizza ML-KEM 768, un meccanismo di incapsulamento di chiavi post-quantistiche standardizzato dal NIST, insieme a HKDF-SHA256 e ChaCha20-Poly1305. Le istanze TEE pubblicano una chiave pubblica ML-KEM, e ogni richiesta utilizza una nuova coppia di chiavi client effimere per la segretezza in avanti. Anche se qualcuno catturasse ogni pacchetto oggi, i futuri computer quantistici non potrebbero comunque decrittarli.

La parte che interessa ai costruttori: Ci sono due modi per utilizzare questo, a seconda della tua configurazione. Se stai utilizzando l'SDK Python di OpenAI, esegui il comando pip install chutes-e2ee e passa il trasporto personalizzato nel tuo client. Il tuo URL di base può rimanere lo stesso, e la crittografia avviene in modo trasparente a livello HTTP con solo un minimo di configurazione del client.

Se stai utilizzando un'altra piattaforma client, esegui il nostro contenitore Docker e2ee-proxy localmente e punta il tuo client su di esso. Supporta entrambe le API compatibili con OpenAI, inclusa la nuova specifica dell'API Responses utilizzata da strumenti come Codex, e la specifica dell'API Messages di Anthropic per i client in stile Claude. Il proxy gestisce la traduzione del formato, lo scambio di chiavi, la crittografia e la decrittazione in streaming per te. Entrambi supportano lo streaming. Entrambi preservano la normale semantica di fatturazione basata su token. Entrambi sono open source sotto la licenza MIT.