La mayoría de los proveedores de IA te piden que confíes en ellos con tus datos. Nosotros simplemente nos hemos eliminado de la ecuación. Hoy estamos implementando cifrado de extremo a extremo para la inferencia de IA en Chutes. Esto es lo que realmente significa:
Tus solicitudes se cifran en tu máquina, directamente en la instancia de GPU específica que se ejecuta dentro de un Entorno de Ejecución Confiable. El texto cifrado pasa a través de nuestra API y balanceadores de carga, pero literalmente no pueden leerlo. Nadie puede. Ni la red. Ni nosotros. Ni los mineros que operan el hardware. El intercambio de claves utiliza ML-KEM 768, un mecanismo de encapsulación de claves post-cuántico estandarizado por NIST, junto con HKDF-SHA256 y ChaCha20-Poly1305. Las instancias de TEE publican una clave pública ML-KEM, y cada solicitud utiliza un nuevo par de claves efímeras del cliente para la confidencialidad hacia adelante. Incluso si alguien capturara cada paquete hoy, las futuras computadoras cuánticas aún no podrían descifrarlos.
La parte que importa a los constructores: Hay dos formas de usar esto, dependiendo de tu configuración. Si estás utilizando el SDK de Python de OpenAI, instala chutes-e2ee con pip y pasa el transporte personalizado a tu cliente. Tu URL base puede permanecer igual, y la encriptación ocurre de manera transparente en la capa HTTP con solo un cableado mínimo del cliente.
Si estás utilizando cualquier otra plataforma de cliente, ejecuta nuestro contenedor Docker e2ee-proxy localmente y apunta tu cliente hacia él. Soporta ambas APIs compatibles con OpenAI, incluyendo la nueva especificación de la API de Respuestas utilizada por herramientas como Codex, y la especificación de la API de Mensajes de Anthropic para clientes estilo Claude. El proxy maneja la traducción de formato, el intercambio de claves, la encriptación y la desencriptación en streaming por ti. Ambos soportan streaming. Ambos preservan la semántica normal de facturación basada en tokens. Ambos son de código abierto bajo la licencia MIT.
2,07K