supongamos que tienes una pregunta sobre un proyecto que tiene documentación en gitbook ¿Cómo haces que tu AI lea esta documentación para responder a tu pregunta? La solución de nivel 1 es decir "hey claude, visita esta URL de documentación ..." El problema aquí es que la documentación suele contener muchas subpáginas, y tu LLM por defecto solo recuperará 3 o 4 de esas páginas como máximo, lo que considere relevante. Esto es intencional; quiere preservar tokens y tomar el camino más fácil/perezoso. Solución de nivel 2: Rastrear toda la documentación del gitbook. Obtener todo el texto de cada una de sus páginas. Luego pega eso en tu LLM. Este endpoint de cloudflare hace esto por ti de manera trivial, incluso en un plan gratuito. Solo crea una cuenta de cloudflare. Alternativamente, podrías escribir tu propio scraper, pero esto no es algo trivial porque las páginas modernas a menudo cargan contenido a través de javascript. También hay otros casos técnicos que cloudflare maneja por ti.
Cloudflare Developers
Cloudflare Developers11 mar, 05:51
Presentamos el nuevo endpoint /crawl: una llamada a la API y todo un sitio rastreado. Sin scripts. Sin gestión de navegador. Solo el contenido en HTML, Markdown o JSON.
@Zun2025 mejor caso**
278