Suponha que você tenha uma dúvida sobre um projeto que tem documentação no gitbook Como você faz sua IA ler esses documentos para responder à sua pergunta? A solução de nível 1 é dizer "ei Claude, vai visitar a URL da documentação..." O problema aqui é que os documentos geralmente contêm muitas subpáginas, e seu LLM por padrão só vai buscar no máximo 3 ou 4 dessas páginas - o que ele achar relevante. Isso é intencional; Quer preservar tokens e seguir o caminho mais fácil/preguiçoso. Solução do Nível 2: rastrear todo o gitbook de documentação. Pegue todo o texto de cada uma das páginas dele. Depois cole isso no seu LLM. Esse endpoint da Cloudflare faz isso para você de forma trivial, mesmo com um plano gratuito. Basta criar uma conta na Cloudflare. Alternativamente, você poderia escrever seu próprio scraper, mas isso não é algo trivial porque as páginas modernas frequentemente carregam conteúdo via javascript. Existem outros casos técnicos que Cloud Flare também cuida para você.

@Zun2025 melhor cenário**