supposons que vous ayez une question sur un projet qui a des docs gitbook Comment faire pour que votre AI lise ces docs pour répondre à votre question ? La solution de niveau 1 est de dire "hey claude, va visiter cette URL des docs ..." Le problème ici est que les docs contiennent généralement de nombreuses sous-pages, et votre LLM par défaut ne récupérera que 3 ou 4 de ces pages au maximum - celles qu'il juge pertinentes. C'est voulu ; il veut préserver les tokens et prendre le chemin le plus facile/paresseux. Solution de niveau 2 : Explorer l'ensemble des docs gitbook. Récupérer tout le texte de chacune de ses pages. Ensuite, collez cela dans votre LLM. Ce point de terminaison cloudflare le fait pour vous de manière triviale, même avec un plan gratuit. Il suffit de créer un compte cloudflare. Alternativement, vous pourriez écrire votre propre scraper, mais ce n'est pas une chose triviale car les pages modernes chargent souvent du contenu via javascript. Il y a d'autres cas techniques particuliers que cloudflare gère également pour vous.
Cloudflare Developers
Cloudflare Developers11 mars, 05:51
Présentation du nouvel endpoint /crawl - un appel API et tout un site exploré. Pas de scripts. Pas de gestion de navigateur. Juste le contenu en HTML, Markdown ou JSON.
@Zun2025 meilleur cas**
286