Anta att du har en fråga om ett projekt som har GitBook-dokumentation Hur får du din AI att läsa dessa dokument för att svara på din fråga? Nivå 1-lösningen är att säga "hej Claude gå och besök denna dokuments URL ..." Problemet här är att dokumentationen vanligtvis innehåller många undersidor, och din LLM hämtar som standard bara 3 eller 4 av dessa sidor max – vad den än anser vara relevant. Detta är avsiktligt; Den vill bevara tokens och ta den enklaste/lataste vägen. Nivå 2-lösning: Genomsök hela dokumentets gitbook. Hämta all text från varenda en av dess sidor. Klistra in det sedan i din LLM. Denna Cloudflare-endpoint gör detta enkelt för dig, även med ett gratisabonnemang. Skapa bara ett Cloudflare-konto. Alternativt kan du skriva din egen scraper, men det är inte trivialt eftersom moderna sidor ofta laddar innehåll via javascript. Det finns andra tekniska undantagsfall som cloud flare hanterar åt dig också.
Cloudflare Developers
Cloudflare Developers11 mars 05:51
Vi introducerar den nya /crawl-endpointen – ett API-anrop och en hel webbplats genomsökt. Inga manus. Ingen webbläsarhantering. Bara innehållet i HTML, Markdown eller JSON.
@Zun2025 bästa fall**
276