La oss si at du har et spørsmål om et prosjekt som har gitbook-dokumentasjon Hvordan får du AI-en din til å lese disse dokumentasjonene for å svare på spørsmålet ditt? Nivå 1-løsningen er å si «hei Claude, gå og besøk denne dokumentasjonens URL ...» Problemet her er at dokumentasjon vanligvis inneholder mange undersider, og LLM-en din henter som standard maks 3 eller 4 av disse sidene – hva enn den mener er relevant. Dette er med vilje; Den vil bevare tokens og ta den enkleste/lateste veien. Nivå 2-løsning: Crawl hele dokumentasjonens gitbook. Få all teksten fra hver eneste side. Så limer du det inn i LLM-en din. Denne Cloudflare-endepunkten gjør dette enkelt for deg, selv med en gratis plan. Bare lag en Cloudflare-konto. Alternativt kan du lage din egen skraper, men dette er ikke trivielt fordi moderne sider ofte laster innhold via JavaScript. Det finnes også andre tekniske grensetilfeller som Cloud Flare håndterer for deg.
Cloudflare Developers
Cloudflare Developers11. mars, 05:51
Vi introduserer det nye /crawl-endepunktet – ett API-kall og et helt nettsted crawlet. Ingen manus. Ingen nettleserhåndtering. Bare innholdet i HTML, Markdown eller JSON.
@Zun2025 beste scenario**
267