Să presupunem că ai o întrebare despre un proiect care are documentații pe gitbook Cum reușești să-ți faci AI-ul să citească aceste documentații pentru a-ți răspunde la întrebare? Soluția de nivel 1 este să spui "hei, Claude, du-te să vizitezi URL-ul acestui document ..." Problema aici este că documentele conțin de obicei multe subpagini, iar LLM-ul tău va prelua în mod implicit doar 3 sau 4 dintre acele pagini maxim - orice consideră relevant. Acest lucru este intenționat; Vrea să păstreze jetoanele și să aleagă calea cea mai ușoară/leneșă. Soluția de nivel 2: Caută întregul gitbook de documentație. Ia tot textul de pe fiecare pagină a acestuia. Apoi lipește asta în LLM-ul tău. Acest punct final Cloudflare face asta pentru tine foarte ușor, chiar și cu un plan gratuit. Pur și simplu creează-ți un cont Cloudflare. Alternativ, ai putea să-ți scrii propriul scraper, dar nu este un lucru trivial pentru că paginile moderne încarcă adesea conținutul prin javascript. Există și alte cazuri tehnice pe care cloud flare le gestionează pentru tine.
Cloudflare Developers
Cloudflare Developers11 mar., 05:51
Introduc noul endpoint /crawl - un singur apel API și un întreg site crawlat. Niciun scenariu. Fără gestionare a browserului. Doar conținutul în HTML, Markdown sau JSON.
@Zun2025 cel mai bun caz**
298