załóżmy, że masz pytanie dotyczące projektu, który ma dokumentację w gitbook Jak sprawić, aby twoje AI przeczytało te dokumenty, aby odpowiedzieć na twoje pytanie? Rozwiązanie poziomu 1 to powiedzieć "hej claude, odwiedź ten adres URL dokumentacji ..." Problem polega na tym, że dokumenty zazwyczaj zawierają wiele podstron, a twój LLM domyślnie pobierze tylko 3 lub 4 z tych stron maksymalnie - cokolwiek uzna za istotne. To jest zamierzone; chce zachować tokeny i wybrać najłatwiejszą/najleniwiejszą ścieżkę. Rozwiązanie poziomu 2: Przeskanuj całą dokumentację gitbook. Pobierz cały tekst ze wszystkich jego stron. Następnie wklej to do swojego LLM. Ten punkt końcowy cloudflare robi to za ciebie w sposób trywialny, nawet na darmowym planie. Po prostu załóż konto na cloudflare. Alternatywnie, możesz napisać własny skrypt do skanowania, ale to nie jest trywialna sprawa, ponieważ nowoczesne strony często ładują treści za pomocą javascript. Są też inne techniczne przypadki brzegowe, które cloudflare obsługuje za ciebie.
Cloudflare Developers
Cloudflare Developers11 mar, 05:51
Przedstawiamy nowy punkt końcowy /crawl - jedno wywołanie API i cały serwis zeskrobany. Bez skryptów. Bez zarządzania przeglądarką. Tylko treść w HTML, Markdown lub JSON.
@Zun2025 najlepszy przypadek**
270