Misalkan Anda memiliki pertanyaan tentang proyek yang memiliki dokumen Gitbook Bagaimana Anda membuat AI Anda membaca dokumen ini untuk menjawab pertanyaan Anda? Solusi level 1 adalah pergi "hei claude pergi kunjungi URL dokumen ini ..." Masalahnya di sini adalah bahwa dokumen biasanya berisi banyak subhalaman, dan LLM Anda secara default hanya akan mengambil maksimal 3 atau 4 halaman tersebut - apa pun yang dianggapnya relevan. Ini dirancang; itu ingin melestarikan token dan mengambil jalan termudah/paling malas. Solusi Level 2: Crawl seluruh gitbook dokumen. Dapatkan semua teks dari setiap halamannya. Kemudian tempelkan itu ke LLM Anda. Titik akhir cloudflare ini melakukan ini untuk Anda secara sepele, bahkan pada paket gratis. Cukup buat akun cloudflare. Atau, Anda dapat menulis pengikis Anda sendiri, tetapi ini bukan hal sepele karena halaman modern sering memuat konten melalui javascript. Ada kasus tepi teknis lainnya yang juga ditangani cloud flare untuk Anda.
Cloudflare Developers
Cloudflare Developers11 Mar, 05.51
Memperkenalkan endpoint /crawl baru - satu panggilan API dan seluruh situs di-crawl. Tidak ada skrip. Tidak ada manajemen browser. Hanya konten dalam HTML, Markdown, atau JSON.
@Zun2025 kasus terbaik**
268