例えば、gitbookドキュメントがあるプロジェクトについて質問があるとしましょう AIにこれらのドキュメントを読んで質問に答えさせるにはどうすればいいですか? レベル1の解決策は「クロード、このドキュメントのURLを訪ねてみて...」というものだ。 問題は、ドキュメントには通常多くのサブページが含まれており、LLMはデフォルトでそのうち3〜4ページしか取得できないことです。関連性があると判断する内容です。 これは意図的なもので、トークンを保存し、最も簡単で怠惰な道を選びたいのです。 レベル2の解決策:ドキュメントのgitbook全体をクロールする。すべてのページからすべてのテキストを入手してください。それをLLMに貼り付けてください。 このCloudflareエンドポイントは、無料プランでも簡単にこれを行えます。Cloudflareアカウントを作ればいいのです。あるいは、自分でスクレイパーを書くこともできますが、これは簡単なことではありません。なぜなら、現代のページはしばしばJavaScript経由でコンテンツを読み込むからです。Cloud Flareが対応してくれる他の技術的なエッジケースもあります。
Cloudflare Developers
Cloudflare Developers3月11日 05:51
新しい/crawlエンドポイントの導入 - API呼び出し1回でサイト全体がクロールされました。 台本はなし。ブラウザ管理もありません。コンテンツはHTML、Markdown、またはJSONで書かれています。
@Zun2025最良のケースは**
273