假设你对一个有 gitbook 文档的项目有疑问 你如何让你的 AI 阅读这些文档以回答你的问题? 一级解决方案是说“嘿 Claude,去访问这个文档 URL ...” 这里的问题是,文档通常包含许多子页面,而你的 LLM 默认最多只会获取 3 或 4 个页面——无论它认为哪些是相关的。 这是设计使然;它想要节省令牌并采取最简单/懒惰的路径。 二级解决方案:爬取整个文档 gitbook。获取每一个页面的所有文本。然后将其粘贴到你的 LLM 中。 这个 cloudflare 端点可以轻松为你做到这一点,即使在免费计划上。只需创建一个 cloudflare 账户。或者,你可以自己编写一个爬虫,但这并不是一件简单的事情,因为现代页面通常通过 javascript 加载内容。还有其他技术边缘案例,cloudflare 也为你处理。
Cloudflare Developers
Cloudflare Developers3月11日 05:51
介绍新的 /crawl 端点 - 一次 API 调用即可爬取整个网站。 无需脚本。无需浏览器管理。只需以 HTML、Markdown 或 JSON 格式获取内容。
@Zun2025 最佳情况**
339