предположим, у вас есть вопрос о проекте, у которого есть документация на gitbook Как заставить ваш AI прочитать эту документацию, чтобы ответить на ваш вопрос? Решение уровня 1: сказать "эй, клауд, зайди по этому URL документации ..." Проблема в том, что документация обычно содержит много подпунктов, и ваш LLM по умолчанию будет загружать только 3 или 4 из этих страниц максимум - те, которые он считает релевантными. Это сделано намеренно; он хочет сохранить токены и выбрать самый простой/ленивый путь. Решение уровня 2: Обойти всю документацию gitbook. Получите весь текст с каждой отдельной страницы. Затем вставьте это в ваш LLM. Этот конечный пункт cloudflare делает это для вас тривиально, даже на бесплатном плане. Просто создайте учетную запись cloudflare. В качестве альтернативы, вы можете написать свой собственный сканер, но это не тривиальная задача, потому что современные страницы часто загружают контент через javascript. Есть и другие технические крайние случаи, которые cloudflare обрабатывает за вас.
Cloudflare Developers
Cloudflare Developers11 мар., 05:51
Представляем новый /crawl конечный пункт - один вызов API и весь сайт проиндексирован. Без скриптов. Без управления браузером. Только контент в HTML, Markdown или JSON.
@Zun2025 лучший случай**
267