Kürzlich habe ich verschiedene Webcrawler ausprobiert, selbstgebautes Open-Source Crawl4AI / CrawlLee und die Dienste Firecrawl / Jina Reader / den neuen Crawl von Cloudflare genutzt. Ich habe festgestellt, dass Jina Reader am bequemsten, kostengünstig und günstig ist, ohne Abonnement, mit einem großen kostenlosen Kontingent, und danach wird nach Bedarf bezahlt. Das Crawlen verschiedener Inhalte ist ebenfalls stabil, insbesondere die Ergebnisse beim Crawlen von X-Posts sind ebenfalls gut. Die anderen scheinen eher durchschnittlich zu sein, instabil oder werden einfach blockiert, außer Apify, aber das ist zu teuer. Wenn man selbst baut, ist Crawl4AI die beste Wahl. Ich würde gerne wissen, welcher Crawler euch am besten gefällt? Lasst uns darüber diskutieren.