Crawlowanie całej strony internetowej kiedyś zajmowało: Skrypt w Pythonie. Playwright lub Selenium. Rotacja proxy. Logika ograniczania prędkości. Obsługa błędów. 3 godziny debugowania, dlaczego strona 47 zwróciła 403. Teraz to jedno wywołanie API. Każdy startup zajmujący się web scrapingiem, który zebrał miliony, aby rozwiązać ten problem, właśnie stał się jednym punktem końcowym. Każdy freelancer, który pobierał 500 dolarów za "wyciąganie danych ze strony", właśnie stracił cały swój model biznesowy na rzecz komendy /crawl. HTML. Markdown. JSON. Wybierz swój format. Żadne skrypty. Żaden przeglądarka. Żadnych bólów głowy. Cała branża web scrapingu właśnie została zredukowana do jednej linii kodu. Ktoś użyje tego, aby sklonować stronę każdego konkurenta do piątku. 💀