Moderne Websites laden kritische Daten per JavaScript nach dem initialen HTML-Shell. React-, Vue- und Angular-SPAs liefern einfachen HTTP-Clients oft leere divs. Headless Browser führen JS wie ein echter Nutzer aus.
Puppeteer (Google, Node.js, nur Chrome/Chromium) hat die Kategorie geprägt. Reifes Ökosystem, gute Doku, enge Chrome DevTools-Integration. Schwäche: Single-Browser, nur Node.
Playwright (Microsoft, 2020+) unterstützt Chromium, Firefox und WebKit aus einer API. Besseres Auto-Wait, Tracing und Cross-Browser-Testing. Unsere Wahl für neue Node/TypeScript-Projekte. scrapy-playwright integriert es in Python-Pipelines.
Scrapy allein erledigt ~80% der Ziele mit statischem HTML — schneller und günstiger. Splash (deprecated) oder Playwright hinzufügen, wenn Sie JS-Wände treffen.
Unser interner Benchmark auf 50 E-Commerce-Produktseiten: Scrapy statisch — 12% Erfolg, 50 ms/Seite. Playwright — 96% Erfolg, 2,1 s/Seite. Der Trade-off ist klar: Browser nur wenn nötig, aber nicht weglassen, wenn Sie müssen.
Scrapy Ninja wählt automatisch das richtige Tool pro Ziel in unseren Managed Pipelines. Sie beschreiben die Daten; wir wählen den Stack.
