Les job boards comptent parmi les sites les plus durs à scraper. Indeed, Monster, CareerBuilder investissent massivement dans l'anti-automation — rate limits, fingerprinting, CAPTCHAs.
Notre client, un portail emploi populaire aux USA, avait besoin d'une extraction daily depuis 20 sources : titres, localisations, salaires, profils entreprise, descriptions.
Phase 1 — Discovery : structure, APIs, stack anti-bot par site. Phase 2 — Extraction : spiders custom + pipeline normalisation. Phase 3 — Livraison : CSV FTP puis insertion PostgreSQL directe.
Résultats : 1,5 million d'offres au backfill initial. 180 000 enregistrements structurés par jour ensuite. Zéro infra côté client.
Le client estime un coût 20× inférieur à une équipe interne. Les job sites changent de layout souvent ; externaliser la maintenance a été le facteur décisif.
Projet similaire ? Devis sous 6 h, déploiement sous 48 h. Contact info@scrapy.ninja.
