description

Pour la récupération des marchés publics sur le web, j'ai utilisé le framework Scrapy qui aide la conception et l'exécution de crawlers.

Chaque "spider" pouvait "crawler" un ou plusieurs sites. Je n'ai pas le nombre de crawler que j'ai réalisé mais "au doigt mouillé" je dirais une bonne centaine.

Les spiders étaient exécutés à intervalles réguliers et les résultats étaient intégrés à la base de données de production de façon asynchrone car la base étaient en même temps utilisée pour le travail des équipes et la plateforme client de l'époque. Pour cela nous utilisions Celery/Rabbitmq/Msgpack.

J'ai été le référent technique pendant plusieurs années et ait aidé de nombreuses décisions stratégiques.

Points forts