Catalogue de fournisseurs B2B et analyseur de prix avec protection (Cloudflare) et téléchargement vers PostgreSQL et CSV

La situation de départ est qu'il existe un site B2B pour un équipementier automobile (un catalogue fermé avec un compte personnel) et que la grille tarifaire interne de notre ERP devient obsolète. La réconciliation manuelle prend 6 à 8 heures par semaine. Le fournisseur ne dispose pas d'API ; les fiches produits et les soldes sont disponibles uniquement via l'interface Web après la connexion. Le site comprend des mesures anti-bot (Cloudflare, jetons dynamiques, chargement partiel via XHR). Nous devons automatiser la collecte des données et la mise à jour de notre base de données pour une importation ultérieure dans l'ERP.

Environnement technique - Serveur Linux (Ubuntu 22.04), Docker disponible. Pile préférée - Python 3.11, Playwright ou Selenium + requêtes vers XHR, PostgreSQL 14. Accès - compte test sur le site, schéma séparé dans Postgres, SSH sur le serveur. Nous fournirons un proxy si nécessaire, mais il est important de minimiser la charge sur le site.

Le résultat devrait être un référentiel avec du code et un environnement Docker, qui collecte le catalogue et les prix selon un calendrier, les enregistre dans PostgreSQL et effectue en outre un téléchargement CSV quotidien. Les données sont nécessaires pour tous les produits dans les sections sélectionnées du catalogue.

Conditions requises pour la collecte de données : vous devez extraire le SKU/l'article du fournisseur, le nom, la marque, la catégorie/le chemin dans le catalogue, le prix (avec la devise), la quantité/le solde disponible, le délai de livraison si spécifié, le lien vers la carte, la date/l'heure d'analyse. S'il y a plusieurs offres/entrepôts dans la fiche, enregistrez chaque offre dans une ligne distincte liée au SKU.

Limitations : pas plus d'une requête par seconde en moyenne par domaine, délais aléatoires obligatoires, traitement correct des bans/captchas sans retours sans fin, stockage du login/mot de passe uniquement via des variables d'environnement/secrets, sans informations d'identification codées en dur. L'analyseur doit être résistant aux pannes partielles du réseau et être capable de continuer là où il s'est arrêté.

Étapes - 1) analyse du site et identification des points de terminaison/jetons XHR, 2) développement d'un module d'autorisation et mise à jour de session, 3) traversée de répertoires avec file d'attente d'URL et déduplication, 4) normalisation et écriture dans PostgreSQL (upsert), 5) génération CSV et métrique simple de qualité des données, 6) packaging dans Docker + instruction d'exécution et exemple cron.

Critères d'acceptation (mesurables) - 1) un parcours complet du catalogue à partir de 3 sections sélectionnées donne au moins 95% des cartes du nombre que le site affiche dans le filtre/compteur de la section (les écarts sont autorisés en raison de produits temporairement indisponibles), 2) une réexécution dans les 24 heures met à jour uniquement les enregistrements modifiés et est complétée sans intervention manuelle, 3) la structure des tables PostgreSQL et CSV correspond au schéma convenu, 4) il y a un résumé dans les journaux - combien de cartes ont été traitées, combien d'erreurs par type, combien de positions ont été mises à jour, 5) lancement sur le serveur via Docker Compose avec une seule commande, 6) la charge moyenne ne dépasse pas la limite et il n'y a pas de 403/429 massifs en mode normal.

Ce que nous fournirons - une liste des sections du catalogue, un accès aux tests, un serveur, Postgres, un exemple du format CSV requis pour l'ERP (colonnes et séparateur).