B2B 供应商目录和价格解析器受保护 (Cloudflare) 并上传到 PostgreSQL 和 CSV

最初的情况是，有一个汽车零部件供应商的 B2B 网站（带有个人帐户的封闭目录），而我们 ERP 中的内部价目表已经过时。手动核对每周需要 6-8 小时。供应商没有API；产品卡和余额只能在登录后通过 Web 界面获取。该网站包括反机器人措施（Cloudflare、动态令牌、通过 XHR 部分加载）。我们需要自动收集数据并更新数据库，以便随后导入 ERP。

技术环境 - Linux 服务器（Ubuntu 22.04），可用 Docker。首选堆栈 - Python 3.11、Playwright 或 Selenium + 对 XHR、PostgreSQL 14 的查询。访问 - 网站的测试帐户、Postgres 中的单独方案、通过 SSH 连接到服务器。如有必要，我们将提供代理，但重要的是尽量减少网站的负载。

结果应该是一个包含代码和 Docker 环境的存储库，它根据计划收集目录和价格，将其保存在 PostgreSQL 中，并另外执行每日 CSV 上传。目录所选部分中的所有产品都需要数据。

数据收集要求 - 您需要提取供应商的 SKU/商品、名称、品牌、目录中的类别/路径、价格（带货币）、可用数量/余额、交货时间（如果指定）、卡片链接、解析日期/时间。如果卡中有多个报价/仓库，请将每个报价保存在链接到 SKU 的单独行中。

限制 - 每个域平均每秒不超过 1 个请求、强制随机延迟、正确处理禁令/验证码而无需无休止的重试、仅通过环境变量/机密存储登录名/密码，无需硬编码凭据。解析器必须能够抵抗部分网络故障，并且能够从中断处继续。

阶段 - 1) 站点分析和 XHR 端点/令牌识别，2) 开发授权模块和会话更新，3) 使用 URL 队列和重复数据删除进行目录遍历，4) 规范化和写入 PostgreSQL (upsert)，5) CSV 生成和简单的数据质量指标，6) 在 Docker 中打包 + 运行指令和 cron 示例。

验收标准（可衡量） - 1) 完整浏览 3 个选定部分的目录，给出网站在该部分的过滤器/计数器中显示的数量中至少 95% 的卡片（由于暂时不可用的产品，允许存在差异），2) 24 小时内重新运行，仅更新更改的记录，并且无需人工干预即可完成，3) PostgreSQL 和 CSV 表的结构符合商定的方案，4) 在日志 - 处理了多少张卡、按类型划分了多少个错误、更新了多少个位置，5）通过 Docker Compose 使用一个命令在服务器上启动，6）平均负载不超过限制，并且在正常模式下没有大量 403/429。

我们将提供什么 - 目录部分的列表、测试访问、服务器、Postgres、ERP 所需的 CSV 格式的示例（列和分隔符）。