toom1996
934a8961b0
fix: 抓取前预检已入库的秀，避免重复下载（重爬 62 分钟 0 新增）
问题：图片 key 是内容 sha1，不下载就无法判断是否已存在；
后端又没存 source_url，无法做 URL 级判重。
于是每次重爬都把几百张已下过的图再下一遍 —— 线上实测
Celine 跑了 62 分钟、约 600MB，入库 0 新增。
修复：
- 后端新增 GET /admin/internal/shows/covered?brand_uid=
按 (年份, 季节, 类型) 聚合已入库图片张数
- spider 抓取前预检，整场已入库（>=10 张）就跳过，一张图都不下载
- 加 --force 可强制重抓（默认跳过）
- 媒体直传并发改为全进程共享信号量：此前秀级 2 × 每场 6 = 12 路
同时打 Vogue，被限流后单张从 9.8s 掉到 ~90s
- 批次下载失败时打印第一条错误（此前只统计个数，查不出原因）
2026-10-25 20:07:54 +08:00
..
2026-10-25 00:27:46 +08:00
2026-09-13 00:52:09 +08:00
2026-10-25 20:07:54 +08:00
2026-09-20 00:44:47 +08:00
2026-10-25 20:07:54 +08:00