fix: 抓取前预检已入库的秀,避免重复下载(重爬 62 分钟 0 新增)
问题:图片 key 是内容 sha1,不下载就无法判断是否已存在; 后端又没存 source_url,无法做 URL 级判重。 于是每次重爬都把几百张已下过的图再下一遍 —— 线上实测 Celine 跑了 62 分钟、约 600MB,入库 0 新增。 修复: - 后端新增 GET /admin/internal/shows/covered?brand_uid= 按 (年份, 季节, 类型) 聚合已入库图片张数 - spider 抓取前预检,整场已入库(>=10 张)就跳过,一张图都不下载 - 加 --force 可强制重抓(默认跳过) - 媒体直传并发改为全进程共享信号量:此前秀级 2 × 每场 6 = 12 路 同时打 Vogue,被限流后单张从 9.8s 掉到 ~90s - 批次下载失败时打印第一条错误(此前只统计个数,查不出原因)
This commit is contained in:
@ -124,6 +124,9 @@ func executeBrand(ctx context.Context, brandUID, brandName string, maxShows int)
|
||||
|
||||
s := spider.NewVogueSpider(serveMaxCo, 0, maxShows, IngestClient)
|
||||
s.Debug = debug
|
||||
// 默认跳过已入库的秀:图片 key 是内容 sha1,不下载无法判重,
|
||||
// 场次级预检是唯一能在下载前省掉整场带宽的手段。
|
||||
s.Force = forceAll
|
||||
// 媒体机直传:spider 自己下载并上传图片,后端只写库。
|
||||
if config.GlobalConfig.Media.Upload && IngestClient != nil {
|
||||
s.Media = media.New(IngestClient, "runway", config.GlobalConfig.Media.Concurrency)
|
||||
@ -150,4 +153,6 @@ func init() {
|
||||
serveCmd.Flags().IntVarP(&serveWorkers, "workers", "w", 1, "并发执行的品牌数(每路一个 goroutine)")
|
||||
serveCmd.Flags().IntVarP(&serveInterval, "interval", "i", 5, "队列为空时的轮询间隔(秒)")
|
||||
serveCmd.Flags().IntVarP(&serveMaxCo, "max-co", "m", 5, "单个品牌内部的抓取并发数")
|
||||
// 与 vogue 子命令共用同一个开关:默认跳过已入库的秀,确需刷新时加 --force。
|
||||
serveCmd.Flags().BoolVarP(&forceAll, "force", "f", false, "忽略「已入库」预检,强制重抓全部场次")
|
||||
}
|
||||
|
||||
@ -12,6 +12,7 @@ var (
|
||||
brandID int64
|
||||
maxCo int
|
||||
maxShows int
|
||||
forceAll bool // --force:忽略「已入库」预检,强制重抓
|
||||
)
|
||||
|
||||
var vogueCmd = &cobra.Command{
|
||||
@ -24,6 +25,8 @@ var vogueCmd = &cobra.Command{
|
||||
if config.GlobalConfig.Media.Upload && IngestClient != nil {
|
||||
vogueSpider.Media = media.New(IngestClient, "runway", config.GlobalConfig.Media.Concurrency)
|
||||
}
|
||||
// --force:跳过「已入库的秀」预检,强制重抓(默认跳过,避免重复下载)。
|
||||
vogueSpider.Force = forceAll
|
||||
|
||||
// 2. 修复方法名:将 Execute() 改为 Run()
|
||||
vogueSpider.Run()
|
||||
@ -41,4 +44,7 @@ func init() {
|
||||
|
||||
// 小批量试爬:仅抓取单个品牌的前 N 场发布会(0=不限制)。用于控制入库量 / 先看效果。
|
||||
vogueCmd.Flags().IntVarP(&maxShows, "max-shows", "s", 0, "单个品牌最多抓取的发布会场次(0=不限制,小批量试爬用)")
|
||||
|
||||
// 默认跳过已入库的秀(省带宽);确需刷新元数据时加 --force。
|
||||
vogueCmd.Flags().BoolVarP(&forceAll, "force", "f", false, "忽略「已入库」预检,强制重抓全部场次")
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user