|
|
7fce365d75
|
feat: 上报抓取进度（后台显示 3/25 场 · 正在抓什么）
一次品牌抓取可能跑几十分钟，此前后台只有 running/done 两个状态，
看不到「在干什么」，也分不清「慢」和「卡死」。
- getDetail 进/出一场各打一次点（含 404 等失败场次，避免进度永远差几场）
- 总数在「预检过滤 + 场次上限」之后定格，与实际要抓的场次一致
- 只对 TaskID != 0（serve 模式）上报，单机 vogue 模式不上报
|
2026-10-25 20:33:45 +08:00 |
|
|
|
934a8961b0
|
fix: 抓取前预检已入库的秀，避免重复下载（重爬 62 分钟 0 新增）
问题：图片 key 是内容 sha1，不下载就无法判断是否已存在；
后端又没存 source_url，无法做 URL 级判重。
于是每次重爬都把几百张已下过的图再下一遍 —— 线上实测
Celine 跑了 62 分钟、约 600MB，入库 0 新增。
修复：
- 后端新增 GET /admin/internal/shows/covered?brand_uid=
按 (年份, 季节, 类型) 聚合已入库图片张数
- spider 抓取前预检，整场已入库（>=10 张）就跳过，一张图都不下载
- 加 --force 可强制重抓（默认跳过）
- 媒体直传并发改为全进程共享信号量：此前秀级 2 × 每场 6 = 12 路
同时打 Vogue，被限流后单张从 9.8s 掉到 ~90s
- 批次下载失败时打印第一条错误（此前只统计个数，查不出原因）
|
2026-10-25 20:07:54 +08:00 |
|
|
|
6a8b7f0704
|
perf: 修 spider 内存暴涨（整场图入内存 + 场次无限并发）
线上现象：spider 进程 RSS 1.3GB（33% 内存），单机 3.7G 只剩 141MB 可用，
服务器 1.5 小时内重启两次。
- media.UploadAll 改为按批（8 张）下载→上传→立即释放；
原来先把整场 97 张（约 116MB）全读进内存，多场并发时线性叠加
- SpiderStart 对同品牌场次加 2 路并发上限（原来对全部场次无上限 go 出去）
- systemd 单元加 GOMEMLIMIT=700MiB / MemoryHigh=800M / MemoryMax=1200M 硬护栏，
即使再退化也只 OOM 掉这一个进程，不会拖死整机
|
2026-10-25 18:01:46 +08:00 |
|
|
|
3fe0b86e11
|
feat: 媒体机直传 + 向量回填
- media: spider 下载图片后按内容 sha1 生成 key，经后端预签名直传 S4，上报只带 key
（spider 不持有 AK/SK；单张失败自动回退为上报 URL）
- embed: 新增 embed 子命令，从后端领取缺向量的图片→下载→本地 CLIP 编码→回传
（媒体拆分后后端拿不到图片字节，向量只能靠回填补齐）
- serve: 服务化常驻模式（领取 crawl 任务 → 抓取 → 回报）
- config: 新增 media.upload/concurrency、vision.endpoint/concurrency
|
2026-10-25 00:27:46 +08:00 |
|
|
|
6020426815
|
ci: 手动触发构建 workflow
|
2026-10-20 19:16:06 +08:00 |
|
|
|
d710720c6e
|
update
|
2026-09-28 10:54:33 +08:00 |
|
|
|
40eec4932e
|
update
|
2026-09-21 15:56:36 +08:00 |
|
|
|
2c4dd12820
|
Merge branch 'dev' of https://git.23cm.cn/toom1996/spider into dev
# Conflicts:
# internal/ingest/client.go
# internal/ingest/hashid.go
|
2026-09-20 00:47:24 +08:00 |
|
|
|
fde57984e7
|
update
|
2026-09-20 00:44:47 +08:00 |
|
|
|
a939848e84
|
update
|
2026-09-16 21:31:32 +08:00 |
|
|
|
d8f667e391
|
update
|
2026-09-13 00:52:09 +08:00 |
|
|
|
ad83d3d463
|
update
|
2026-08-25 16:25:28 +08:00 |
|
|
|
3afd10e049
|
update
|
2026-08-11 00:49:59 +08:00 |
|
|
|
cab1023ba1
|
update
|
2026-08-10 20:47:34 +08:00 |
|
|
|
4c71ffde21
|
first commit
|
2026-08-10 17:27:07 +08:00 |
|
