spider

toom1996/spider

Fork 0

Commit Graph

Author	SHA1	Message	Date
toom1996	6a8b7f0704	perf: 修 spider 内存暴涨（整场图入内存 + 场次无限并发）线上现象：spider 进程 RSS 1.3GB（33% 内存），单机 3.7G 只剩 141MB 可用，服务器 1.5 小时内重启两次。 - media.UploadAll 改为按批（8 张）下载→上传→立即释放；原来先把整场 97 张（约 116MB）全读进内存，多场并发时线性叠加 - SpiderStart 对同品牌场次加 2 路并发上限（原来对全部场次无上限 go 出去） - systemd 单元加 GOMEMLIMIT=700MiB / MemoryHigh=800M / MemoryMax=1200M 硬护栏，即使再退化也只 OOM 掉这一个进程，不会拖死整机	2026-10-25 18:01:46 +08:00
toom1996	3fe0b86e11	feat: 媒体机直传 + 向量回填 - media: spider 下载图片后按内容 sha1 生成 key，经后端预签名直传 S4，上报只带 key （spider 不持有 AK/SK；单张失败自动回退为上报 URL） - embed: 新增 embed 子命令，从后端领取缺向量的图片→下载→本地 CLIP 编码→回传（媒体拆分后后端拿不到图片字节，向量只能靠回填补齐） - serve: 服务化常驻模式（领取 crawl 任务 → 抓取 → 回报） - config: 新增 media.upload/concurrency、vision.endpoint/concurrency	2026-10-25 00:27:46 +08:00

Author

SHA1

Message

Date

toom1996

6a8b7f0704

perf: 修 spider 内存暴涨（整场图入内存 + 场次无限并发）

线上现象：spider 进程 RSS 1.3GB（33% 内存），单机 3.7G 只剩 141MB 可用，
服务器 1.5 小时内重启两次。

- media.UploadAll 改为按批（8 张）下载→上传→立即释放；
  原来先把整场 97 张（约 116MB）全读进内存，多场并发时线性叠加
- SpiderStart 对同品牌场次加 2 路并发上限（原来对全部场次无上限 go 出去）
- systemd 单元加 GOMEMLIMIT=700MiB / MemoryHigh=800M / MemoryMax=1200M 硬护栏，
  即使再退化也只 OOM 掉这一个进程，不会拖死整机

2026-10-25 18:01:46 +08:00

toom1996

3fe0b86e11

feat: 媒体机直传 + 向量回填

- media: spider 下载图片后按内容 sha1 生成 key，经后端预签名直传 S4，上报只带 key
  （spider 不持有 AK/SK；单张失败自动回退为上报 URL）
- embed: 新增 embed 子命令，从后端领取缺向量的图片→下载→本地 CLIP 编码→回传
  （媒体拆分后后端拿不到图片字节，向量只能靠回填补齐）
- serve: 服务化常驻模式（领取 crawl 任务 → 抓取 → 回报）
- config: 新增 media.upload/concurrency、vision.endpoint/concurrency

2026-10-25 00:27:46 +08:00

2 Commits