feat: 媒体机直传 + 向量回填

- media: spider 下载图片后按内容 sha1 生成 key,经后端预签名直传 S4,上报只带 key
  (spider 不持有 AK/SK;单张失败自动回退为上报 URL)
- embed: 新增 embed 子命令,从后端领取缺向量的图片→下载→本地 CLIP 编码→回传
  (媒体拆分后后端拿不到图片字节,向量只能靠回填补齐)
- serve: 服务化常驻模式(领取 crawl 任务 → 抓取 → 回报)
- config: 新增 media.upload/concurrency、vision.endpoint/concurrency
This commit is contained in:
toom1996
2026-10-25 00:15:22 +08:00
parent 6020426815
commit 3fe0b86e11
11 changed files with 1305 additions and 2 deletions

View File

@ -11,4 +11,15 @@ ingest:
enabled: true
endpoint: "http://localhost:8092/admin/internal/ingest"
secret: "dev-ingest-secret-2026"
hashid_secret: ""
hashid_secret: ""
# 媒体机直传:spider 自己下载图片并直传对象存储,后端只写库(不再下载/上传)。
# 打开后数据库里存的仍是 key,展示链路完全不变;关闭则回退到「后端下载」的旧行为。
media:
upload: true # 需要后端已配置 S4,否则 /upload-url 返回 503(会自动回退)
concurrency: 6 # 下载/上传并发
# 向量回填(spider embed):跑在有 GPU 的机器上,把缺向量的图补上。
vision:
endpoint: "http://127.0.0.1:8900"
concurrency: 4 # 下载并发