feat: 媒体机直传 + 向量回填
- media: spider 下载图片后按内容 sha1 生成 key,经后端预签名直传 S4,上报只带 key (spider 不持有 AK/SK;单张失败自动回退为上报 URL) - embed: 新增 embed 子命令,从后端领取缺向量的图片→下载→本地 CLIP 编码→回传 (媒体拆分后后端拿不到图片字节,向量只能靠回填补齐) - serve: 服务化常驻模式(领取 crawl 任务 → 抓取 → 回报) - config: 新增 media.upload/concurrency、vision.endpoint/concurrency
This commit is contained in:
13
config.yml
13
config.yml
@ -11,4 +11,15 @@ ingest:
|
||||
enabled: true
|
||||
endpoint: "http://localhost:8092/admin/internal/ingest"
|
||||
secret: "dev-ingest-secret-2026"
|
||||
hashid_secret: ""
|
||||
hashid_secret: ""
|
||||
|
||||
# 媒体机直传:spider 自己下载图片并直传对象存储,后端只写库(不再下载/上传)。
|
||||
# 打开后数据库里存的仍是 key,展示链路完全不变;关闭则回退到「后端下载」的旧行为。
|
||||
media:
|
||||
upload: true # 需要后端已配置 S4,否则 /upload-url 返回 503(会自动回退)
|
||||
concurrency: 6 # 下载/上传并发
|
||||
|
||||
# 向量回填(spider embed):跑在有 GPU 的机器上,把缺向量的图补上。
|
||||
vision:
|
||||
endpoint: "http://127.0.0.1:8900"
|
||||
concurrency: 4 # 下载并发
|
||||
Reference in New Issue
Block a user