3fe0b86e11
- media: spider 下载图片后按内容 sha1 生成 key，经后端预签名直传 S4，上报只带 key （spider 不持有 AK/SK；单张失败自动回退为上报 URL） - embed: 新增 embed 子命令，从后端领取缺向量的图片→下载→本地 CLIP 编码→回传 （媒体拆分后后端拿不到图片字节，向量只能靠回填补齐） - serve: 服务化常驻模式（领取 crawl 任务 → 抓取 → 回报） - config: 新增 media.upload/concurrency、vision.endpoint/concurrency
25 lines
1.2 KiB
YAML
25 lines
1.2 KiB
YAML
# 爬虫框架通用配置
|
||
app:
|
||
max_co: 3 # 默认最大并发协程数
|
||
debug: false # 开发调试仅打印控制台；入库设为 false
|
||
|
||
# 入库管线：爬虫 → 后台 ingest 接口（HMAC 签名），替代直写 brand_runway
|
||
# enabled: true 时，vogue 走秀改为签名 POST 上送元数据，由后台 worker 异步下载入库。
|
||
# spider 不再直连数据库：品牌任务经 GET /admin/internal/crawl/brands 拉取。
|
||
# secret / hashid_secret 必须与后台 INGEST_SECRET / HASHID_SECRET 完全一致。
|
||
ingest:
|
||
enabled: true
|
||
endpoint: "http://localhost:8092/admin/internal/ingest"
|
||
secret: "dev-ingest-secret-2026"
|
||
hashid_secret: ""
|
||
|
||
# 媒体机直传：spider 自己下载图片并直传对象存储，后端只写库（不再下载/上传）。
|
||
# 打开后数据库里存的仍是 key，展示链路完全不变；关闭则回退到「后端下载」的旧行为。
|
||
media:
|
||
upload: true # 需要后端已配置 S4，否则 /upload-url 返回 503（会自动回退）
|
||
concurrency: 6 # 下载/上传并发
|
||
|
||
# 向量回填（spider embed）：跑在有 GPU 的机器上，把缺向量的图补上。
|
||
vision:
|
||
endpoint: "http://127.0.0.1:8900"
|
||
concurrency: 4 # 下载并发 |