# 爬虫框架通用配置 app: max_co: 3 # 默认最大并发协程数 debug: false # 开发调试仅打印控制台;入库设为 false # 入库管线:爬虫 → 后台 ingest 接口(HMAC 签名),替代直写 brand_runway # enabled: true 时,vogue 走秀改为签名 POST 上送元数据,由后台 worker 异步下载入库。 # spider 不再直连数据库:品牌任务经 GET /admin/internal/crawl/brands 拉取。 # secret / hashid_secret 必须与后台 INGEST_SECRET / HASHID_SECRET 完全一致。 ingest: enabled: true endpoint: "http://localhost:8092/admin/internal/ingest" secret: "dev-ingest-secret-2026" hashid_secret: "" # 媒体机直传:spider 自己下载图片并直传对象存储,后端只写库(不再下载/上传)。 # 打开后数据库里存的仍是 key,展示链路完全不变;关闭则回退到「后端下载」的旧行为。 media: upload: true # 需要后端已配置 S4,否则 /upload-url 返回 503(会自动回退) concurrency: 6 # 下载/上传并发 # 向量回填(spider embed):跑在有 GPU 的机器上,把缺向量的图补上。 vision: endpoint: "http://127.0.0.1:8900" concurrency: 4 # 下载并发