This commit is contained in:
toom1996
2026-09-13 00:52:09 +08:00
parent ad83d3d463
commit d8f667e391
11 changed files with 225 additions and 393 deletions

View File

@ -1,12 +1,14 @@
# 爬虫框架通用配置
app:
max_co: 3 # 默认最大并发协程数
debug: true # 默认为 true(开发调试),生产环境中设为 false
debug: false # 开发调试仅打印控制台;入库设为 false
# MySQL 数据库及连接池配置
database:
dsn: "root:123456@tcp(127.0.0.1:3306)/database?charset=utf8mb4&parseTime=True&loc=Local"
max_open_conns: 50 # 连接池最大打开连接数
max_idle_conns: 10 # 连接池最大空闲连接数
conn_max_lifetime: 30 # 连接可复用的最长时间(分钟)
conn_max_idle_time: 10 # 连接空闲最大存活时间(分钟)
# 入库管线:爬虫 → 后台 ingest 接口(HMAC 签名),替代直写 brand_runway
# enabled: true 时,vogue 走秀改为签名 POST 上送元数据,由后台 worker 异步下载入库。
# spider 不再直连数据库:品牌任务经 GET /admin/internal/crawl/brands 拉取。
# secret / hashid_secret 必须与后台 INGEST_SECRET / HASHID_SECRET 完全一致。
ingest:
enabled: true
endpoint: "http://localhost:8092/admin/internal/ingest"
secret: "dev-ingest-secret-2026"
hashid_secret: ""