update backend
This commit is contained in:
@ -4,9 +4,9 @@ package model
|
||||
//
|
||||
// 设计:爬虫 POST 到 :8092 的 ingest 接口(HMAC 验签后)只做「入队 + 立即 202」,
|
||||
// 真正的去重 / 补分类 / 下载图 / 写正式表 由后台 worker 异步处理,
|
||||
// 因此接口本身很薄、不会被慢任务(尤其是 OSS 上传)拖垮。
|
||||
// 因此接口本身很薄、不会被慢任务(尤其是 S4 上传)拖垮。
|
||||
//
|
||||
// 并发安全靠 MySQL 的 `SELECT ... FOR UPDATE SKIP LOCKED`:多个 worker 同时
|
||||
// 并发安全靠 PostgreSQL 的 `SELECT ... FOR UPDATE SKIP LOCKED`:多个 worker 同时
|
||||
// Claim 不会抢到同一条,未提交的行对其它 worker 不可见。
|
||||
type IngestJob struct {
|
||||
ID uint32 `gorm:"primaryKey;column:id" json:"id"`
|
||||
@ -32,10 +32,10 @@ const (
|
||||
IngestStatusFailed = "failed"
|
||||
)
|
||||
|
||||
// IngestJob 任务类型(kind 列):区分「爬虫入库」与「清理七牛孤儿图」两条管线。
|
||||
// IngestJob 任务类型(kind 列):区分「爬虫入库」与「清理S4孤儿图」两条管线。
|
||||
const (
|
||||
IngestKindCrawl = "crawl" // 爬虫上报的走秀/街拍入库
|
||||
IngestKindMediaCleanup = "media_cleanup" // 删除图集时异步清理七牛孤儿文件
|
||||
IngestKindMediaCleanup = "media_cleanup" // 删除图集时异步清理S4孤儿文件
|
||||
)
|
||||
|
||||
// IngestMaxAttempts 单条任务最大处理次数(含首次)。达上限仍未成功则置 failed,需后台手动重试。
|
||||
|
||||
Reference in New Issue
Block a user