feat: 抓取任务队列 + 媒体机直传 + 向量回填

crawl(品牌抓取任务队列)
- /admin/internal/crawl/tasks 领取 / :id/result 回报,spider 可常驻拉任务
- 后台品牌列表支持「加入抓取队列」,队列页可看状态与重试
- 租约超时的 running 自动回收为 queued,避免 worker 崩溃后任务卡死

media(媒体机直传)
- ingest 载荷新增 main_key/detail_keys/main_size/detail_sizes:
  有 key 就直接落库,跳过下载与上传;与 URL 形态可逐图混用
- 细节图按 Details/DetailKeys 两者较长者遍历(只给 key 时不再丢图)
- 媒体机上传的 key 不进失败回滚清单(内容寻址、可能与他人共享)
- /admin/internal/upload-url 签发 S4 PUT 预签名(spider 不持有 AK/SK)

embeddings(向量回填)
- GET /admin/internal/embeddings/pending 派发缺向量的图(含可直接下载的 url)
- POST /admin/internal/embeddings 回写向量并重算近邻;失败项计入
  image_embedding_failures,连续失败到上限后退出队列(坏图不占位)
- 近邻重算改为异步串行:同步会让 100 张的批次 POST 超时(实测 >60s)
- 新增 key 分支单测:混用 key/url、细节图只给 key、字节数、回滚清单、向量占位
This commit is contained in:
toom1996
2026-10-25 00:37:13 +08:00
parent e18c5a0815
commit 151e09ab30
22 changed files with 1535 additions and 28 deletions

View File

@ -0,0 +1,83 @@
package service
import (
"context"
"testing"
"fashionapi/internal/dto"
)
// TestFetchLookImagesUsesProvidedKeys 验证「媒体机直传」分支:
// payload 里带 main_key / detail_keys 时,worker 不应下载、不应上传,
// 而是直接把 key 当作要落库的存储地址,且 cover 取首张主图。
//
// 这条路径是媒体拆分的核心保证:一旦这里退化成下载 URL,
// 后端又会重新背上带宽瓶颈,而错误会非常隐蔽(只是变慢,不报错)。
func TestFetchLookImagesUsesProvidedKeys(t *testing.T) {
s := &IngestService{} // 不装配 uploader/vision:走 key 分支时它们都不该被用到
looks := []dto.RunwayLook{
{
MainKey: "runway/aaaa.jpg",
MainSize: 100,
DetailKeys: []string{"runway/bbbb.jpg"},
DetailSizes: []int64{200},
},
{
// 第二张混用旧形态:没有 key,带 URL(这里只验主图,不触发网络)
MainKey: "runway/cccc.jpg",
MainSize: 300,
},
}
cover, rows, vecs, keys, failed, _ := s.fetchLookImages(context.Background(), looks, "runway")
if failed {
t.Fatal("key 分支不应被判定为失败")
}
if cover != "runway/aaaa.jpg" {
t.Fatalf("cover 应取首张主图 key,实际 %q", cover)
}
if len(rows) != 3 {
t.Fatalf("应落 3 行(2 主图 + 1 细节图),实际 %d", len(rows))
}
if rows[0].Image != "runway/aaaa.jpg" || rows[0].IsDetail != 0 {
t.Fatalf("第 1 行应为 aaaa 主图,实际 %+v", rows[0])
}
if rows[1].Image != "runway/bbbb.jpg" || rows[1].IsDetail != 1 {
t.Fatalf("第 2 行应为 bbbb 细节图,实际 %+v", rows[1])
}
if rows[1].ImageSize != 200 || rows[0].ImageSize != 100 {
t.Fatalf("字节数应来自 payload,实际 %d / %d", rows[0].ImageSize, rows[1].ImageSize)
}
// 媒体机上传的 key 不进回滚清单(内容寻址、可能与他人共享)
if len(keys) != 0 {
t.Fatalf("key 分支不应产生回滚清单,实际 %v", keys)
}
if len(vecs) != len(rows) {
t.Fatalf("vecs 应与 rows 对齐,实际 %d vs %d", len(vecs), len(rows))
}
for i, v := range vecs {
if v != nil {
t.Fatalf("第 %d 张不应带向量(向量由 CLIP 回填),实际 %v", i, v)
}
}
if got := countMainImages(rows); got != 2 {
t.Fatalf("主图数应为 2,实际 %d", got)
}
}
// TestSha1FromKey 锁住「从内容寻址 key 反推 sha1」的行为:批次内去重依赖它,
// 若解析退化(例如带上目录前缀),同一张图会被重复落库。
func TestSha1FromKey(t *testing.T) {
cases := map[string]string{
"runway/4080435af23d8f80bbbcf9e6f55a5f1d00c49685.jpg": "4080435af23d8f80bbbcf9e6f55a5f1d00c49685",
"street/abc123.png": "abc123",
"plain-key": "plain-key",
}
for in, want := range cases {
if got := sha1FromKey(in); got != want {
t.Fatalf("sha1FromKey(%q) = %q,期望 %q", in, got, want)
}
}
}