e930ac41c8
一、后台只留一个「爬虫」页（/admin/spider） 抓取与入库本就是同一条流水线的上下游，分两页看谁都看不全。 新页三块：状态条（在线/卡住 + 队列数 + 待入库数）、正在抓（含进度与心跳）、 最近入库结果（品牌/场次/结果/说明）。只读，取消与重试一并下线。 二、抓取一律全量 删除品牌页的场次上限下拉与 hidden maxShows=3，入队固定 0（全量）。 crawl_tasks.max_shows 列保留，历史任务照常显示。 三、跳过判定改覆盖率 - brand_runways 增加 expected_images（spider 上报的应有张数） - /shows/covered 返回 images + expected - 实际张数 >= 应有 - 5 才跳过；expected=0 时回落 10 张阈值 - 实体已存在时不再直接跳过：按 key 比对把缺的图补进库（repaired） 否则「判定不完整→重爬→后端跳过」会形成死循环，带宽白花、缺图永远补不上 四、租约 900→300 秒，且心跳算存活 只看 locked_at 会把跑了几小时的全量抓取误判成卡死； 加上 progress_at 后，真卡住 5 分钟才回收。
75 lines
4.2 KiB
HTML
75 lines
4.2 KiB
HTML
{{define "title"}}品牌管理 · 管理后台{{end}}
|
|
{{define "barLabel"}}管理后台 · 品牌管理{{end}}
|
|
{{define "barRight"}}<a href="/admin/brands/new">+ 新建</a> · <a href="/admin/logout">退出</a>{{end}}
|
|
{{define "content"}}
|
|
{{template "bar" .}}
|
|
<div class="main">
|
|
<h1>品牌列表</h1>
|
|
<form class="toolbar" method="get" action="/admin/brands">
|
|
<input name="keyword" placeholder="搜索品牌名…" value="{{.Keyword}}">
|
|
{{if .All}}<input type="hidden" name="all" value="1">{{end}}
|
|
{{if .Sort}}<input type="hidden" name="sort" value="{{.Sort}}">{{end}}
|
|
<button type="submit">搜索</button>
|
|
{{if .Keyword}}<a href="/admin/brands{{if .All}}?all=1{{end}}">清除</a>{{end}}
|
|
<span class="spacer"></span>
|
|
{{if .All}}<a class="view" href="/admin/brands?keyword={{.Keyword}}">只看有图集的品牌</a>{{else}}<a class="view" href="/admin/brands?keyword={{.Keyword}}&all=1">显示全部品牌（含无图集）</a>{{end}}
|
|
</form>
|
|
|
|
<p class="muted">
|
|
默认只显示「已有图集」的品牌；品牌目录共 2 万余条，其余请用上面的搜索或开关查看。
|
|
排序：
|
|
{{if eq .Sort "updated"}}<strong>最近更新</strong>{{else}}<a href="/admin/brands?keyword={{.Keyword}}{{if .All}}&all=1{{end}}&sort=updated">最近更新</a>{{end}}
|
|
·
|
|
{{if eq .Sort "updated"}}<a href="/admin/brands?keyword={{.Keyword}}{{if .All}}&all=1{{end}}">按名字</a>{{else}}<strong>按名字</strong>{{end}}
|
|
</p>
|
|
|
|
{{if .Added}}<p class="muted">✅ 本次已加入抓取队列 <strong>{{.Added}}</strong> 个品牌（已在队列中的不会重复添加）。</p>{{end}}
|
|
|
|
<div class="idx">
|
|
<a href="/admin/brands?keyword={{.Keyword}}{{if .All}}&all=1{{end}}{{if .Sort}}&sort={{.Sort}}{{end}}" class="{{if eq .Letter ""}}on{{end}}">全部</a>
|
|
<a href="/admin/brands?letter=OTHER&keyword={{.Keyword}}{{if .All}}&all=1{{end}}{{if .Sort}}&sort={{.Sort}}{{end}}" class="{{if eq .Letter "OTHER"}}on{{end}}">中文</a>
|
|
{{range $l := .Letters}}<a href="/admin/brands?letter={{$l}}&keyword={{$.Keyword}}{{if $.All}}&all=1{{end}}{{if $.Sort}}&sort={{$.Sort}}{{end}}" class="{{if eq $l $.Letter}}on{{end}}">{{$l}}</a>{{end}}
|
|
</div>
|
|
|
|
{{/* 批量操作表单：勾选框用 form="bulk" 关联，避免与行内表单嵌套 */}}
|
|
<form id="bulk" method="post" action="/admin/spider/bulk"></form>
|
|
<div class="ops" style="margin:10px 0">
|
|
<button type="submit" form="bulk" class="op">把勾选的品牌加入抓取队列</button>
|
|
<span class="muted">
|
|
（勾选本页任意行，先点复选框列头可全选本页。抓取一律全量：
|
|
已抓全的场次会被自动跳过，不用担心重复下载。）
|
|
</span>
|
|
</div>
|
|
|
|
<table>
|
|
<thead><tr>
|
|
<th><input type="checkbox" title="全选本页" onclick="document.querySelectorAll('input[name=uid]').forEach(function(c){c.checked=this.checked}.bind(this))"></th>
|
|
<th>编码 ID</th><th>英文名</th><th>中文名</th><th>图集</th><th>图片</th><th>抓取状态</th><th>上次抓取</th><th>操作</th>
|
|
</tr></thead>
|
|
<tbody>
|
|
{{range .Items}}{{$cs := index $.CrawlStates .UID}}{{$st := index $.Stats .UID}}<tr>
|
|
<td><input type="checkbox" name="uid" value="{{.UID}}" form="bulk"></td>
|
|
<td><code>{{.UID}}</code></td>
|
|
<td>{{.NameEn}}</td>
|
|
<td>{{.NameCn}}</td>
|
|
<td>{{if $st}}{{$st.Runways}}{{else}}0{{end}}</td>
|
|
<td>{{if $st}}{{$st.Images}}{{else}}0{{end}}</td>
|
|
<td>{{if $cs}}<span class="badge {{$cs.Class}}">{{$cs.Label}}</span>{{else}}<span class="muted">—</span>{{end}}</td>
|
|
<td class="muted">{{if $cs}}{{$cs.LastAt}}{{else}}—{{end}}</td>
|
|
<td>
|
|
<a class="view" href="/admin/brands/{{.UID}}">编辑</a>
|
|
<form class="inline" method="post" action="/admin/spider/brands/{{.UID}}" onsubmit="return confirm('把「{{.NameEn}}」加入抓取队列？（全量，已抓全的场次自动跳过）')">
|
|
<input type="hidden" name="back" value="/admin/brands">
|
|
<button type="submit" class="op">加入队列</button>
|
|
</form>
|
|
<form class="inline" method="post" action="/admin/brands/{{.UID}}/delete" onsubmit="return confirm('确认删除品牌「{{.NameEn}}」？该品牌下若还有图集会拒绝删除。')">
|
|
<button type="submit" class="op op-warn">删除</button>
|
|
</form>
|
|
</td>
|
|
</tr>{{end}}
|
|
</tbody>
|
|
</table>
|
|
{{template "pager" .Pager}}
|
|
</div>
|
|
{{end}}
|