Przeglądaj źródła

外部文章质量判断

luojunhui 6 dni temu
rodzic
commit
db9513dab6
1 zmienionych plików z 22 dodań i 6 usunięć
  1. 22 6
      README.md

+ 22 - 6
README.md

@@ -88,13 +88,29 @@ config     pydantic-settings                     配置管理(环境变量驱
 
 ## XXL-JOB 任务
 
-| 处理器 | 阶段 | 说明 | 建议超时 |
+执行器统一为 `long-articles-agentic-src`,参数格式 `key=value`。
+
+### 供给管道
+
+| 处理器 | 阶段 | 参数 | 说明 | 建议超时 |
+|---|---|---|---|---|
+| `demandEnqueue` | 入队 | `dt=20260706 limit=500` | ODPS 拉取 → 解构 → MySQL 入队 | ≥300s |
+| `articleSearch` | Phase 1 | `dt=20260706 limit=500` | 队列取词 → 微信搜索 → relation(写入 title_md5) | ≥1800s |
+| `articleQualityTitle` | 质量 | `limit=100` | relation 取标题 → 5 并发 LLM 评分 → 回写 quality_score | ≥600s |
+| `articleFetchDetail` | Phase 2 | `limit=100` | relation(status=0, score≥40) → 详情 API → detail | ≥600s |
+| `accountFetch` | Phase 3 | `limit=100` | relation(biz, score≥40) → 账号 API → accounts | ≥600s |
+| `accountArticleFetch` | Phase 4 | `limit=10` | accounts 取 gh_id → 文章列表 → articles(深翻/增量) | ≥1800s |
+| `accountArticleUpdate` | Phase 5 | `limit=10` | 已完成深翻账号 → 第一页 → UPDATE 文章指标 | ≥600s |
+
+### 质量评估
+
+| 处理器 | 参数 | 说明 | 建议超时 |
 |---|---|---|---|
-| `demandEnqueue` | Phase 1 | ODPS 拉取 → 解构 → MySQL 入队 | ≥300s |
-| `articleSearch` | Phase 1 | 队列取词 → 微信搜索 → relation | ≥1800s |
-| `articleFetchDetail` | Phase 2 | relation 取待拉 → 微信详情 → detail | ≥600s |
-| `accountFetch` | Phase 3 | relation 提 biz → 账号 API → accounts | — |
-| `accountArticleFetch` | Phase 4 | accounts 取 gh_id → 文章列表 → articles | ≥1800s |
+| `articleQualityQuantify` | `limit=500` | 按已深翻账号校验 detail → 入库 quantile → 量化计算(阅读比/点赞率) | ≥300s |
+| `articleQualityTitle` | `limit=100` | relation → title 种子同步 → 5 并发 LLM → 回写 quality_score | ≥600s |
+| `articleQualityCategory` | `limit=100` | relation → category 种子同步 → 5 并发 LLM → 品类识别 | ≥600s |
+
+> **调度顺序**:`articleQualityTitle` 在 `articleSearch` 之后、`articleFetchDetail` 之前执行,详情和账号拉取按 `quality_score DESC` 优先级排序,低于 40 分自动跳过。
 
 ## 核心设计模式