|
@@ -88,13 +88,29 @@ config pydantic-settings 配置管理(环境变量驱
|
|
|
|
|
|
|
|
## XXL-JOB 任务
|
|
## XXL-JOB 任务
|
|
|
|
|
|
|
|
-| 处理器 | 阶段 | 说明 | 建议超时 |
|
|
|
|
|
|
|
+执行器统一为 `long-articles-agentic-src`,参数格式 `key=value`。
|
|
|
|
|
+
|
|
|
|
|
+### 供给管道
|
|
|
|
|
+
|
|
|
|
|
+| 处理器 | 阶段 | 参数 | 说明 | 建议超时 |
|
|
|
|
|
+|---|---|---|---|---|
|
|
|
|
|
+| `demandEnqueue` | 入队 | `dt=20260706 limit=500` | ODPS 拉取 → 解构 → MySQL 入队 | ≥300s |
|
|
|
|
|
+| `articleSearch` | Phase 1 | `dt=20260706 limit=500` | 队列取词 → 微信搜索 → relation(写入 title_md5) | ≥1800s |
|
|
|
|
|
+| `articleQualityTitle` | 质量 | `limit=100` | relation 取标题 → 5 并发 LLM 评分 → 回写 quality_score | ≥600s |
|
|
|
|
|
+| `articleFetchDetail` | Phase 2 | `limit=100` | relation(status=0, score≥40) → 详情 API → detail | ≥600s |
|
|
|
|
|
+| `accountFetch` | Phase 3 | `limit=100` | relation(biz, score≥40) → 账号 API → accounts | ≥600s |
|
|
|
|
|
+| `accountArticleFetch` | Phase 4 | `limit=10` | accounts 取 gh_id → 文章列表 → articles(深翻/增量) | ≥1800s |
|
|
|
|
|
+| `accountArticleUpdate` | Phase 5 | `limit=10` | 已完成深翻账号 → 第一页 → UPDATE 文章指标 | ≥600s |
|
|
|
|
|
+
|
|
|
|
|
+### 质量评估
|
|
|
|
|
+
|
|
|
|
|
+| 处理器 | 参数 | 说明 | 建议超时 |
|
|
|
|---|---|---|---|
|
|
|---|---|---|---|
|
|
|
-| `demandEnqueue` | Phase 1 | ODPS 拉取 → 解构 → MySQL 入队 | ≥300s |
|
|
|
|
|
-| `articleSearch` | Phase 1 | 队列取词 → 微信搜索 → relation | ≥1800s |
|
|
|
|
|
-| `articleFetchDetail` | Phase 2 | relation 取待拉 → 微信详情 → detail | ≥600s |
|
|
|
|
|
-| `accountFetch` | Phase 3 | relation 提 biz → 账号 API → accounts | — |
|
|
|
|
|
-| `accountArticleFetch` | Phase 4 | accounts 取 gh_id → 文章列表 → articles | ≥1800s |
|
|
|
|
|
|
|
+| `articleQualityQuantify` | `limit=500` | 按已深翻账号校验 detail → 入库 quantile → 量化计算(阅读比/点赞率) | ≥300s |
|
|
|
|
|
+| `articleQualityTitle` | `limit=100` | relation → title 种子同步 → 5 并发 LLM → 回写 quality_score | ≥600s |
|
|
|
|
|
+| `articleQualityCategory` | `limit=100` | relation → category 种子同步 → 5 并发 LLM → 品类识别 | ≥600s |
|
|
|
|
|
+
|
|
|
|
|
+> **调度顺序**:`articleQualityTitle` 在 `articleSearch` 之后、`articleFetchDetail` 之前执行,详情和账号拉取按 `quality_score DESC` 优先级排序,低于 40 分自动跳过。
|
|
|
|
|
|
|
|
## 核心设计模式
|
|
## 核心设计模式
|
|
|
|
|
|