|
|
@@ -1,165 +0,0 @@
|
|
|
-# 连续处理模式使用说明
|
|
|
-
|
|
|
-## 概述
|
|
|
-
|
|
|
-连续处理模式是一个自动化执行流程，能够连续处理数据库中的记录，一条完成后自动处理下一条，直到所有记录处理完成或达到限制条件。
|
|
|
-
|
|
|
-## 功能特点
|
|
|
-
|
|
|
-✅ **自动化处理**：无需人工干预，自动连续处理数据库记录
|
|
|
-✅ **智能停止**：连续失败3次后自动停止，避免无限循环
|
|
|
-✅ **进度监控**：实时显示处理进度、成功率和统计信息
|
|
|
-✅ **灵活配置**：可设置最大处理数量和间隔时间
|
|
|
-✅ **用户控制**：支持 Ctrl+C 随时中断处理
|
|
|
-✅ **错误处理**：完善的异常处理和错误恢复机制
|
|
|
-
|
|
|
-## 使用方法
|
|
|
-
|
|
|
-### 1. 命令行启动
|
|
|
-
|
|
|
-```bash
|
|
|
-# 基本连续处理（无数量限制）
|
|
|
-python3 indentify.py --continuous
|
|
|
-
|
|
|
-# 设置最大处理数量
|
|
|
-python3 indentify.py --continuous --max-records 100
|
|
|
-
|
|
|
-# 设置处理间隔时间（秒）
|
|
|
-python3 indentify.py --continuous --delay 5
|
|
|
-
|
|
|
-# 组合使用
|
|
|
-python3 indentify.py --continuous --max-records 50 --delay 3
|
|
|
-```
|
|
|
-
|
|
|
-### 2. 启动脚本
|
|
|
-
|
|
|
-```bash
|
|
|
-# 运行启动脚本
|
|
|
-./run.sh
|
|
|
-
|
|
|
-# 选择选项 3（连续处理模式）
|
|
|
-# 然后根据需要设置参数
|
|
|
-```
|
|
|
-
|
|
|
-### 3. 参数说明
|
|
|
-
|
|
|
-| 参数 | 说明 | 默认值 |
|
|
|
-|------|------|--------|
|
|
|
-| `--continuous` | 启用连续处理模式 | - |
|
|
|
-| `--max-records` | 最大处理记录数量 | 无限制 |
|
|
|
-| `--delay` | 处理间隔时间（秒） | 2秒 |
|
|
|
-
|
|
|
-## 工作流程
|
|
|
-
|
|
|
-1. **启动检查**：检查数据库连接和待处理记录
|
|
|
-2. **循环处理**：逐条处理数据库记录
|
|
|
-3. **状态更新**：更新记录的处理状态
|
|
|
-4. **进度监控**：显示处理进度和统计信息
|
|
|
-5. **智能停止**：达到条件后自动停止
|
|
|
-
|
|
|
-## 处理逻辑
|
|
|
-
|
|
|
-### 成功处理
|
|
|
-- 记录处理成功后，状态更新为完成
|
|
|
-- 重置连续失败计数
|
|
|
-- 继续处理下一条记录
|
|
|
-
|
|
|
-### 失败处理
|
|
|
-- 记录处理失败时，增加连续失败计数
|
|
|
-- 连续失败3次后自动停止
|
|
|
-- 显示详细的错误信息
|
|
|
-
|
|
|
-### 自动停止条件
|
|
|
-- 所有记录处理完成
|
|
|
-- 达到最大处理数量限制
|
|
|
-- 连续失败3次
|
|
|
-- 用户手动中断（Ctrl+C）
|
|
|
-
|
|
|
-## 监控信息
|
|
|
-
|
|
|
-### 实时显示
|
|
|
-- 当前处理的记录信息
|
|
|
-- 处理时间和状态
|
|
|
-- 成功/失败统计
|
|
|
-- 剩余待处理记录数量
|
|
|
-
|
|
|
-### 最终统计
|
|
|
-- 总处理数量
|
|
|
-- 成功数量
|
|
|
-- 失败数量
|
|
|
-- 成功率百分比
|
|
|
-
|
|
|
-## 配置建议
|
|
|
-
|
|
|
-### 处理间隔时间
|
|
|
-- **快速处理**：1-2秒（适合测试环境）
|
|
|
-- **正常处理**：2-5秒（适合生产环境）
|
|
|
-- **保守处理**：5-10秒（避免API限制）
|
|
|
-
|
|
|
-### 最大处理数量
|
|
|
-- **测试环境**：10-50条
|
|
|
-- **生产环境**：100-500条
|
|
|
-- **无限制**：适合批量处理任务
|
|
|
-
|
|
|
-## 注意事项
|
|
|
-
|
|
|
-⚠️ **API限制**：注意第三方API的调用频率限制
|
|
|
-⚠️ **资源消耗**：长时间运行会消耗系统资源
|
|
|
-⚠️ **数据库连接**：确保数据库连接稳定
|
|
|
-⚠️ **错误处理**：关注失败记录的原因分析
|
|
|
-
|
|
|
-## 故障排除
|
|
|
-
|
|
|
-### 常见问题
|
|
|
-
|
|
|
-1. **连续失败过多**
|
|
|
- - 检查数据库连接
|
|
|
- - 验证API配置
|
|
|
- - 查看错误日志
|
|
|
-
|
|
|
-2. **处理速度过慢**
|
|
|
- - 调整处理间隔时间
|
|
|
- - 检查网络延迟
|
|
|
- - 优化处理逻辑
|
|
|
-
|
|
|
-3. **内存占用过高**
|
|
|
- - 减少最大处理数量
|
|
|
- - 增加处理间隔时间
|
|
|
- - 检查内存泄漏
|
|
|
-
|
|
|
-### 日志分析
|
|
|
-
|
|
|
-系统会输出详细的处理日志，包括：
|
|
|
-- 每条记录的处理状态
|
|
|
-- 错误信息和异常堆栈
|
|
|
-- 性能统计和资源使用情况
|
|
|
-
|
|
|
-## 示例输出
|
|
|
-
|
|
|
-```
|
|
|
-启动连续处理模式...
|
|
|
-系统将自动处理数据库中的记录，一条完成后自动处理下一条
|
|
|
-处理间隔: 2 秒
|
|
|
-无数量限制，将处理所有可用记录
|
|
|
-按 Ctrl+C 可以随时停止处理
|
|
|
-------------------------------------------------------------
|
|
|
-
|
|
|
---- 处理第 1 条记录 ---
|
|
|
-时间: 2024-01-15 14:30:25
|
|
|
-开始处理记录 ID: 123, 内容ID: content_456
|
|
|
- 频道: xiaohongshu
|
|
|
- 标题: 小红书内容识别测试...
|
|
|
- 内容: 这是一个测试内容...
|
|
|
-开始内容识别处理...
|
|
|
-✅ 记录处理成功 (成功: 1, 失败: 0)
|
|
|
-剩余待处理记录: 45 条
|
|
|
-等待 2 秒后处理下一条记录...
|
|
|
-
|
|
|
---- 处理第 2 条记录 ---
|
|
|
-时间: 2024-01-15 14:30:30
|
|
|
-...
|
|
|
-```
|
|
|
-
|
|
|
-## 总结
|
|
|
-
|
|
|
-连续处理模式是一个强大的自动化工具，能够高效地处理大量数据库记录。通过合理的配置和监控，可以实现稳定、高效的批量处理流程。
|
