zhangliang
42e9e11fbd
first commit
|
há 5 meses atrás | |
|---|---|---|
| application | há 5 meses atrás | |
| configs | há 5 meses atrás | |
| crawler_worker | há 5 meses atrás | |
| pipelines | há 5 meses atrás | |
| scheduler | há 5 meses atrás | |
| utils | há 5 meses atrás | |
| .gitignore | há 5 meses atrás | |
| README.md | há 5 meses atrás | |
| main.py | há 5 meses atrás |
README.md
整体流程： MQ 消息推送 ↓ main.py 消费并生成线程 ↓ handle_message() → 解析消息体（platform + mode） ↓ 加载 user_list / rule_dict（数据库） ↓ 执行 UniversalCrawler.run() ↓
- 读取配置
- 请求视频接口
- 解析视频数据（字段映射）
- 构造 VideoItem
- 推送到 ETL MQ ↓ 全部成功 → ack 消息 失败 → 不 ack，MQ 自动重试