zhangliang
42e9e11fbd
first commit
|
3 місяців тому | |
|---|---|---|
| application | 3 місяців тому | |
| configs | 3 місяців тому | |
| crawler_worker | 3 місяців тому | |
| pipelines | 3 місяців тому | |
| scheduler | 3 місяців тому | |
| utils | 3 місяців тому | |
| .gitignore | 3 місяців тому | |
| README.md | 3 місяців тому | |
| main.py | 3 місяців тому |
README.md
整体流程： MQ 消息推送 ↓ main.py 消费并生成线程 ↓ handle_message() → 解析消息体（platform + mode） ↓ 加载 user_list / rule_dict（数据库） ↓ 执行 UniversalCrawler.run() ↓
- 读取配置
- 请求视频接口
- 解析视频数据（字段映射）
- 构造 VideoItem
- 推送到 ETL MQ ↓ 全部成功 → ack 消息 失败 → 不 ack，MQ 自动重试