zhangliang
42e9e11fbd
first commit
|
hace 5 meses | |
|---|---|---|
| application | hace 5 meses | |
| configs | hace 5 meses | |
| crawler_worker | hace 5 meses | |
| pipelines | hace 5 meses | |
| scheduler | hace 5 meses | |
| utils | hace 5 meses | |
| .gitignore | hace 5 meses | |
| README.md | hace 5 meses | |
| main.py | hace 5 meses |
README.md
整体流程： MQ 消息推送 ↓ main.py 消费并生成线程 ↓ handle_message() → 解析消息体（platform + mode） ↓ 加载 user_list / rule_dict（数据库） ↓ 执行 UniversalCrawler.run() ↓
- 读取配置
- 请求视频接口
- 解析视频数据（字段映射）
- 构造 VideoItem
- 推送到 ETL MQ ↓ 全部成功 → ack 消息 失败 → 不 ack，MQ 自动重试