zhangliang
42e9e11fbd
first commit
|
7 mesiacov pred | |
|---|---|---|
| application | 7 mesiacov pred | |
| configs | 7 mesiacov pred | |
| crawler_worker | 7 mesiacov pred | |
| pipelines | 7 mesiacov pred | |
| scheduler | 7 mesiacov pred | |
| utils | 7 mesiacov pred | |
| .gitignore | 7 mesiacov pred | |
| README.md | 7 mesiacov pred | |
| main.py | 7 mesiacov pred |
README.md
整体流程： MQ 消息推送 ↓ main.py 消费并生成线程 ↓ handle_message() → 解析消息体（platform + mode） ↓ 加载 user_list / rule_dict（数据库） ↓ 执行 UniversalCrawler.run() ↓
- 读取配置
- 请求视频接口
- 解析视频数据（字段映射）
- 构造 VideoItem
- 推送到 ETL MQ ↓ 全部成功 → ack 消息 失败 → 不 ack，MQ 自动重试