|
il y a 3 mois | |
---|---|---|
application | il y a 3 mois | |
configs | il y a 3 mois | |
crawler_worker | il y a 3 mois | |
pipelines | il y a 3 mois | |
scheduler | il y a 3 mois | |
utils | il y a 3 mois | |
.gitignore | il y a 3 mois | |
README.md | il y a 3 mois | |
main.py | il y a 3 mois |
整体流程: MQ 消息推送 ↓ main.py 消费并生成线程 ↓ handle_message() → 解析消息体(platform + mode) ↓ 加载 user_list / rule_dict(数据库) ↓ 执行 UniversalCrawler.run() ↓