zhangliang/AutoScraperX @ 42e9e11fbda95750cf128b66ca7caca0cfa958be

Nav apraksta

2 Atzari

zhangliang 42e9e11fbd first commit		5 mēneši atpakaļ
application	42e9e11fbd first commit	5 mēneši atpakaļ
configs	42e9e11fbd first commit	5 mēneši atpakaļ
crawler_worker	42e9e11fbd first commit	5 mēneši atpakaļ
pipelines	42e9e11fbd first commit	5 mēneši atpakaļ
scheduler	42e9e11fbd first commit	5 mēneši atpakaļ
utils	42e9e11fbd first commit	5 mēneši atpakaļ
.gitignore	42e9e11fbd first commit	5 mēneši atpakaļ
README.md	42e9e11fbd first commit	5 mēneši atpakaļ
main.py	42e9e11fbd first commit	5 mēneši atpakaļ

整体流程： MQ 消息推送 ↓ main.py 消费并生成线程 ↓ handle_message() → 解析消息体（platform + mode） ↓ 加载 user_list / rule_dict（数据库） ↓ 执行 UniversalCrawler.run() ↓