wangkun
4c7c64cc52
update
|
%!s(int64=3) %!d(string=hai) anos | |
|---|---|---|
| logs | %!s(int64=3) %!d(string=hai) anos | |
| main | %!s(int64=3) %!d(string=hai) anos | |
| .gitignore | %!s(int64=3) %!d(string=hai) anos | |
| README.md | %!s(int64=3) %!d(string=hai) anos | |
| __init__.py | %!s(int64=3) %!d(string=hai) anos |
README.md
twitter爬虫
软件架构
- python==3.10
- loguru==0.6.0
- python_dateutil==2.8.2
- requests==2.27.1
- urllib3==1.26.9
使用说明
- 必须要可以访问 twitter 的网络条件
- 执行入口 ./main/run.py
需求
2022/9/26
- 旧表数据迁移，抓取数据时，同时在两个表中，根据 uid 去重
2022/06/24
- 爬虫数据启用新文档:https://w42nne6hzg.feishu.cn/base/bascnpAYvIA0B1hBtNJlriZceUV?table=tblqMbXrpqFbDLNE&view=vewsMtek0O
- 旧文档依然使用:https://w42nne6hzg.feishu.cn/sheets/shtcn6BYfYuqegIP13ORB6rI2dh?sheet=db114c&table=tblEUZWvkiLPEmam&view=vew2a2J1NI
- 每个搜索词，搜索 20 条/页，共搜索 400 页
- 新文档插入数据后，自动按照 created_at 字段降序排列