This website works better with JavaScript
Accueil
Explorer
Aide
Connexion
Server
/
crawler-twitter
Suivre
9
Voter
0
Fork
0
Fichiers
Tickets
0
Pull Requests
0
Wiki
Aucune description
9
Commits
1
Branches
0
Publications
Aborescence:
4c7c64cc52
Branches
Tags
master
crawler-twit...
HTTP
SSH
ZIP
TAR.GZ
wangkun
4c7c64cc52
update
il y a 2 ans
logs
7f4d4d2725
第一次提交
il y a 3 ans
main
4c7c64cc52
update
il y a 2 ans
.gitignore
91ab15fc75
push .gitignore
il y a 3 ans
README.md
4c7c64cc52
update
il y a 2 ans
__init__.py
7f4d4d2725
第一次提交
il y a 3 ans
README.md
twitter爬虫
软件架构
python==3.10
loguru==0.6.0
python_dateutil==2.8.2
requests==2.27.1
urllib3==1.26.9
使用说明
必须要可以访问 twitter 的网络条件
执行入口 ./main/run.py
需求
2022/9/26
旧表数据迁移,抓取数据时,同时在两个表中,根据 uid 去重
2022/06/24
爬虫数据启用新文档:
https://w42nne6hzg.feishu.cn/base/bascnpAYvIA0B1hBtNJlriZceUV?table=tblqMbXrpqFbDLNE&view=vewsMtek0O
旧文档依然使用:
https://w42nne6hzg.feishu.cn/sheets/shtcn6BYfYuqegIP13ORB6rI2dh?sheet=db114c&table=tblEUZWvkiLPEmam&view=vew2a2J1NI
每个搜索词,搜索 20 条/页,共搜索 400 页
新文档插入数据后,自动按照 created_at 字段降序排列