This website works better with JavaScript
首页
发现
帮助
登录
Server
/
crawler-twitter
关注
9
点赞
0
派生
0
文件
工单管理
0
合并请求
0
Wiki
暂无描述
9
提交历史
1
代码分支
0
版本发布
分支:
master
分支列表
标签列表
master
crawler-twit...
HTTP
SSH
ZIP
TAR.GZ
wangkun
4c7c64cc52
update
2 年之前
logs
7f4d4d2725
第一次提交
3 年之前
main
4c7c64cc52
update
2 年之前
.gitignore
91ab15fc75
push .gitignore
3 年之前
README.md
4c7c64cc52
update
2 年之前
__init__.py
7f4d4d2725
第一次提交
3 年之前
README.md
twitter爬虫
软件架构
python==3.10
loguru==0.6.0
python_dateutil==2.8.2
requests==2.27.1
urllib3==1.26.9
使用说明
必须要可以访问 twitter 的网络条件
执行入口 ./main/run.py
需求
2022/9/26
旧表数据迁移,抓取数据时,同时在两个表中,根据 uid 去重
2022/06/24
爬虫数据启用新文档:
https://w42nne6hzg.feishu.cn/base/bascnpAYvIA0B1hBtNJlriZceUV?table=tblqMbXrpqFbDLNE&view=vewsMtek0O
旧文档依然使用:
https://w42nne6hzg.feishu.cn/sheets/shtcn6BYfYuqegIP13ORB6rI2dh?sheet=db114c&table=tblEUZWvkiLPEmam&view=vew2a2J1NI
每个搜索词,搜索 20 条/页,共搜索 400 页
新文档插入数据后,自动按照 created_at 字段降序排列