票圈爬虫平台

3 Rilis

wangkun a654a13503 first push		2 tahun lalu
common	a654a13503 first push	2 tahun lalu
kanyikan	a654a13503 first push	2 tahun lalu
main	a654a13503 first push	2 tahun lalu
weixinzhishu	a654a13503 first push	2 tahun lalu
youtube	a654a13503 first push	2 tahun lalu
.DS_Store	a654a13503 first push	2 tahun lalu
.gitignore	a654a13503 first push	2 tahun lalu
README.MD	a654a13503 first push	2 tahun lalu
requirements.txt	a654a13503 first push	2 tahun lalu

爬虫平台

启动

cd ./piaoquan_crawler

sh ./main/main.sh ${crawler_dir} ${log_type} ${crawler} ${strategy} ${oss_endpoint} ${env} ${machine} ${nohup_dir}

参数说明
${crawler_dir}: 爬虫执行路径，如: ./youtube/youtube_main/run_youtube_follow.py
${log_type}: 日志命名格式，如: follow，则在 youtube/logs/目录下，生成 2023-02-08-follow.log
${crawler}: 哪款爬虫，如: youtube / kanyikan / weixinzhishu
${strategy}: 爬虫策略，如: 定向爬虫策略 / 小时榜爬虫策略 / 热榜爬虫策略
${oss_endpoint}: OSS网关，内网: inner / 外网: out
${env}: 爬虫执行环境，正式环境: prod / 测试环境: dev
${machine}: 爬虫运行机器，阿里云服务器: aliyun / macpro / macair / local
${nohup_dir}: nohup日志存储路径，如: ./youtube/nohup.log

已上线爬虫运行命令示例

youtube定向榜: 
sh ./main/main.sh ./youtube/youtube_main/run_youtube_follow.py --log_type="follow" --crawler="youtube" --strategy="定向爬虫策略" --oss_endpoint="inner" --env="prod" --machine="aliyun" ./youtube/nohup.log

README.MD

爬虫平台

启动

已上线爬虫运行命令示例