update

README.MD

@@ -6,19 +6,20 @@
 
 ```
 参数说明
-${crawler_dir}: 爬虫执行路径，如: ./youtube/youtube_main/run_youtube_follow.py
-${log_type}: 日志命名格式，如: follow，则在 youtube/logs/目录下，生成 2023-02-08-follow.log
-${crawler}: 哪款爬虫，如: youtube / kanyikan / weixinzhishu
-${strategy}: 爬虫策略，如: 定向爬虫策略 / 小时榜爬虫策略 / 热榜爬虫策略
-${oss_endpoint}: OSS网关，内网: inner / 外网: out
-${env}: 爬虫执行环境，正式环境: prod / 测试环境: dev
-${machine}: 爬虫运行机器，阿里云服务器: aliyun / macpro / macair / local
-${nohup_dir}: nohup日志存储路径，如: ./youtube/nohup.log
+${crawler_dir}:     爬虫执行路径，如: ./youtube/youtube_main/run_youtube_follow.py
+${log_type}:        日志命名格式，如: follow，则在 youtube/logs/目录下，生成 2023-02-08-follow.log
+${crawler}:         哪款爬虫，如: youtube / kanyikan / weixinzhishu
+${strategy}:        爬虫策略，如: 定向爬虫策略 / 小时榜爬虫策略 / 热榜爬虫策略
+${oss_endpoint}:    OSS网关，内网: inner / 外网: out / 香港: hk
+${env}:             爬虫运行环境，正式环境: prod / 测试环境: dev
+${machine}:         爬虫运行机器，阿里云服务器: aliyun / macpro / macair / local
+${nohup_dir}:       nohup日志存储路径，如: ./youtube/nohup.log
 ```
 
 ### 已上线爬虫运行命令示例
 ```
-youtube定向榜: 
-sh ./main/main.sh ./youtube/youtube_main/run_youtube_follow.py --log_type="follow" --crawler="youtube" --strategy="定向爬虫策略" --oss_endpoint="inner" --env="prod" --machine="aliyun" ./youtube/nohup.log
-
+youtube定向榜运行命令: 
+sh ./main/main.sh ./youtube/youtube_main/run_youtube_follow.py --log_type="follow" --crawler="youtube" --strategy="定向爬虫策略" --oss_endpoint="hk" --env="prod" --machine="aliyun" ./youtube/nohup.log
+youtube定向榜杀进程命令: 
+ps aux | grep run_youtube | grep Python | grep -v grep | awk '{print $2}' | xargs kill -9
 ```

common/publish.py

@@ -93,7 +93,7 @@ class Publish:
     def bucket(cls, oss_endpoint):
         """
         创建 bucket
-        :param oss_endpoint: inner:内网；out:外网
+        :param oss_endpoint: inner:内网；out:外网；hk:香港
         :return: bucket
         """
         # 以下代码展示了基本的文件上传、下载、罗列、删除用法。
@@ -114,6 +114,8 @@ class Publish:
         # OSS 外网
         elif oss_endpoint == 'out':
             endpoint = os.getenv('OSS_TEST_ENDPOINT', 'oss-cn-hangzhou.aliyuncs.com')
+        elif oss_endpoint == 'hk':
+            endpoint = os.getenv('OSS_TEST_ENDPOINT', 'oss-accelerate.aliyuncs.com')
         # 默认走外网
         else:
             endpoint = os.getenv('OSS_TEST_ENDPOINT', 'oss-cn-hangzhou.aliyuncs.com')

main/main.sh

@@ -5,14 +5,14 @@
 # sh ./main/main.sh ./youtube/youtube_main/run_youtube_follow.py --log_type="follow" --crawler="youtube" --strategy="定向爬虫策略" --oss_endpoint="out" --env="dev" --machine="local" youtube/nohup.log
 # ps aux | grep run_youtube | grep Python | grep -v grep | awk '{print $2}' | xargs kill -9
 
-crawler_dir=$1  # 爬虫Python脚本执行入口路径
-log_type=$2     # 日志
-crawler=$3      # 哪款爬虫
-strategy=$4     # 爬虫策略
-oss_endpoint=$5 # OSS 网关，脚本部署在阿里云服务器时填写 inner，其它填写 out
-env=$6          # 爬虫上传环境。正式环境填写 prod，测试环境填写 dev
-machine=$7      # 部署机器，阿里云填写 aliyun，线下分别填写 macpro，macair，local
-nohup_dir=$8    # nohup 日志路径
+crawler_dir=$1  # 爬虫执行路径，如: ./youtube/youtube_main/run_youtube_follow.py
+log_type=$2     # 日志命名格式，如: follow，则在 youtube/logs/目录下，生成 2023-02-08-follow.log
+crawler=$3      # 哪款爬虫，如: youtube / kanyikan / weixinzhishu
+strategy=$4     # 爬虫策略，如: 定向爬虫策略 / 小时榜爬虫策略 / 热榜爬虫策略
+oss_endpoint=$5 # OSS网关，内网: inner / 外网: out / 香港: hk
+env=$6          # 爬虫运行环境，正式环境: prod / 测试环境: dev
+machine=$7      # 爬虫运行机器，阿里云服务器: aliyun / macpro / macair / local
+nohup_dir=$8    # nohup日志存储路径，如: ./youtube/nohup.log
 
 echo "开始"