update 西瓜获取作者方式从飞书改为mysql

xigua/xigua_follow/xigua_follow.py

@@ -24,10 +24,10 @@ from lxml import etree
 sys.path.append(os.getcwd())
 from common.db import MysqlHelper
 from common.getuser import getUser
-
 from common.common import Common
 from common.feishu import Feishu
 from common.publish import Publish
+from common.public import get_user_from_mysql
 
 
 class Follow:
@@ -997,11 +997,15 @@ class Follow:
     @classmethod
     def get_follow_videos(cls, log_type, crawler, strategy, oss_endpoint, env, machine):
         try:
-            user_list = cls.get_user_list(log_type=log_type, crawler=crawler, sheetid="5tlTYB", env=env, machine=machine)
+            # user_list = cls.get_user_list(log_type=log_type, crawler=crawler, sheetid="5tlTYB", env=env, machine=machine)
+            user_list = get_user_from_mysql(log_type, crawler, crawler, env, machine)
+
             for user in user_list:
-                out_uid = user["out_uid"]
-                user_name = user["user_name"]
-                our_uid = user["our_uid"]
+                spider_link = user["spider_link"]
+                out_uid = spider_link.split('/')[-1]
+                user_name = user["nick_name"]
+                our_uid = user["media_id"]
+
                 Common.logger(log_type, crawler).info(f"开始抓取 {user_name} 用户主页视频\n")
                 cls.get_videolist(log_type=log_type,
                                   crawler=crawler,

xigua/xigua_main/run_xigua_follow.py

@@ -25,13 +25,12 @@ def main(log_type, crawler, strategy, oss_endpoint, env, machine):
 
 if __name__ == "__main__":
     parser = argparse.ArgumentParser()  ## 新建参数解释器对象
-    parser.add_argument('--log_type', type=str)  ## 添加参数,注明参数类型
-    parser.add_argument('--crawler')  ## 添加参数
-    parser.add_argument('--strategy')  ## 添加参数
-    parser.add_argument('--our_uid')  ## 添加参数
-    parser.add_argument('--oss_endpoint')  ## 添加参数
-    parser.add_argument('--env')  ## 添加参数
-    parser.add_argument('--machine')  ## 添加参数
+    parser.add_argument('--log_type', default='follow', type=str)  ## 添加参数,注明参数类型
+    parser.add_argument('--crawler', default='xigua')  ## 添加参数
+    parser.add_argument('--strategy', default='定向抓取')  ## 添加参数
+    parser.add_argument('--oss_endpoint', default='inner')  ## 添加参数
+    parser.add_argument('--env', default='prod')  ## 添加参数
+    parser.add_argument('--machine', default='aliyun')  ## 添加参数
     args = parser.parse_args()  ### 参数赋值，也可以通过终端赋值
     # print(args)
     main(log_type=args.log_type,