# -*- coding: utf-8 -*- # @Author: wangkun # @Time: 2023/2/3 import argparse import os import sys import time sys.path.append(os.getcwd()) from common.common import Common from youtube.youtube_follow.youtube_follow_api import YoutubeFollow def main(log_type, crawler, strategy, oss_endpoint, env, machine): while True: Common.logger(log_type, crawler).info('开始抓取youtube定向榜\n') YoutubeFollow.get_follow_videos(log_type, crawler, strategy, oss_endpoint, env, machine) Common.del_logs(log_type, crawler) Common.logger(log_type, crawler).info('抓取完一轮,休眠 1 分钟\n') time.sleep(60) if __name__ == "__main__": parser = argparse.ArgumentParser() ## 新建参数解释器对象 parser.add_argument('--log_type', default='follow') ## 添加参数,注明参数类型 parser.add_argument('--crawler',default='youtube') ## 添加参数 parser.add_argument('--strategy',default='youtube定向') ## 添加参数 parser.add_argument('--oss_endpoint',default='outer') ## 添加参数 parser.add_argument('--env',default='hk') ## 添加参数 parser.add_argument('--machine',default='aliyun_hk') ## 添加参数 args = parser.parse_args() ### 参数赋值,也可以通过终端赋值 # print(args) main(log_type=args.log_type, crawler=args.crawler, strategy=args.strategy, oss_endpoint=args.oss_endpoint, env=args.env, machine=args.machine)