run_kuaishou_follow.py 1.8 KB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647
  1. # -*- coding: utf-8 -*-
  2. # @Author: wangkun
  3. # @Time: 2023/2/27
  4. import argparse
  5. import os
  6. import sys
  7. # import time
  8. sys.path.append(os.getcwd())
  9. from common.common import Common
  10. # from common.feishu import Feishu
  11. from kuaishou.kuaishou_follow.kuaishou_follow import Follow
  12. def main(log_type, crawler, strategy, oss_endpoint, env, machine):
  13. try:
  14. Common.logger(log_type, crawler).info('开始抓取 快手 定向榜\n')
  15. Follow.get_follow_videos(log_type=log_type,
  16. crawler=crawler,
  17. strategy=strategy,
  18. oss_endpoint=oss_endpoint,
  19. env=env,
  20. machine=machine)
  21. Common.del_logs(log_type, crawler)
  22. Common.logger(log_type, crawler).info('抓取完一轮\n')
  23. except Exception as e:
  24. Common.logger(log_type, crawler).info(f"快手定向榜异常,触发报警:{e}\n")
  25. # Feishu.bot(log_type, crawler, f"快手定向榜异常,触发报警:{e}")
  26. if __name__ == "__main__":
  27. parser = argparse.ArgumentParser() ## 新建参数解释器对象
  28. parser.add_argument('--log_type', type=str) ## 添加参数,注明参数类型
  29. parser.add_argument('--crawler') ## 添加参数
  30. parser.add_argument('--strategy') ## 添加参数
  31. parser.add_argument('--our_uid') ## 添加参数
  32. parser.add_argument('--oss_endpoint') ## 添加参数
  33. parser.add_argument('--env') ## 添加参数
  34. parser.add_argument('--machine') ## 添加参数
  35. args = parser.parse_args() ### 参数赋值,也可以通过终端赋值
  36. # print(args)
  37. main(log_type=args.log_type,
  38. crawler=args.crawler,
  39. strategy=args.strategy,
  40. oss_endpoint=args.oss_endpoint,
  41. env=args.env,
  42. machine=args.machine)