crawler_xiaoniangao/main/run_person.py

# -*- coding: utf-8 -*-
# @Author: wangkun
# @Time: 2022/5/18
import datetime
import os
import sys
import time

sys.path.append(os.getcwd())
from main.common import Common
from main.person_list import Person


def person_list_job():
    while True:
        Common.person_logger().info("开始抓取小年糕关注榜")
        # 关注用户列表
        Person.sub_persons()
        while True:
            # 任务结束时间:小于 2022年5月18日
            endtime = 1652803200000
            person_list_time = datetime.datetime.now()

            if Person.download_from_sub(endtime) >= endtime:
                Person.download_from_sub(endtime)
            elif person_list_time.hour == 23 and person_list_time.minute >= 50:
                Common.person_logger().info("结束今日抓取任务")
                Person.next_t = -1
                break
            else:
                Common.person_logger().info("发布时间大于2022年5月18日，结束抓取任务")
                time.sleep(3600)
                Person.next_t = -1
                break


if __name__ == "__main__":
    person_list_job()