# Use LightGBM To assess the quality of each video

## 1. 获取数据
        从大数据表直接读取数据， 数据分为小时级数据和天级数据
#####  1.1 小时级数据
        从 odps 读取，考虑到读取速度慢，属于IO 密集型任务，采用多线程方法读取数据。
    每一个小时的数据作为一个文件，如：hour_2024032501.json, 表示3 月 25 日凌晨 1 点进入的新视频数据。
    数据存储在 data/temp_data中。
##### 1.2 天级别数据
        从 odps 读取，天级别数据读取相对较快，采用直接读取的方法。
    数据存储在 data/train_data中。
##### 1.3 两批数据的关系
    小时级数据包含不同的 features 和唯一id video_id
    天级数据包含不同的值，本次训练采用 total_return作为训练数据的 label。
    要注意的是：天级数据为 json 格式，其结构为
        {
        "datetime": {
                        "video_id": {} # 该视频的return 信息
                    }
        }
    后续会通过把小时级数据的 video_id，去天级数据中寻找 4 天后的回流信息，作为训练和预测数据的 label
##### 1.4  用法
    首先需要激活虚拟环境
    source /root/anaconda3/bin/activate
    conda activate lightGBM
    cd /root/luojunhui/alg
    python3 read_data_from_odps.py
    之后要要求手动输入两个值，
    输入 1 表示获取小时级数据，范围为 yyyymmddhh - yyyymmddhh, 数据存储在 data/temp_data， 文件格式为  hour_yyyymmddhh.json
    输入 2 表示获取天级数据，范围为  yyyymmdd - yyyymmdd, 数据存储在 data/train_data, 文件格式为：daily-label-yyyymmdd-yyyymmdd.json

## 2. 预处理数据
##### 2.1 处理小时级 temp_data
    python3 p_data_process.py
    输入 1 生成训练数据，存储在文件夹 data/train_data中，格式为  train_{}_{}.json
    输入 2 生成预测数据，存储在文件夹 data/pred_data中，格式为  pred_{}_{}.json
    输入开始日期字符串： yyyymmddhh
    输入结束日期字符串： yyyymmddhh
    区间类型，左闭右边闭
##### 2.2  处理训练数据，把数据处理成模型需要的格式
    python3 process_data.py
    要注意！！！！ 该 python脚本部分地方需要改代码，后面会优化
    DataProcessor类在初始化的时候接受两个参数
    flag 和  c
    flag：  通过 1， 2 控制，输入 1， flag = "train" 表示生成训练数据， 输入 2， flag="predict", 生成预测数据。
    c： 目前写死在代码中， 若不传参数，默认为 useful， 表示所有的 features
        传参为 spider，表示获取 spider 的 features
        传参为 user，表示获取 userupload 的 features
    当要生成训练数据时，DataProcessor 类的 produce 方法会接受一个参数dt
    dt = "whole"表示用所有的数据来生成训练集， 格式为
    dt = "16" 表示使用 20240316 当天的数据作为预测数据
    数据格式为 "data/produce_data/y_data_{}_{}_{}_{}.json".format("total_return", self.flag, dt, self.c)
    
## 3. 模型训练
##### 3.1  训练数据
    python3 main.py
    输入 1 表示训练，输入 2 表示预测
    训练会把模型生成，并且保存在本地, 如light_tag.bin
    预测会读取本地模型，然后用预测数据来做预测，输入 dt=16， 表示拿 20240316 的数据来做预测
## 4. 模型评估
##### 4.1  评估方式
    预测数据会得到一个 score list， 其值范围为[0, 1]
    需要做一个二进制处理，对 score_list 从小到大排序，取排序位置为 70%的数值，小于该数值的为 0， 大于等于该值的为 1
    预测会打印并且存储一个 summary 文件，格式为 summary_dt.txt,文件会存 3 列东西，分别是：
    real_label  pred_label  score，用 "\t"分割， "\n"换行
    计算评估 
        accuracy : real_label == pred_label的数量 / 预测样本总量
        召回率值： real_label == pred_label == 1 的数量 / real_label的数量
        准确率值： real_label == pred_label == 1 的数量 / pred_label的数量
        AUC: cat summary.txt | awk -F "\t" '{print $1" "$3}'| /root/AUC/AUC/AUC

## 5. 参数优化
    采用贝叶斯调优， 在 main.py中把
    # study = optuna.create_study(direction='maximize')
    # study.optimize(L.bays_params, n_trials=100)
    # print('Number of finished trials:', len(study.trials))
    # print('Best trial:', study.best_trial.params)
    # L.train_model()
    # L.evaluate_model()
    # L.feature_importance()
    这段代码取消注释，再把
    i = int(input("输入 1 训练， 输入 2 预测:\n"))
    if i == 1:
        f = "train"
        dt = "whole"
        L = LightGBM(flag=f, dt=dt)
        L.train_model()
    elif i == 2:
        f = "predict"
        dt = int(input("输入日期， 16-21:\n"))
        L = LightGBM(flag=f, dt=dt)
        L.evaluate_model()
    这段代码注释掉，执行 python3 main.py即可，会跑出accuracy 值最高的参数组合
## 6. 分析结果
    计算评估 
        accuracy : real_label == pred_label的数量 / 预测样本总量
        召回率值： real_label == pred_label == 1 的数量 / real_label的数量
        准确率值： real_label == pred_label == 1 的数量 / pred_label的数量
        AUC: cat summary.txt | awk -F "\t" '{print $1" "$3}'| /root/AUC/AUC/AUC