alg

Use LightGBM To assess the quality of each video

1. 获取数据

    从大数据表直接读取数据， 数据分为小时级数据和天级数据

1.1 小时级数据

    从 odps 读取，考虑到读取速度慢，属于IO 密集型任务，采用多线程方法读取数据。
每一个小时的数据作为一个文件，如：hour_2024032501.json, 表示3 月 25 日凌晨 1 点进入的新视频数据。
数据存储在 data/temp_data中。

1.2 天级别数据

    从 odps 读取，天级别数据读取相对较快，采用直接读取的方法。
数据存储在 data/train_data中。

1.3 两批数据的关系

小时级数据包含不同的 features 和唯一id video_id
天级数据包含不同的值，本次训练采用 total_return作为训练数据的 label。
要注意的是：天级数据为 json 格式，其结构为
    {
    "datetime": {
                    "video_id": {} # 该视频的return 信息
                }
    }
后续会通过把小时级数据的 video_id，去天级数据中寻找 4 天后的回流信息，作为训练和预测数据的 label

1.4 用法

首先需要激活虚拟环境
source /root/anaconda3/bin/activate
conda activate lightGBM
cd /root/luojunhui/alg
python3 read_data_from_odps.py
之后要要求手动输入两个值，
输入 1 表示获取小时级数据，范围为 yyyymmddhh - yyyymmddhh, 数据存储在 data/temp_data， 文件格式为  hour_yyyymmddhh.json
输入 2 表示获取天级数据，范围为  yyyymmdd - yyyymmdd, 数据存储在 data/train_data, 文件格式为：daily-label-yyyymmdd-yyyymmdd.json

2. 预处理数据

2.1 处理小时级 temp_data

python3 p_data_process.py
输入 1 生成训练数据，存储在文件夹 data/train_data中，格式为  train_{}_{}.json
输入 2 生成预测数据，存储在文件夹 data/pred_data中，格式为  pred_{}_{}.json
输入开始日期字符串： yyyymmddhh
输入结束日期字符串： yyyymmddhh
区间类型，左闭右边闭

2.2 处理训练数据，把数据处理成模型需要的格式

python3 process_data.py
要注意！！！！ 该 python脚本部分地方需要改代码，后面会优化
DataProcessor类在初始化的时候接受两个参数
flag 和  c
flag：  通过 1， 2 控制，输入 1， flag = "train" 表示生成训练数据， 输入 2， flag="predict", 生成预测数据。
c： 目前写死在代码中， 若不传参数，默认为 useful， 表示所有的 features
    传参为 spider，表示获取 spider 的 features
    传参为 user，表示获取 userupload 的 features
当要生成训练数据时，DataProcessor 类的 produce 方法会接受一个参数dt
dt = "whole"表示用所有的数据来生成训练集， 格式为
dt = "16" 表示使用 20240316 当天的数据作为预测数据
数据格式为 "data/produce_data/y_data_{}_{}_{}_{}.json".format("total_return", self.flag, dt, self.c)

3. 模型训练

3.1 训练数据

python3 main.py
输入 1 表示训练，输入 2 表示预测
训练会把模型生成，并且保存在本地, 如light_tag.bin
预测会读取本地模型，然后用预测数据来做预测，输入 dt=16， 表示拿 20240316 的数据来做预测

4. 模型评估

4.1 评估方式

预测数据会得到一个 score list， 其值范围为[0, 1]
需要做一个二进制处理，对 score_list 从小到大排序，取排序位置为 70%的数值，小于该数值的为 0， 大于等于该值的为 1
预测会打印并且存储一个 summary 文件，格式为 summary_dt.txt,文件会存 3 列东西，分别是：
real_label  pred_label  score，用 "\t"分割， "\n"换行
计算评估 
    accuracy : real_label == pred_label的数量 / 预测样本总量
    召回率值： real_label == pred_label == 1 的数量 / real_label的数量
    准确率值： real_label == pred_label == 1 的数量 / pred_label的数量
    AUC: cat summary.txt | awk -F "\t" '{print $1" "$3}'| /root/AUC/AUC/AUC

5. 参数优化

采用贝叶斯调优， 在 main.py中把
# study = optuna.create_study(direction='maximize')
# study.optimize(L.bays_params, n_trials=100)
# print('Number of finished trials:', len(study.trials))
# print('Best trial:', study.best_trial.params)
# L.train_model()
# L.evaluate_model()
# L.feature_importance()
这段代码取消注释，再把
i = int(input("输入 1 训练， 输入 2 预测:\n"))
if i == 1:
    f = "train"
    dt = "whole"
    L = LightGBM(flag=f, dt=dt)
    L.train_model()
elif i == 2:
    f = "predict"
    dt = int(input("输入日期， 16-21:\n"))
    L = LightGBM(flag=f, dt=dt)
    L.evaluate_model()
这段代码注释掉，执行 python3 main.py即可，会跑出accuracy 值最高的参数组合

6. 分析结果

计算评估 
    accuracy : real_label == pred_label的数量 / 预测样本总量
    召回率值： real_label == pred_label == 1 的数量 / real_label的数量
    准确率值： real_label == pred_label == 1 的数量 / pred_label的数量
    AUC: cat summary.txt | awk -F "\t" '{print $1" "$3}'| /root/AUC/AUC/AUC