Merge branch 'test' of https://git.yishihui.com/algorithm/rov-offline into test

ad_threshold_update_task.sh

@@ -3,14 +3,14 @@ echo $ROV_OFFLINE_ENV
 if [[ $ROV_OFFLINE_ENV == 'test' ]]; then
     cd /data2/rov-offline &&
     /root/anaconda3/bin/python /data2/rov-offline/ad_users_data_update.py &&
-#    /root/anaconda3/bin/python /data2/rov-offline/ad_users_data_update_new.py &&
+    /root/anaconda3/bin/python /data2/rov-offline/ad_users_data_update_new.py &&
     /root/anaconda3/bin/python /data2/rov-offline/ad_user_data_with_out_update.py &&
     /root/anaconda3/bin/python /data2/rov-offline/ad_video_data_update.py &&
     /root/anaconda3/bin/python /data2/rov-offline/ad_user_video_predict.py
 elif [[ $ROV_OFFLINE_ENV == 'pro' ]]; then
     cd /data/rov-offline &&
     /root/anaconda3/bin/python /data/rov-offline/ad_users_data_update.py &&
-#    /root/anaconda3/bin/python /data/rov-offline/ad_users_data_update_new.py &&
+    /root/anaconda3/bin/python /data/rov-offline/ad_users_data_update_new.py &&
     /root/anaconda3/bin/python /data/rov-offline/ad_user_data_with_out_update.py &&
     /root/anaconda3/bin/python /data/rov-offline/ad_video_data_update.py &&
     /root/anaconda3/bin/python /data/rov-offline/ad_user_video_predict.py

config.py

@@ -1099,13 +1099,18 @@ class BaseConfig(object):
         '173-p': {'share': {'video': {'data': 'videos0'}, 'user': {'data': 'user0', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos0out'}, 'user': {'data': 'user0out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '173-q': {'share': {'video': {'data': 'videos0'}, 'user': {'data': 'user0', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos0out'}, 'user': {'data': 'user0out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
                   'threshold_mix_func': 'multiply',
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案二(乘积融合: p(不直接跳出|出广告) * p(分享|出广告))
+        '173-r': {'share': {'video': {'data': 'videos0new'}, 'user': {'data': 'user0new', 'rule': 'rule2'}},
+                  'out': {'video': {'data': 'videos0out'}, 'user': {'data': 'user0out', 'rule': 'rule2'}},
+                  'care_model': True, 'threshold_rate': 0.7,
+                  'threshold_mix_func': 'multiply',
+                  },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案三(乘积融合: p(不直接跳出|出广告) * p(分享|出广告), 标准贝叶斯公式)
 
         # 票圈视频+
         # '190-a': {'video': {'data': 'data1'},
@@ -1133,7 +1138,7 @@ class BaseConfig(object):
         '190-i': {'share': {'video': {'data': 'videos21'}, 'user': {'data': 'user21', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos21out'}, 'user': {'data': 'user21out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '190-j': {'share': {'video': {'data': 'videos21'}, 'user': {'data': 'user21', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos21out'}, 'user': {'data': 'user21out', 'rule': 'rule2'}},
@@ -1173,13 +1178,18 @@ class BaseConfig(object):
         '194-k': {'share': {'video': {'data': 'videos4'}, 'user': {'data': 'user4', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos4out'}, 'user': {'data': 'user4out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '194-l': {'share': {'video': {'data': 'videos4'}, 'user': {'data': 'user4', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos4out'}, 'user': {'data': 'user4out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
                   'threshold_mix_func': 'multiply',
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案二(乘积融合: p(不直接跳出|出广告) * p(分享|出广告))
+        '194-m': {'share': {'video': {'data': 'videos4new'}, 'user': {'data': 'user4new', 'rule': 'rule2'}},
+                  'out': {'video': {'data': 'videos4out'}, 'user': {'data': 'user4out', 'rule': 'rule2'}},
+                  'care_model': True, 'threshold_rate': 0.7,
+                  'threshold_mix_func': 'multiply',
+                  },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案三(乘积融合: p(不直接跳出 | 出广告) * p(分享 | 出广告), 标准贝叶斯公式)
 
         # 内容精选
         # '195-a': {'video': {'data': 'data1'},
@@ -1211,13 +1221,18 @@ class BaseConfig(object):
         '195-j': {'share': {'video': {'data': 'videos5'}, 'user': {'data': 'user5', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos5out'}, 'user': {'data': 'user5out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '195-k': {'share': {'video': {'data': 'videos5'}, 'user': {'data': 'user5', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos5out'}, 'user': {'data': 'user5out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
                   'threshold_mix_func': 'multiply',
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案二(乘积融合: p(不直接跳出|出广告) * p(分享|出广告))
+        '195-l': {'share': {'video': {'data': 'videos5new'}, 'user': {'data': 'user5new', 'rule': 'rule2'}},
+                  'out': {'video': {'data': 'videos5out'}, 'user': {'data': 'user5out', 'rule': 'rule2'}},
+                  'care_model': True, 'threshold_rate': 0.7,
+                  'threshold_mix_func': 'multiply',
+                  },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案三(乘积融合: p(不直接跳出|出广告) * p(分享|出广告), 标准贝叶斯公式)
 
         # 票圈短视频
         # '196-a': {'video': {'data': 'data1'},
@@ -1245,7 +1260,7 @@ class BaseConfig(object):
         '196-i': {'share': {'video': {'data': 'videos6'}, 'user': {'data': 'user6', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos6out'}, 'user': {'data': 'user6out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '196-j': {'share': {'video': {'data': 'videos6'}, 'user': {'data': 'user6', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos6out'}, 'user': {'data': 'user6out', 'rule': 'rule2'}},
@@ -1279,7 +1294,7 @@ class BaseConfig(object):
         '197-i': {'share': {'video': {'data': 'videos18'}, 'user': {'data': 'user18', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos18out'}, 'user': {'data': 'user18out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '197-j': {'share': {'video': {'data': 'videos18'}, 'user': {'data': 'user18', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos18out'}, 'user': {'data': 'user18out', 'rule': 'rule2'}},
@@ -1313,7 +1328,7 @@ class BaseConfig(object):
         '198-i': {'share': {'video': {'data': 'videos19'}, 'user': {'data': 'user19', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos19out'}, 'user': {'data': 'user19out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '198-j': {'share': {'video': {'data': 'videos19'}, 'user': {'data': 'user19', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos19out'}, 'user': {'data': 'user19out', 'rule': 'rule2'}},
@@ -1343,7 +1358,7 @@ class BaseConfig(object):
         '242-g': {'share': {'video': {'data': 'videos22'}, 'user': {'data': 'user22', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos22out'}, 'user': {'data': 'user22out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '242-h': {'share': {'video': {'data': 'videos22'}, 'user': {'data': 'user22', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos22out'}, 'user': {'data': 'user22out', 'rule': 'rule2'}},
@@ -1373,7 +1388,7 @@ class BaseConfig(object):
         '243-g': {'share': {'video': {'data': 'videos3'}, 'user': {'data': 'user3', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos3out'}, 'user': {'data': 'user3out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # 所有广告类型本端视频数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '243-h': {'share': {'video': {'data': 'videos3'}, 'user': {'data': 'user3', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos3out'}, 'user': {'data': 'user3out', 'rule': 'rule2'}},
@@ -1397,7 +1412,7 @@ class BaseConfig(object):
         '324-d': {'share': {'video': {'data': 'videos0'}, 'user': {'data': 'user0', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos0out'}, 'user': {'data': 'user0out', 'rule': 'rule2'}},
                   'care_model': True, 'threshold_rate': 0.7,
-                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.3, 'out_weight': 0.7}
+                  'threshold_mix_func': 'add', 'mix_param': {'share_weight': 0.2, 'out_weight': 0.8}
                   },  # vlog端所有广告类型数据 + 优化阈值计算方式 + else非关怀模式人群多出广告 + 分享与不直接跳出融合方案一(加权融合: k1*p(不直接跳出|出广告) + k2*p(分享|出广告))
         '324-e': {'share': {'video': {'data': 'videos0'}, 'user': {'data': 'user0', 'rule': 'rule2'}},
                   'out': {'video': {'data': 'videos0out'}, 'user': {'data': 'user0out', 'rule': 'rule2'}},