update & add filter

config.py

@@ -470,42 +470,42 @@ class BaseConfig(object):
         },
         'data_params': DATA_PARAMS,
         'params_list': [
-            {'data': 'data1', 'rule': 'rule4'},  # 095 vlog
-            {'data': 'data1', 'rule': 'rule4-1'},  # 095-1
-            # {'data': 'data1', 'rule': 'rule4-2'},  # 262 特殊地域屏蔽危险视频
-            # {'data': 'data2', 'rule': 'rule4'},
-            {'data': 'data2', 'rule': 'rule7-1'},  # 121 内容精选
-            # {'data': 'data3', 'rule': 'rule7'},
-            # {'data': 'data4', 'rule': 'rule7'},
-            # {'data': 'data6', 'rule': 'rule7'},
-            {'data': 'data7', 'rule': 'rule8'},  # 票圈视频APP 10003.110156
-            # {'data': 'data1', 'rule': 'rule9'},
-            # {'data': 'data1', 'rule': 'rule10'},
-            # {'data': 'data1', 'rule': 'rule11'},
-            # {'data': 'data8', 'rule': 'rule7'},
-            # {'data': 'data9', 'rule': 'rule7'},
-            {'data': 'data10', 'rule': 'rule7'},  # 144 票圈视频
-            # {'data': 'data11', 'rule': 'rule7'},
-            # {'data': 'data12', 'rule': 'rule7'},
-            # {'data': 'data13', 'rule': 'rule7'},
-            # {'data': 'data1', 'rule': 'rule12'},
-            # {'data': 'data14', 'rule': 'rule7'},  # 159
-            # {'data': 'data1', 'rule': 'rule13'},  # 161
-            # {'data': 'data1', 'rule': 'rule14'},  # 162
-            # {'data': 'data1', 'rule': 'rule15'},  # 200 vlog
-            # {'data': 'data1', 'rule': 'rule16'},  # 214 vlog
-            # {'data': 'data1', 'rule': 'rule17'},  # 215 vlog
-            # {'data': 'data1', 'rule': 'rule18'},  # 224 vlog
-            {'data': 'videos5', 'rule': 'rule7-1'},  # 428 [内容精选]
-            # {'data': 'data1', 'rule': 'rule20'},  # 461 vlog 分值计算公式 增加h-2分享当前小时回流数据、h-3分享当前小时回流数据特征
-            # {'data': 'data1', 'rule': 'rule21'},  # 462 vlog 分值计算公式 增加[h-3,h-2]之间的回流留存特征
-            {'data': 'data1', 'rule': 'rule22'},  # 463 vlog 分值计算公式 增加h-2分享当前小时回流/h-2分享、h-3分享当前小时回流/h-3分享 特征
-            # {'data': 'data1', 'rule': 'rule23'},  # 465 vlog 回流数据使用 分享限制地域，回流不限制地域 统计数据
-            # {'data': 'data1', 'rule': 'rule24'},  # 466 vlog 分值计算公式 增加[h-3,h-2]之间的回流留存特征 + 回流数据使用 分享限制地域，回流不限制地域 统计数据
-            # {'data': 'data10', 'rule': 'rule25'},  # 500
-            # {'data': 'data10', 'rule': 'rule26'},  # 501
-            {'data': 'data10', 'rule': 'rule27'},  # 502
-            {'data': 'data10', 'rule': 'rule28'},  # 503
+            # {'data': 'data1', 'rule': 'rule4'},  # 095 vlog
+            # {'data': 'data1', 'rule': 'rule4-1'},  # 095-1
+            # # {'data': 'data1', 'rule': 'rule4-2'},  # 262 特殊地域屏蔽危险视频
+            # # {'data': 'data2', 'rule': 'rule4'},
+            # {'data': 'data2', 'rule': 'rule7-1'},  # 121 内容精选
+            # # {'data': 'data3', 'rule': 'rule7'},
+            # # {'data': 'data4', 'rule': 'rule7'},
+            # # {'data': 'data6', 'rule': 'rule7'},
+            # {'data': 'data7', 'rule': 'rule8'},  # 票圈视频APP 10003.110156
+            # # {'data': 'data1', 'rule': 'rule9'},
+            # # {'data': 'data1', 'rule': 'rule10'},
+            # # {'data': 'data1', 'rule': 'rule11'},
+            # # {'data': 'data8', 'rule': 'rule7'},
+            # # {'data': 'data9', 'rule': 'rule7'},
+            # {'data': 'data10', 'rule': 'rule7'},  # 144 票圈视频
+            # # {'data': 'data11', 'rule': 'rule7'},
+            # # {'data': 'data12', 'rule': 'rule7'},
+            # # {'data': 'data13', 'rule': 'rule7'},
+            # # {'data': 'data1', 'rule': 'rule12'},
+            # # {'data': 'data14', 'rule': 'rule7'},  # 159
+            # # {'data': 'data1', 'rule': 'rule13'},  # 161
+            # # {'data': 'data1', 'rule': 'rule14'},  # 162
+            # # {'data': 'data1', 'rule': 'rule15'},  # 200 vlog
+            # # {'data': 'data1', 'rule': 'rule16'},  # 214 vlog
+            # # {'data': 'data1', 'rule': 'rule17'},  # 215 vlog
+            # # {'data': 'data1', 'rule': 'rule18'},  # 224 vlog
+            # {'data': 'videos5', 'rule': 'rule7-1'},  # 428 [内容精选]
+            # # {'data': 'data1', 'rule': 'rule20'},  # 461 vlog 分值计算公式 增加h-2分享当前小时回流数据、h-3分享当前小时回流数据特征
+            # # {'data': 'data1', 'rule': 'rule21'},  # 462 vlog 分值计算公式 增加[h-3,h-2]之间的回流留存特征
+            # {'data': 'data1', 'rule': 'rule22'},  # 463 vlog 分值计算公式 增加h-2分享当前小时回流/h-2分享、h-3分享当前小时回流/h-3分享 特征
+            # # {'data': 'data1', 'rule': 'rule23'},  # 465 vlog 回流数据使用 分享限制地域，回流不限制地域 统计数据
+            # # {'data': 'data1', 'rule': 'rule24'},  # 466 vlog 分值计算公式 增加[h-3,h-2]之间的回流留存特征 + 回流数据使用 分享限制地域，回流不限制地域 统计数据
+            # # {'data': 'data10', 'rule': 'rule25'},  # 500
+            # # {'data': 'data10', 'rule': 'rule26'},  # 501
+            # {'data': 'data10', 'rule': 'rule27'},  # 502
+            # {'data': 'data10', 'rule': 'rule28'},  # 503
             {'data': 'data10', 'rule': 'rule30'},  # 503
         ],
         'params_list_new': [

rule_rank_h_new.py

@@ -194,8 +194,7 @@ def video_rank_h(df, now_date, now_h, rule_key, param, data_key):
     if data_key in ['data7', ]:
         filtered_videos = filter_video_status_app(h_recall_videos)
     else:
-        # filtered_videos = filter_video_status(h_recall_videos)
-        filtered_videos = h_recall_videos
+        filtered_videos = filter_video_status(h_recall_videos)
     log_.info('filtered_videos count = {}'.format(len(filtered_videos)))
 
     # 写入对应的redis
@@ -280,7 +279,7 @@ def h_timer_check():
         elif now_min > 40:
             log_.info('h_recall data is None, use bottom data!')
             h_rank_bottom(now_date=now_date, now_h=now_h, rule_params=rule_params)
-            log_.info(f"24h_data end!")
+            log_.info(f"h_data end!")
         else:
             # 数据没准备好，1分钟后重新检查
             Timer(60, h_timer_check).start()

videos_filter.py

@@ -791,6 +791,7 @@ def filter_process_with_region(data_key, rule_key, region, now_date, now_h):
     # 需过滤视频列表
     key_prefix_list = [
         config_.RECALL_KEY_NAME_PREFIX_REGION_BY_H,
+        config_.RECALL_KEY_NAME_PREFIX_DUP_H_H,
         config_.RECALL_KEY_NAME_PREFIX_DUP1_REGION_24H_H,
         # config_.RECALL_KEY_NAME_PREFIX_DUP1_REGION_DAY_H,
         # config_.RECALL_KEY_NAME_PREFIX_DUP2_REGION_DAY_H,