remove unused recallsource

my_config.py

@@ -286,21 +286,12 @@ class BaseConfig(object):
     # 小时级更新过去24h数据规则参数
     RULE_PARAMS_24H_APP_TYPE = {
         'rule_params': {
-            'rule3': {'cal_score_func': 2, 'return_count': 100, 'platform_return_rate': 0.001,
-                      'view_type': 'preview'},
-            'rule4': {'cal_score_func': 2, 'return_count': 100, 'platform_return_rate': 0.001,
-                      'view_type': 'preview', 'merge_func': 2},
             'rule66': {'cal_score_func': 2, 'return_count': 100, 'platform_return_rate': 0.001,
                       'view_type': 'preview'},
         },
         'data_params': DATA_PARAMS,
         'params_list': [
-            {'data': 'data1', 'rule': 'rule3', 'notify_backend': True},
-            {'data': 'data2', 'rule': 'rule4'},
-            {'data': 'data7', 'rule': 'rule4'},
-            {'data': 'data10', 'rule': 'rule4'},
-            {'data': 'videos5', 'rule': 'rule4'},  # [内容精选]
-            {'data': 'data66', 'rule': 'rule66'},
+            {'data': 'data66', 'rule': 'rule66'}
         ]
     }
 
@@ -311,23 +302,12 @@ class BaseConfig(object):
     # 地域分组小时级更新24h规则参数
     RULE_PARAMS_REGION_24H_APP_TYPE = {
         'rule_params': {
-            'rule2': {'view_type': 'video-show', 'return_count': 21, 'score_rule': 0,
-                      'platform_return_rate': 0.001},
-            'rule4': {'view_type': 'video-show', 'return_count': 21, 'score_rule': 0,
-                      'platform_return_rate': 0.001, 'merge_func': 2},
-            'rule5': {'view_type': 'preview', 'return_count': 21, 'score_rule': 0,
-                      'platform_return_rate': 0.001, 'merge_func': 2},
             'rule66': {'view_type': 'video-show', 'return_count': 21, 'score_rule': 0,
-                      'platform_return_rate': 0.001},
+                      'platform_return_rate': 0.001}
         },
         'data_params': DATA_PARAMS,
         'params_list': [
-            {'data': 'data1', 'rule': 'rule2'},
-            {'data': 'data2', 'rule': 'rule4'},
-            {'data': 'data7', 'rule': 'rule5'},
-            {'data': 'data10', 'rule': 'rule4'},
-            {'data': 'videos5', 'rule': 'rule4'},  # [内容精选]
-            {'data': 'data66', 'rule': 'rule66'},
+            {'data': 'data66', 'rule': 'rule66'}
         ]
     }
 
@@ -352,121 +332,16 @@ class BaseConfig(object):
     # 地域分组小时级规则参数
     RULE_PARAMS_REGION_APP_TYPE = {
         'rule_params': {
-            'rule4': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                      'region_24h_rule_key': 'rule2', '24h_rule_key': 'rule3'},
-            # 涉政视频过滤
-            'rule4-1': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                        'region_24h_rule_key': 'rule2', '24h_rule_key': 'rule3', 'political_filter': True},
-            # 特殊地域屏蔽危险视频
-            'rule4-2': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                        'region_24h_rule_key': 'rule2', '24h_rule_key': 'rule3', 'shield_config': SHIELD_CONFIG2},
-
-            'rule7': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                      'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2},
-            # 'rule7-1': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-            #             'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2,
-            #             'political_filter': True},
-            'rule8': {'view_type': 'preview', 'platform_return_rate': 0.001,
-                      'region_24h_rule_key': 'rule5', '24h_rule_key': 'rule4', 'merge_func': 2},
-
-            # 地域小时级列表中增加 前6小时 地域小时级的优质视频
-            'rule15': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule2', '24h_rule_key': 'rule3',
-                       'add_videos_with_pre_h': True, 'hour_count': 6},
-            # 地域小时级列表中增加 前2小时 地域小时级的优质视频，排序优化1：半小时级列表中有的视频以本小时的分数为准
-            'rule16': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule2', '24h_rule_key': 'rule3',
-                       'add_videos_with_pre_h': True, 'hour_count': 2, 'add_func': 'func2'},
-            # 地域小时级列表中增加 前47小时 地域小时级的优质视频
-            'rule17': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule2', '24h_rule_key': 'rule3',
-                       'add_videos_with_pre_h': True, 'hour_count': 47},
-            # 地域小时级列表中增加 前3小时 地域小时级的优质视频，排序优化1：半小时级列表中有的视频以本小时的分数为准
-            'rule18': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule2', '24h_rule_key': 'rule3',
-                       'add_videos_with_pre_h': True, 'hour_count': 3, 'add_func': 'func2'},
-            # 其余表与地域小时级表，不做去重，召回在线去重
-            'rule19': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2, 'dup_remove': False},
-            # 分值计算公式2 增加h-2分享当前小时回流数据、h-3分享当前小时回流数据特征
-            # score = k2 * sharerate * (backrate * LOG(lastonehour_return+1) + backrate_2 * LOG(lasttwohour_return_now+1) + backrate_3 * LOG(lastthreehour_return_now+1))
-            'rule20': {'view_type': 'video-show-region', 'platform_return_rate': 0.001, 'region_24h_rule_key': 'rule2',
-                       '24h_rule_key': 'rule3', 'score_func': 'add_backrate*log(return+1)'},
-            # 分值计算公式3 增加[h-3,h-2]之间的回流留存特征
-            # score = k2 * sharerate * backrate * LOG(lastonehour_return+1) * 前两小时回流留存
-            'rule21': {'view_type': 'video-show-region', 'platform_return_rate': 0.001, 'region_24h_rule_key': 'rule2',
-                       '24h_rule_key': 'rule3', 'score_func': 'multiply_return_retention'},
-            # 分值计算公式4 增加h-2分享当前小时回流/h-2分享、h-3分享当前小时回流/h-3分享 特征
-            # score = k2 * sharerate * (backrate + backrate * backrate_2 * backrate_3) * LOG(lastonehour_return+1)
-            'rule22': {'view_type': 'video-show-region', 'platform_return_rate': 0.001, 'region_24h_rule_key': 'rule2',
-                       '24h_rule_key': 'rule3', 'score_func': 'update_backrate'},
-            # 回流数据使用 分享限制地域，回流不限制地域 统计数据
-            'rule23': {'view_type': 'video-show-region', 'platform_return_rate': 0.001, 'region_24h_rule_key': 'rule2',
-                       '24h_rule_key': 'rule3', 'return_data': 'share_region_return'},
-            # 分值计算公式3 增加[h-3,h-2]之间的回流留存特征 + 回流数据使用 分享限制地域，回流不限制地域 统计数据
-            # score = k2 * sharerate * backrate * LOG(lastonehour_return_new+1) * 前两小时回流留存
-            'rule24': {'view_type': 'video-show-region', 'platform_return_rate': 0.001, 'region_24h_rule_key': 'rule2',
-                       '24h_rule_key': 'rule3', 'score_func': 'multiply_return_retention',
-                       'return_data': 'share_region_return'},
-            # score = sharerate*backrate*log(return+1)*CTR,
-            # sharerate=(lastonehour_share+1)/(lastonehour_play+1000)
-            # backrate=(lastonehour_return+1)/(lastonehour_share+10)
-            # CTR=(lastonehour_play+1)/(lastonehour_view+100), ctr不进行校正
-            'rule25': {'view_type': 'video-view', 'platform_return_rate': 0.001, 'ctr_check': False,
-                       'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2,
-                       'score_func': 'back_view0'},
-            # score = back_play_rate*log(return+1)*CTR,
-            # back_play_rate=(lastonehour_return+1)/(lastonehour_play+1000)
-            # CTR=(lastonehour_play+1)/(lastonehour_view+100), ctr不进行校正
-            'rule26': {'view_type': 'video-view', 'platform_return_rate': 0.001, 'ctr_check': False,
-                       'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2,
-                       'score_func': 'back_view1'},
-
-            # score = sharerate * backrate ^ 2 * LOG(lastonehour_return + 1) * K2
-            # sharerate = lastonehour_share / (lastonehour_play + 1000)
-            # backrate = lastonehour_return / (lastonehour_share + 10)
-            # ctr = lastonehour_play / (lastonehour_show + 1000), 对ctr限最大值：K2 = 0.6 if ctr > 0.6 else ctr
-            'rule27': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2,
-                       'score_func': 'back_rate_exponential_weighting1'},
-            # score = sharerate ^ 0.5 * backrate ^ 2 * LOG(lastonehour_return + 1) * K2 ^ 0.5
-            # sharerate = lastonehour_share / (lastonehour_play + 1000)
-            # backrate = lastonehour_return / (lastonehour_share + 10)
-            # ctr = lastonehour_play / (lastonehour_show + 1000), 对ctr限最大值：K2 = 0.6 if ctr > 0.6 else ctr
-            'rule28': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2,
-                       'score_func': 'back_rate_exponential_weighting2'},
-            # 增加不区分地域小时级列表
-            'rule30': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'h_rule_key': 'rule1', 'merge_func': 2},
-
-            'rule29': {'view_type': 'video-show-region', 'platform_return_rate': 0.001,
-                       'region_24h_rule_key': 'rule4', '24h_rule_key': 'rule4', 'merge_func': 2,
-                       'score_func': 'back_rate_rank_weighting'},
             'rule66': {
                 # 'view_type': 'video-show-region', 'platform_return_rate': 0.001,
                 # 'view_type': 'video-show-region', "return_countv2": 1, 'platform_return_ratev2': 0.001,
                 'view_type': 'video-show-region',
                 'region_24h_rule_key': 'rule66', '24h_rule_key': 'rule66'
-            },
-            'rule68': {
-                 'view_type': 'video-show-region','region_24h_rule_key': 'rule66', '24h_rule_key': 'rule66',
-                 'score_func': '20240322', '20240322':''
-            },
+            }
         },
         'data_params': DATA_PARAMS,
         'params_list': [
-            {'data': 'data1', 'rule': 'rule4'},  # 095 vlog
-            {'data': 'data1', 'rule': 'rule4-1'},  # 095-1
-            # {'data': 'data2', 'rule': 'rule7-1'},  # 121 内容精选
-            {'data': 'data7', 'rule': 'rule8'},  # 票圈视频APP 10003.110156
-            {'data': 'data10', 'rule': 'rule7'},  # 144 票圈视频
-            # {'data': 'videos5', 'rule': 'rule7-1'},  # 428 [内容精选]
-            {'data': 'data10', 'rule': 'rule27'},  # 502
-            {'data': 'data10', 'rule': 'rule28'},  # 503
-            {'data': 'data10', 'rule': 'rule30'},  # 510
-            {'data': 'data66', 'rule': 'rule66'}, # 520
-            {'data': 'data66', 'rule': 'rule68'},
+            {'data': 'data66', 'rule': 'rule66'}
         ],
         'params_list_new': [
             # {'data': 'data10', 'rule': 'rule19'},  # 316 票圈视频 + 召回在线去重

recommend_region_data_dup.py

@@ -50,7 +50,7 @@ def dup_data(h_video_ids, initial_key_name, dup_key_name, region, political_filt
                     dup_data[int(video_id)] = score
 
         if len(dup_data) > 0:
-            redis_helper.add_data_with_zset(key_name=dup_key_name, data=dup_data, expire_time=2 * 24 * 3600)
+            redis_helper.add_data_with_zset(key_name=dup_key_name, data=dup_data, expire_time=4 * 3600)
             # 限流视频score调整
             update_limit_video_score(initial_videos=dup_data, key_name=dup_key_name)
     return h_video_ids