Check sensitivity by LLM in crawler

applications/llm_sensitivity.py

@@ -0,0 +1,133 @@
+#! /usr/bin/env python
+# -*- coding: utf-8 -*-
+# vim:fenc=utf-8
+
+import json
+from openai import OpenAI
+import pandas as pd
+
+def request_llm_api(prompt, text):
+    client = OpenAI(
+        api_key='sk-30d00642c8b643cab3f54e5672f651c9',
+        base_url="https://api.deepseek.com"
+    )
+    chat_completion = client.chat.completions.create(
+        messages=[
+            {
+                "role": "user",
+                "content": prompt + text,
+            }
+        ],
+        model="deepseek-chat",
+        temperature=0.2,
+        response_format={"type": "json_object"}
+    )
+    response = chat_completion.choices[0].message.content
+    return response
+
+
+def do_check_titles(text):
+    """
+    :param text:
+    :return:
+    """
+    text_prompt = """
+你是一位专业的微信公众号内容编辑，公众号的主要读者是中老年群体，主要内容来源为其它公众号发布文章。你需要对公众号待发布的文章标题进行可用性审核，判断其是否适合发布。不可用的情形包括以下7大类，每个大类情形中包括多个小类，以多级序号表示：
+1.违规诱导、对抗平台审查规则
+1.1 使用不完全或擦边的标题诱导用户点击
+1.2 使用了生僻字/绕过字体等形式规避微信审核
+2.违反国家法律法规
+2.1 涉及国内政治敏感人物、敏感政治事件
+3.有煽动、夸大、误导嫌疑
+3.1 涉及国内外时局政治内容，尤其是与中国关系密切的国家的
+3.2 在标题中使用内部、内参、解封等词语，将内容伪装成官方内部流出的
+3.3 非官方通知或者公告，但标题假借官方名义或者暗喻为官方发布的
+3.4 标题滥用“领导”、“主席”等头衔，容易造成曲解的
+3.5 在标题中使用重大消息、通知、紧急提醒等，或以信息来源机密、看完即删来诱导用户的
+3.6 在标题中使用过度夸张的词语，比如含有危害人身安全、恐吓侮辱、惊悚、极端内容，或者以命令式语气强迫用户阅读，煽动诱导的意味较强的
+4.色情低俗内容
+4.1 文字描述男女性隐私部位，或误导用户误以为是隐私部位
+4.2 文字明示或暗示，容易让人联想到性、性行为、不正当性关系的
+4.3 文字出现不正当婚恋观，如出轨、找小三、约炮等
+5.宣扬封建迷信
+5.1 标题捏造神迹或捏造所谓的特殊日子，用于接福、求福的
+5.2 标题涉及民间迷信谚语、民俗，容易宣扬迷信思想的
+6.不适合在非特定时间、向不特定群体发布的
+6.1 具有较强新闻时效性的事件，尤其是包含“突发”、“刚刚”或特定日期的
+6.2 面向特定范围群体（某个省市的居民、企事业单位员工等）的通知、宣传稿、新闻稿等
+7.与中老年人阅读偏好不相关的
+7.1 学习、影视等资源下载
+7.2 其它与一般中老年人偏好不相关的情形
+审核时，请特别注意以下事项：
+ - 标题是否涉及政治敏感、色情低俗、封建迷信等内容。
+ - 标题是否适合中老年群体的阅读偏好。
+ - 标题是否具有时效性或面向特定群体，不适合广泛发布。例如：
+  - 标题中包含“突破”、“刚刚”等词语时，需注意是否具有时效性（如年初、特定节日等）。
+  - 标题中包含特定地名、群体名称（如省市区县旗盟乡镇）时，需注意是否面向特定群体，如果包含特定地域或人群但具有传播性和普适性则也可以发布。
+审核结果分为2种：
+ - 通过：标题未违反规则，适合发布。
+ - 不通过：标题明确违反规则，不适合发布。
+对于“不通过”的情形，请同时标注命中的规则大类序号（如 1、2、3 等）。
+输出格式必须为 JSON 格式，示例如下：
+[
+{
+"title": "标题",
+"status": "不通过",
+"hit_rule": 5
+}
+]
+现在，请对以下文章标题的可用性进行判断：
+"""
+    return request_llm_api(text_prompt, text)
+
+def check_titles(titles, retun_map=False):
+    n_titles = len(titles)
+
+    batch_size = 20
+    n_batches = (n_titles + batch_size - 1) // batch_size
+    json_data = []
+    for i in range(0, n_batches):
+        offset_begin = i * batch_size
+        offset_end = min(offset_begin + batch_size, n_titles)
+        current_batch = titles[offset_begin:offset_end]
+        try:
+            res = do_check_titles('\n'.join(current_batch))
+            json_data = json.loads(res)
+        except Exception as e:
+            print(e)
+        if not json_data:
+            for title in current_batch:
+                try:
+                    res = do_check_titles(title)
+                    json_res = json.loads(res)
+                    if isinstance(res, list):
+                        json_data.append(json_res[0])
+                    elif isinstance(res, dict):
+                        json_data.append(json_res)
+                    else:
+                        raise Exception('Invalid Response')
+                except Exception as e:
+                    print(e)
+                    json_data.append({'title': title, 'status': '通过'})
+    for item in json_data:
+        if item['status'] == '不通过':
+            try:
+                item['hit_rule'] = int(float(item['hit_rule']))
+            except Exception as e:
+                item['hit_rule'] = 99
+            # 保证不为0 避免LLM返回异常
+            if item['hit_rule'] == 0:
+                item['hit_rule'] = 99
+        else:
+            item['hit_rule'] = 0
+    if retun_map:
+        result_map = {}
+        for item in json_data:
+            if item['title'] not in result_map:
+                result_map[item['title']] = item
+            # 安全起见，保留最后一次不通过的记录
+            elif item['status'] == '不通过':
+                result_map[item['title']] = item
+        return result_map
+    else:
+        return json_data

coldStartTasks/crawler/weixinCategoryCrawler.py

@@ -6,8 +6,7 @@
 import time
 
 from tqdm import tqdm
-
-from applications import WeixinSpider, Functions
+from applications import WeixinSpider, Functions, llm_sensitivity
 
 # 常量
 ACCOUNT_GOOD_STATUS = 1
@@ -65,9 +64,12 @@ class weixinCategory(object):
                     show_like_count = show_stat.get("show_like_count", DEFAULT_LIKE_COUNT)
                     insert_sql = f"""
                         insert into crawler_meta_article
-                        (platform, mode, category, out_account_id, article_index, title, link, read_cnt, like_cnt, description, publish_time, crawler_time, status, unique_index)
+                        (
+                         platform, mode, category, out_account_id, article_index, title, link, read_cnt, like_cnt,
+                         description, publish_time, crawler_time, status, unique_index, llm_sensitivity
+                        )
                         VALUES 
-                        (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s);
+                        (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s);
                     """
                     self.db_client_lam.update(
                         sql=insert_sql,
@@ -86,6 +88,7 @@ class weixinCategory(object):
                             int(time.time()),
                             DEFAULT_ARTICLE_STATUS,
                             self.function.generateGzhId(obj["ContentUrl"]),
+                            obj.get("llm_sensitivity", -1)
                         ),
                     )
                 except Exception as e:
@@ -121,6 +124,18 @@ class weixinCategory(object):
         msg_list = response.get("data", {}).get("data")
         if msg_list:
             last_article_in_this_msg = msg_list[-1]
+
+            article_titles = []
+            for msg in msg_list:
+                for article in msg['AppMsg']['DetailInfo']:
+                    article_titles.append(article['Title'])
+            sensitive_results = llm_sensitivity.check_titles(article_titles, True)
+            for msg in msg_list:
+                for article in msg['AppMsg']['DetailInfo']:
+                    sensitive_hit = sensitive_results.get(article['Title'], None)
+                    if sensitive_hit:
+                        article['llm_sensitivity'] = sensitive_hit['hit_rule']
+
             self.insert_data_into_db(
                 gh_id=gh_id, category=category, article_list=msg_list
             )