process_title.py 29 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616
  1. import time
  2. import traceback
  3. from typing import Optional, List, Dict, Tuple
  4. from applications.api import fetch_deepseek_completion
  5. from applications.utils import yield_batch
  6. class Const:
  7. # title rewrite status
  8. TITLE_REWRITE_INIT_STATUS = 0
  9. TITLE_REWRITE_SUCCESS_STATUS = 1
  10. TITLE_REWRITE_FAIL_STATUS = 99
  11. TITLE_REWRITE_LOCK_STATUS = 101
  12. # article status
  13. ARTICLE_AUDIT_PASSED_STATUS = 1
  14. ARTICLE_POSITIVE_STATUS = 0
  15. # title useful status
  16. TITLE_USEFUL_STATUS = 1
  17. # prompt version
  18. PROMPT_VERSION = "xx_250228" # 信欣2025-02-28提供
  19. # block expire time 1h
  20. TITLE_REWRITE_LOCK_TIME = 60 * 60
  21. # task status
  22. INIT_STATUS = 0
  23. PROCESSING_STATUS = 1
  24. SUCCESS_STATUS = 2
  25. FAIL_STATUS = 99
  26. # max processing time
  27. MAX_PROCESSING_TIME = 3600
  28. # article_status
  29. ARTICLE_INIT_STATUS = 1
  30. ARTICLE_PUBLISHED_STATUS = 2
  31. ARTICLE_BAD_STATUS = 0
  32. # limit score
  33. LIMIT_SCORE = 0.4
  34. BATCH_SIZE = 20
  35. PROCESS_NUM = 1000
  36. class TitleProcess(Const):
  37. def __init__(self, pool, aliyun_log, trace_id):
  38. self.pool = pool
  39. self.aliyun_log = aliyun_log
  40. self.trace_id = trace_id
  41. @staticmethod
  42. def generate_title_rewrite_prompt(ori_title: str) -> str:
  43. """
  44. 生成prompt
  45. """
  46. prompt = f"""
  47. 请将以下标题改写成适合公众号中小程序点击和传播的文章标题,文章标题的写作规范如下,请学习后进行文章标题的编写。直接输出最终的文章标题,文章标题撰写规范如下:
  48. 1. 标题结构:要点前置,信息明确
  49. 核心信息前置:标题开头直接点出文章的核心内容或亮点,吸引读者注意。例如:
  50. “我国存款最安全的五大银行,永远都不会倒闭,你知道是哪五家吗?”
  51. “亩产7000斤,被误认成萝卜却曾是‘救命粮’,如今成我国出口名蔬”。
  52. 简洁明了:标题通常在20字以内,信息集中且易于理解。
  53. 悬念前置结构:前半句设置反常/冲突场景(如"刑满释放蹬三轮")+后半句用结果反转制造悬念("政府领导登门分配工作")
  54. 多要素拼接:通过冒号/逗号分隔不同叙事主体(地域+人物冲突+权威评价),如"辽宁女子住高档小区被敲门,法院判决意外"
  55. 2. 情绪表达:激发共鸣,引发好奇
  56. 情感共鸣:通过情感化的语言触动读者,泪崩/守护/抱头痛哭等情感冲击词,配合家庭伦理场景
  57. 例如:
  58. “老母亲分家产,给亲闺女30万,给养女一筐青菜,养女意外摔倒,看到筐子里的东西,瞬间愣住了”。
  59. “儿子卖车卖房给母亲治病,母亲去世后儿媳收拾房间,打开床底柜,儿子突然痛哭”。
  60. 悬念与好奇心:通过提问或制造悬念,激发读者点击欲望。例如:
  61. “你知道是哪五家吗?”
  62. “打开床底柜,儿子突然痛哭”。
  63. 冲突性情绪词:拍桌大骂/气愤不已/眼红不已/算计等强对抗性词汇
  64. 结果反差刺激:用"风光善终/价值过亿/判决意外"等违反预期的结果
  65. 3. 语言风格:口语化、接地气
  66. 口语化表达:使用通俗易懂的语言,贴近读者生活。
  67. 刻意使用"赶都赶不走/各吃各的/我就知道你在家"等市井化用语。
  68. 例如:
  69. “狗屎运?江西男子钓鱼时发现青鱼尸骸,扒开后捡到鸡蛋大小的青鱼石”。
  70. “聪明的女人,不会帮婆家3种忙,而蠢女人才一再插手”。
  71. 接地气的词汇:使用“狗屎运”“蠢女人”等口语化词汇,增强亲切感。
  72. 身份反差构建:突出人物命运转折(老农→亿万富翁/囚犯→政府帮扶对象)
  73. 权威背书暗示:"专家气愤/法院判决/网友评价"等第三方视角增强可信度
  74. 4. 标点运用:增强语气,突出重点
  75. 问号与感叹号:通过问号制造悬念,感叹号强化情感。
  76. 在关键转折点使用("太气人了!/赔不了!")
  77. 问号制造互动:如"容嬷嬷是校花?"激发读者验证心理
  78. 例如:
  79. “你知道是哪五家吗?”
  80. “太无耻了!湖南,一名厨师被公司派到云南‘出差’被拒……”
  81. 引号与冒号:用于突出关键词或转折点。
  82. 破折号递进:用"——"引导关键信息("吃不完最好扔掉——")
  83. 例如:
  84. “被误认成萝卜却曾是‘救命粮’”。
  85. “女子归还后,失主拒绝支付报酬,还说:要有格局”。
  86. 5. 热点与话题性:结合社会热点或争议
  87. 社会热点:结合当前热点事件或争议话题,吸引关注。例如:
  88. “上海:男子超市连续购买46枚过期咸鸭蛋,2天分46次交易,向厂家索赔金14万,法院判了!”
  89. 争议性话题:通过争议性内容引发讨论。例如:
  90. “李玉成终于说出实话,公开吐槽马玉琴年纪太大,结婚28年疑似后悔”。
  91. 6. 数字与具体细节:增强可信度与吸引力
  92. 数字的运用:通过具体数字增强标题的可信度和吸引力。例如:
  93. “亩产7000斤”。
  94. “22年河南男子跳河救人,体力耗尽留遗言”。
  95. 细节描述:通过细节让标题更具画面感。例如:
  96. “打开床底柜,儿子突然痛哭”。
  97. “扒开后捡到鸡蛋大小的青鱼石”。
  98. 7. 价值诉求:传递实用信息或情感价值
  99. 实用信息:提供对读者有价值的信息。例如:
  100. “我国存款最安全的五大银行,永远都不会倒闭”。
  101. “72岁老人每天一个蒸苹果,半年后体检,看到指标变化让他乐开了花”。
  102. 情感价值:通过情感故事或人生哲理打动读者。例如:
  103. “父母越老越能暴露家庭最真实的一面:当父母70岁,子女不该抱有这三种期待”。
  104. 8. 名人效应与历史情怀:增强吸引力
  105. 名人效应:提及名人或历史事件,吸引关注。例如:
  106. “难怪王扶林说陈晓旭不够漂亮,看看他选的原黛玉候选人,那才叫美”。
  107. “1975年‘下馆子’的老照片,2元能吃些什么,勾起那段最难忘的时光”。
  108. 9.隐藏传播逻辑:通过标题中暗含的、能触发人性弱点(如猎奇、贪婪、同情)或社会痛点的心理机制,通过潜意识刺激读者点击欲望
  109. 人性弱点触发:贪婪(200万保单)、猎奇(林彪密件)、窥私(家庭算计)
  110. 生存焦虑关联:医疗(脑瘫儿)、养老(子女不孝)、食品安全(二次加热)
  111. 身份代入设计:选择"老太太/外甥女/退休母亲"等易引发群体共鸣的角色
  112. 输入的标题是: '{ori_title}'
  113. """
  114. return prompt
  115. @staticmethod
  116. def category_generation_from_title(title_list: List[Tuple[str, str]]) -> str:
  117. """
  118. generate prompt category for given title
  119. """
  120. prompt = f"""
  121. 请帮我完成以下任务:输入为文章的标题,根据标题判断其内容所属的类目,输出为文章标题及其对应的类目。
  122. 类目需从以下15个品类内选择:
  123. 1. 知识科普
  124. 定义:以通俗易懂的方式普及科学、技术、健康、安全、生活常识、财产保护、医保政策、为人处事方式等内容,旨在提高公众的知识水平和认知能力。内容通常具有教育性和实用性,涵盖自然、社会、文化等多个领域。
  125. 标题示例:
  126. 我国存款最安全的五大银行,永远都不会倒闭,你知道是哪五家吗?
  127. 借条上不要写“这3个字”,不然变成一张废纸,否则用法律也没用
  128. 不能二次加热的3种食物!再次提醒:这3种食物吃不完最好扔掉
  129. 2. 军事历史
  130. 定义:聚焦于历史上的军事事件、战争故事、军事策略、英雄人物等内容,旨在还原战争场景、探讨军事决策、揭示历史真相,并展现战争中的人物命运与历史影响。内容通常以叙事、分析或回忆的形式呈现,兼具历史深度和故事性。
  131. 标题示例:
  132. 对越作战永远失踪的332人,陵园没有墓碑,没有名字,只有烈士证
  133. 淮海大战丢失阵地,师长带头冲锋!最后出一口恶气:活捉敌最高指挥官
  134. 抗战时,一村民被敌拉去带路,半道回头忽发现:后面跟个游击队员
  135. 3. 家长里短
  136. 定义:围绕家庭成员之间的关系、矛盾、情感、道德、等展开的故事或讨论,内容常涉及婚姻、亲子、婆媳、兄弟姐妹等关系,或是人情往来、金钱纠纷、情感变化等内容,反映家庭生活中的温情、冲突与人性。
  137. 标题示例:
  138. 父母越老越能暴露家庭最真实的一面:当父母70岁,子女不该抱有这三种期待
  139. 老母亲分家产,给亲闺女30万,给养女一筐青菜,养女意外摔倒,看到筐子里的东西,瞬间愣住了
  140. 我花150一天雇了阿姨,两天后上班回来给她300,阿姨说我账算错了
  141. 4. 社会法治
  142. 定义:聚焦社会事件、法律纠纷、法院判决、社会现象等内容,通常涉及道德、法律、公平正义等议题,旨在揭示社会问题、探讨法律规则或反映人性与社会现实。
  143. 标题示例:
  144. 山东,女子在小区捡到16万天价项链,业主悬赏3万找回,女子归还后,失主拒绝支付报酬,还说:要有格局,女子认为被骗,将失主告上法庭
  145. 陕西,女子22万买26层房,2年后,楼盘24层就已经封顶!开发商:你闹事造成100万损失,道歉才给赔偿!
  146. 上海:男子超市连续购买46枚过期咸鸭蛋,2天分46次交易,向厂家索赔金14万,法院判了!
  147. 5. 奇闻趣事
  148. 定义:以猎奇、娱乐为主,涵盖罕见、奇特、有趣的事件、发现或故事,内容通常具有趣味性和话题性,能够引发读者的好奇心和讨论。
  149. 标题示例:
  150. 狗屎运?江西男子钓鱼时发现青鱼尸骸,扒开后捡到鸡蛋大小的青鱼石,网友:起码值几千!
  151. 内蒙古小伙河边捡到金牌,拒绝上交将其熔成金手镯,专家气愤不已
  152. 男子买了一辆废弃坦克,拆油箱时,他发现了一根又一根的金条……
  153. 6. 名人八卦
  154. 定义:围绕名人的生活、言论、事件、八卦等内容展开,通常涉及娱乐圈、政界、历史人物等,旨在满足公众对名人隐私和动态的好奇心。
  155. 标题示例:
  156. 难怪王扶林说陈晓旭不够漂亮,看看他选的原黛玉候选人,那才叫美
  157. 心狠手辣的容嬷嬷年轻时是校花?看了照片后,网友直接闭嘴了!
  158. 李玉成终于说出实话,公开吐槽马玉琴年纪太大,结婚28年疑似后悔
  159. 7. 健康养生
  160. 定义:关注健康、养生、疾病预防、生活习惯等方面的知识和建议,内容通常具有实用性和指导性,旨在帮助读者改善生活质量、提升健康水平。
  161. 标题示例:
  162. 72岁老人每天一个蒸苹果,半年后体检,看到指标变化让他乐开了花
  163. 40岁女子每天吃水煮蛋,一年后去体检,检查报告令医生都羡慕不已
  164. 2024年血糖新标准已公布,不再是3.9~6.1,你的血糖还不算高吗?
  165. 8. 情感故事
  166. 定义:以人与人之间的情感交流、感人故事、情感经历为主题,内容通常充满温情、感动或反思,旨在引发读者的情感共鸣和思考。
  167. 标题示例:
  168. 男孩饭店吃饭,发现陌生女子和去世母亲很像,走过去说:我妈妈去世了,能抱一下我吗?
  169. 河南一女子直播时,被失散 32 年的父亲认出:闺女等着爸爸接你回家
  170. 1987年,江苏男子借好友一千元,25年后朋友成富豪还他1000万报恩
  171. 流浪狗跟着骑行夫妻跑了一百多公里,一直守护在女主身边,赶都赶不走,当男主得知原因后竟抱着狗狗大哭起来
  172. 9. 国家大事
  173. 定义:涉及国家实力、科技发展、资源发现、国际合作等内容,通常以宏观视角展现国家的综合实力、科技成就或国际影响力,体现国家的崛起与发展。
  174. 标题示例:
  175. 我国在南极发现“海上粮仓”,储量高达10亿吨,世界各国眼红不已
  176. 我国贵州发现7000万吨宝藏,价值高达上万亿,多国求合作被拒绝
  177. 距我国3000公里,塞班岛明明归美国管辖,为何岛上大多是中国人?
  178. 10. 现代人物
  179. 定义:聚焦活跃在21世纪后具有传奇色彩或巨大贡献的人物、事迹、成就等,内容通常充满戏剧性和启发性,旨在展现人物的非凡经历或历史贡献。
  180. 标题示例:
  181. 她曾狂贪国家上百亿,被发现时已经移居美国,最终还风光一时得善终
  182. 山东女子因坐月子无聊,破译美国2套绝密系统的密码,国家:奖励711万!
  183. 牺牲太大了!航天女英雄刘洋:结婚8年未生子,回地面后“消失”的她怎样了?
  184. 11. 怀旧时光
  185. 定义:以回忆和怀旧为主题,涉及过去的历史、文化、生活、照片等内容,旨在唤起读者对过去时光的情感共鸣和怀念。
  186. 标题示例:
  187. 1975年“下馆子”的老照片,2元能吃些什么,勾起那段最难忘的时光
  188. 82年,北京老人捡回两张“破椅子”,遭家人数落,29年后拍出2300万
  189. 这张老照片第一次看到,邓颖超和李讷的罕见合影!
  190. 12. 政治新闻
  191. 定义:聚焦政治事件、领导人动态、国际关系等内容,通常以新闻或分析的形式呈现,旨在揭示政治局势、政策变化或国际关系的动态。
  192. 标题示例:
  193. 中方外长行程有变,提前结束访欧匆匆回国,带回来一个好消息
  194. 宋庆龄在北京逝世后,远在美国的宋美龄只说了7个字,字字揪心!
  195. 庐山会议后,叶帅去劝彭德怀认个错,哭着说了一句心里话
  196. 13. 历史人物
  197. 定义:聚焦于21世纪前具有重要影响的人物,包括他们的生平、事迹、成就、性格、趣事及其对历史进程的贡献。内容通常以传记、回忆录或历史分析的形式呈现,旨在还原人物的真实面貌并探讨其历史意义。
  198. 标题示例:
  199. 林彪去世后,蒋介石收到林彪与戴笠的一份密谈文件,看后拍桌大骂
  200. 张学良软禁时的一张实拍照片,头发秃顶,两眼无光,像个中年老头
  201. 1912年,孙中山和两个女儿罕见留影,面对镜头父女三人看起来很幸福
  202. 14. 社会现象
  203. 定义:关注社会中出现的普遍现象、趋势或问题,通常涉及文化、经济、教育、民生等领域。内容以观察、分析或评论为主,旨在揭示现象背后的原因、影响及社会意义,引发公众的思考和讨论。
  204. 标题示例:
  205. 22年河南男子跳河救人,体力耗尽留遗言,被救女子猛然抓住他:一起走
  206. 浙江一老人刑满释放,靠蹬三轮为生,6年后,政府领导登门拜访:我们帮您分配工作
  207. 儿子收到清华通知书,父亲花5万请全村吃席,镇长看一眼竟说:这是假的
  208. 15.财经科技
  209. 定义:聚焦于经济、金融、投资及行业发展的分析与预测,涵盖未来经济趋势、资产价值变化、行业变革及个人理财策略等内容。可以提供前瞻性的财经视角和实用的理财建议,帮助其把握经济动态、优化财务规划并应对行业变化。
  210. 标题示例:
  211. 未来10年,现金和房子都将贬值,只有2样东西最值钱
  212. 外卖时代将被终结?一个全新行业正悄悄取代外卖,你准备好了吗?
  213. 准备存款的一定要知道,今明两年,定期存款要记住“4不存”
  214. 输入是一个 LIST, LIST 中的每个元素是一个元组,元组的第一个元素是文章的 ID,第二个元素是文章的标题。
  215. 最后输出结果请用JSON格式输出,key为ID,value为品类,仅输出JSON,不要markdown格式,不要任何其他内容
  216. 如果标题中包含半角双引号,则进行转义
  217. 输入的 LIST 是 {title_list}
  218. 检查你的输出,输出的品类一定需要是输入的 15个品类,只需要输出品类的中文汉字
  219. """
  220. return prompt
  221. async def _roll_back_lock_tasks(self, table_name: str) -> int:
  222. query = f"""
  223. update {table_name}
  224. set category_status = %s
  225. where category_status = %s and category_status_update_ts <= %s;
  226. """
  227. return await self.pool.async_save(
  228. query=query,
  229. params=(
  230. self.INIT_STATUS,
  231. self.PROCESSING_STATUS,
  232. int(time.time()) - self.MAX_PROCESSING_TIME,
  233. ),
  234. )
  235. async def process_single_article(
  236. self, content_type: str, article: Dict
  237. ) -> Optional[Dict]:
  238. match content_type:
  239. case "video":
  240. article_id = article["id"]
  241. title = article["article_title"]
  242. case "article":
  243. article_id = article["article_id"]
  244. title = article["title"]
  245. case _:
  246. raise ValueError("content type is not supported")
  247. title_batch = [(article_id, title)]
  248. prompt = self.category_generation_from_title(title_batch)
  249. try:
  250. completion = fetch_deepseek_completion(
  251. model="DeepSeek-V3", prompt=prompt, output_type="json"
  252. )
  253. return completion
  254. except Exception as e:
  255. await self.aliyun_log.log(
  256. contents={
  257. "trace_id": self.trace_id,
  258. "data": {
  259. "article_id": article_id,
  260. "error": str(e),
  261. "traceback": traceback.format_exc(),
  262. },
  263. }
  264. )
  265. return None
  266. class VideoPoolCategoryGeneration:
  267. pass
  268. class ArticlePoolCategoryGeneration(TitleProcess):
  269. def __init__(self, pool, aliyun_log, trace_id):
  270. super().__init__(pool, aliyun_log, trace_id)
  271. async def lock_task(self, article_id_tuple: tuple[int, ...]) -> int:
  272. update_query = f"""
  273. update long_articles.crawler_meta_article
  274. set category_status = %s, category_status_update_ts = %s
  275. where article_id in %s and category_status = %s;
  276. """
  277. return await self.pool.async_save(
  278. query=update_query,
  279. params=(
  280. self.PROCESSING_STATUS,
  281. int(time.time()),
  282. article_id_tuple,
  283. self.INIT_STATUS,
  284. ),
  285. )
  286. async def get_task_list(self, limit):
  287. query = f"""
  288. select article_id, title from crawler_meta_article
  289. where category_status = %s and status = %s and score > %s
  290. order by score desc limit %s;
  291. """
  292. return await self.pool.async_fetch(
  293. query=query,
  294. params=(
  295. self.INIT_STATUS,
  296. self.ARTICLE_INIT_STATUS,
  297. self.LIMIT_SCORE,
  298. limit,
  299. ),
  300. )
  301. async def set_category_status_as_success(
  302. self, article_id: int, category: str
  303. ) -> int:
  304. update_query = f"""
  305. update long_articles.crawler_meta_article
  306. set category_by_ai = %s, category_status = %s, category_status_update_ts = %s
  307. where article_id = %s and category_status = %s;
  308. """
  309. return await self.pool.async_save(
  310. query=update_query,
  311. params=(
  312. category,
  313. self.SUCCESS_STATUS,
  314. int(time.time()),
  315. article_id,
  316. self.PROCESSING_STATUS,
  317. ),
  318. )
  319. async def set_category_status_as_fail(self, article_id: int) -> int:
  320. update_query = f"""
  321. update long_articles.crawler_meta_article
  322. set category_status = %s, category_status_update_ts = %s
  323. where article_id = %s and category_status = %s;
  324. """
  325. return await self.pool.async_save(
  326. query=update_query,
  327. params=(
  328. self.FAIL_STATUS,
  329. int(time.time()),
  330. article_id,
  331. self.PROCESSING_STATUS,
  332. ),
  333. )
  334. async def process_each_batch(self, task_batch):
  335. title_batch = [(i["article_id"], i["title"]) for i in task_batch]
  336. id_tuple = tuple([int(i["article_id"]) for i in task_batch])
  337. if await self.lock_task(id_tuple):
  338. prompt = self.category_generation_from_title(title_batch)
  339. try:
  340. completion = fetch_deepseek_completion(
  341. model="DeepSeek-V3", prompt=prompt, output_type="json"
  342. )
  343. for article in title_batch:
  344. article_id = article[0]
  345. category = completion.get(str(article_id))
  346. if category:
  347. await self.set_category_status_as_success(article_id, category)
  348. else:
  349. await self.set_category_status_as_fail(article_id)
  350. except Exception as e:
  351. await self.aliyun_log.log(
  352. contents={
  353. "task": "ArticlePoolCategoryGeneration",
  354. "function": "process_each_batch",
  355. "message": "batch 中存在敏感词,AI 拒绝返回",
  356. "status": "fail",
  357. "trace_id": self.trace_id,
  358. "data": {
  359. "article_id": id_tuple,
  360. "error": str(e),
  361. "traceback": traceback.format_exc(),
  362. },
  363. }
  364. )
  365. for article in task_batch:
  366. single_completion = await self.process_single_article(
  367. content_type="article", article=article
  368. )
  369. article_id = article["article_id"]
  370. if single_completion:
  371. category = single_completion.get(str(article_id))
  372. if category:
  373. # set as success
  374. await self.set_category_status_as_success(
  375. article_id, category
  376. )
  377. else:
  378. await self.set_category_status_as_fail(article_id)
  379. else:
  380. # set as fail
  381. await self.set_category_status_as_fail(article_id)
  382. return
  383. else:
  384. return
  385. async def deal(self, limit):
  386. # await self._roll_back_lock_tasks(table_name="crawler_meta_article")
  387. if not limit:
  388. limit = self.PROCESS_NUM
  389. task_list = await self.get_task_list(limit=limit)
  390. print(type(task_list))
  391. await self.aliyun_log.log(
  392. contents={
  393. "task": "ArticlePoolCategoryGeneration",
  394. "function": "deal",
  395. "trace_id": self.trace_id,
  396. "message": f"总共获取{len(task_list)}条文章",
  397. }
  398. )
  399. print(task_list)
  400. task_batch_list = yield_batch(data=task_list, batch_size=self.BATCH_SIZE)
  401. batch_index = 0
  402. for task_batch in task_batch_list:
  403. batch_index += 1
  404. try:
  405. await self.process_each_batch(task_batch)
  406. print(f"batch :{batch_index} 处理成功")
  407. except Exception as e:
  408. await self.aliyun_log.log(
  409. contents={
  410. "task": "ArticlePoolCategoryGeneration",
  411. "function": "deal",
  412. "message": f"batch {batch_index} processed failed",
  413. "status": "fail",
  414. "trace_id": self.trace_id,
  415. "data": {
  416. "error": str(e),
  417. "traceback": traceback.format_exc(),
  418. },
  419. }
  420. )
  421. class TitleRewrite(TitleProcess):
  422. async def roll_back_blocked_tasks(self):
  423. """
  424. rollback blocked tasks
  425. """
  426. query = f"""
  427. select id, title_rewrite_status_update_timestamp
  428. from publish_single_video_source
  429. where title_rewrite_status = %s;
  430. """
  431. article_list = await self.pool.async_fetch(
  432. query=query, params=(self.TITLE_REWRITE_LOCK_STATUS,)
  433. )
  434. if article_list:
  435. blocked_id_list = [
  436. i["id"]
  437. for i in article_list
  438. if (int(time.time()) - i["title_rewrite_status_update_timestamp"])
  439. > self.TITLE_REWRITE_LOCK_TIME
  440. ]
  441. if blocked_id_list:
  442. update_query = """
  443. update publish_single_video_source
  444. set title_rewrite_status = %s
  445. where id in %s and title_rewrite_status = %s;
  446. """
  447. await self.pool.async_save(
  448. query=update_query,
  449. params=(
  450. self.TITLE_REWRITE_INIT_STATUS,
  451. tuple(blocked_id_list),
  452. self.TITLE_REWRITE_LOCK_STATUS,
  453. ),
  454. )
  455. async def get_articles_batch(self, batch_size=1000):
  456. query = f"""
  457. select content_trace_id, article_title
  458. from publish_single_video_source
  459. where bad_status = {self.ARTICLE_POSITIVE_STATUS}
  460. and audit_status = {self.ARTICLE_AUDIT_PASSED_STATUS}
  461. and title_rewrite_status = {self.TITLE_REWRITE_INIT_STATUS}
  462. and platform in ('hksp', 'sph')
  463. limit {batch_size};
  464. """
  465. return await self.pool.async_fetch(query=query, db_name="long_articles")
  466. async def update_title_rewrite_status(
  467. self, content_trace_id, ori_status, new_status
  468. ):
  469. query = f"""
  470. update publish_single_video_source
  471. set title_rewrite_status = %s, title_rewrite_status_update_timestamp = %s
  472. where content_trace_id = %s and title_rewrite_status= %s;
  473. """
  474. affected_rows = await self.pool.async_save(
  475. query=query,
  476. params=(new_status, int(time.time()), content_trace_id, ori_status),
  477. )
  478. return affected_rows
  479. async def insert_into_rewrite_table(self, content_trace_id, new_title):
  480. """
  481. insert into rewrite_table
  482. """
  483. insert_sql = f"""
  484. insert into video_title_rewrite
  485. (content_trace_id, new_title, status, prompt_version)
  486. values (%s, %s, %s, %s);
  487. """
  488. await self.pool.async_save(
  489. query=insert_sql,
  490. params=(
  491. content_trace_id,
  492. new_title,
  493. self.TITLE_USEFUL_STATUS,
  494. self.PROMPT_VERSION,
  495. ),
  496. )
  497. async def rewrite_each_article(self, article):
  498. """
  499. rewrite each article
  500. """
  501. content_trace_id = article["content_trace_id"]
  502. article_title = article["article_title"]
  503. # lock each task
  504. affected_rows = await self.update_title_rewrite_status(
  505. content_trace_id=content_trace_id,
  506. ori_status=self.TITLE_REWRITE_INIT_STATUS,
  507. new_status=self.TITLE_REWRITE_LOCK_STATUS,
  508. )
  509. if not affected_rows:
  510. return
  511. try:
  512. prompt = self.generate_title_rewrite_prompt(article_title)
  513. new_title = fetch_deepseek_completion(model="default", prompt=prompt)
  514. # insert into rewrite table
  515. await self.insert_into_rewrite_table(
  516. content_trace_id=content_trace_id, new_title=new_title
  517. )
  518. # unlock
  519. await self.update_title_rewrite_status(
  520. content_trace_id=content_trace_id,
  521. ori_status=self.TITLE_REWRITE_LOCK_STATUS,
  522. new_status=self.TITLE_REWRITE_SUCCESS_STATUS,
  523. )
  524. except Exception as e:
  525. await self.aliyun_log.log(
  526. contents={
  527. "task": "title rewrite task",
  528. "function": "rewrite_each_article",
  529. "message": content_trace_id,
  530. "status": "fail",
  531. "data": {
  532. "error_message": str(e),
  533. "error_type": type(e).__name__,
  534. "traceback": traceback.format_exc(),
  535. },
  536. }
  537. )
  538. await self.update_title_rewrite_status(
  539. content_trace_id=content_trace_id,
  540. ori_status=self.TITLE_REWRITE_LOCK_STATUS,
  541. new_status=self.TITLE_REWRITE_FAIL_STATUS,
  542. )
  543. async def deal(self):
  544. """title rewrite task deal"""
  545. await self.roll_back_blocked_tasks()
  546. task_list = await self.get_articles_batch()
  547. for article in task_list:
  548. await self.rewrite_each_article(article)