소스 검색

测试GPU性能

罗俊辉 10 달 전
부모
커밋
f02e5efbf3
7개의 변경된 파일52개의 추가작업 그리고 28개의 파일을 삭제
  1. 1 1
      alg.toml
  2. 1 1
      applications/functions/__init__.py
  3. 23 0
      applications/functions/article_tools.py
  4. 22 0
      applications/functions/bad.txt
  5. 3 18
      applications/pipeline.py
  6. 1 1
      test/article_list.py
  7. 1 7
      test/rank_dev.py

+ 1 - 1
alg.toml

@@ -1,6 +1,6 @@
 reload = true
 bind = "0.0.0.0:6062"
-workers = 4
+workers = 1
 keep_alive_timeout = 120  # 保持连接的最大秒数,根据需要调整
 graceful_timeout = 30    # 重启或停止之前等待当前工作完成的时间
 loglevel = "debug"  # 日志级别

+ 1 - 1
applications/functions/__init__.py

@@ -2,7 +2,7 @@
 @author: luojunhui
 """
 from .article_account import ArticleRank
-from .article_tools import title_sim_v2_by_list
+from .article_tools import title_sim_v2_by_list, is_bad
 from .server_article_account import get_article_title_url_list, get_article_titles
 
 

+ 23 - 0
applications/functions/article_tools.py

@@ -26,3 +26,26 @@ def title_sim_v2_by_list(title_target, title_list):
         if sim_score:
             return True
     return False
+
+
+def is_bad(text):
+    bad_list = ['男人跟婚外女人很难断,不是因为爱,而是这三个原因,别傻傻不知',
+                '瑞士和平会,乌有2个好消息,有得就有失,捧场的基本是西方国家',
+                '华春莹代表中国,用《琉球地位未定论》,好好给日本上了一课', '再下一城,27年的等待一朝绽放,中国开始放大招',
+                '一把大火,文明倒退1000年', '善恶终有报?晚年有了儿子的王刚本以为可以安度晚年,但如今的情况却让人感叹',
+                '赵丽蓉:中国第一位小品女皇,因一句台词识破潜伏间谍,72岁自备寿衣,临终前为巩汉林留一句忠告',
+                '致命一击!美国的惊天谎言被拆穿,暴露其真实嘴脸!', '男生遭醉汉掐脖反击后被刑拘,警方最新回应',
+                '“夫妻不送葬,送葬必遭殃”,为什么老伴不能去送呢?亲人去世后,最忌讳的八件事,别不当回事!',
+                '102岁杨振宁豪宅内,宴请小他27岁的岳母听沪剧,翁帆一个举动真情流露',
+                '中国垫资38亿美元帮修铁路,6年过去没还,还想期限延长至50年!',
+                '结婚前新娘突然要增加50万彩礼,否则不嫁,新郎无奈放弃,新娘收50万彩礼另嫁他人,1年后,报应来了!',
+                '张学良到死都不知道,当年救他一命的不是宋美龄,而是一个痴心女',
+                '美大选反转再反转!笑到最后的竟是她?拜登、特朗普都始料未及',
+                '大妈揣80万去儿子家住一周,7天吃咸菜,孙子:等你走了吃煎牛排',
+                '山西农民房檐上石狮子7万没有卖,3天后发生的事情让他始料未及', '当不成总统了?美大选有变,中方需早做准备',
+                '女人最佳“绝经期”已公布,不是45岁,而是这个数,越接近越健康',
+                '村头光棍在下雪天捡一女婴,终身未娶拉扯张长大28年,女孩回报方式看哭众人',
+                '杜聿明的女儿,嫁给自己的老师杨振宁,生三个孩子事业有成',
+                '他享有国葬殊荣,临终捐光2000亿,大儿子开出租谋生']
+    text = text.strip().replace('\u200b', '')
+    return title_sim_v2_by_list(text, bad_list)

+ 22 - 0
applications/functions/bad.txt

@@ -0,0 +1,22 @@
+男人跟婚外女人很难断,不是因为爱,而是这三个原因,别傻傻不知
+瑞士和平会,乌有2个好消息,有得就有失,捧场的基本是西方国家
+华春莹代表中国,用《琉球地位未定论》,好好给日本上了一课
+再下一城,27年的等待一朝绽放,中国开始放大招
+一把大火,文明倒退1000年
+善恶终有报?晚年有了儿子的王刚本以为可以安度晚年,但如今的情况却让人感叹
+赵丽蓉:中国第一位小品女皇,因一句台词识破潜伏间谍,72岁自备寿衣,临终前为巩汉林留一句忠告
+致命一击!美国的惊天谎言被拆穿,暴露其真实嘴脸!
+男生遭醉汉掐脖反击后被刑拘,警方最新回应
+“夫妻不送葬,送葬必遭殃”,为什么老伴不能去送呢?亲人去世后,最忌讳的八件事,别不当回事!
+102岁杨振宁豪宅内,宴请小他27岁的岳母听沪剧,翁帆一个举动真情流露
+中国垫资38亿美元帮修铁路,6年过去没还,还想期限延长至50年!
+结婚前新娘突然要增加50万彩礼,否则不嫁,新郎无奈放弃,新娘收50万彩礼另嫁他人,1年后,报应来了!
+张学良到死都不知道,当年救他一命的不是宋美龄,而是一个痴心女
+美大选反转再反转!笑到最后的竟是她?拜登、特朗普都始料未及
+大妈揣80万去儿子家住一周,7天吃咸菜,孙子:等你走了吃煎牛排
+山西农民房檐上石狮子7万没有卖,3天后发生的事情让他始料未及
+当不成总统了?美大选有变,中方需早做准备
+女人最佳“绝经期”已公布,不是45岁,而是这个数,越接近越健康
+村头光棍在下雪天捡一女婴,终身未娶拉扯张长大28年,女孩回报方式看哭众人
+杜聿明的女儿,嫁给自己的老师杨振宁,生三个孩子事业有成
+他享有国葬殊荣,临终捐光2000亿,大儿子开出租谋生

+ 3 - 18
applications/pipeline.py

@@ -5,7 +5,7 @@ import time
 
 import requests
 
-from applications.functions import title_sim_v2_by_list
+from applications.functions import title_sim_v2_by_list, is_bad
 
 
 class LongArticlesPipeline(object):
@@ -19,7 +19,7 @@ class LongArticlesPipeline(object):
         :param index_list:
         :return:
         """
-        url = "http://192.168.100.31:6062/title_list"
+        url = "http://localhost:6062/title_list"
         response = requests.request(
             "POST",
             url=url,
@@ -96,22 +96,7 @@ class LongArticlesPipeline(object):
         :param account_nickname:
         :return:
         """
-        url = "http://192.168.100.31:8176/bad/is_bad"
-        headers = {
-            "accept": "application/json",
-            "Content-Type": "application/json"
-        }
-        body = {
-            "account_nickname": account_nickname,
-            "title": title
-        }
-        response = requests.request(
-            "POST",
-            url=url,
-            headers=headers,
-            json=body
-        )
-        return response.json()['is_bad']
+        return is_bad(title)
 
     @classmethod
     def deal(cls, article_obj, account_name, history_title_dict):

+ 1 - 1
test/article_list.py

@@ -3,7 +3,7 @@
 """
 import requests
 
-url = "http://192.168.100.31:6062/title_list"
+url = "http://localhost:6062/title_list"
 
 response = requests.request(
     "POST",

파일 크기가 너무 크기때문에 변경 상태를 표시하지 않습니다.
+ 1 - 7
test/rank_dev.py


이 변경점에서 너무 많은 파일들이 변경되어 몇몇 파일들은 표시되지 않았습니다.