merge master

evaluate_agent_v2.py

@@ -98,13 +98,12 @@ class PushMessageEvaluator(AgentEvaluator):
         """
         prompt = f"""
         **评估任务说明：**
-        **任务场景**： agent 和用户超过 24h 没有对话，agent 主动推送消息(message)，希望能够与用户保持联系。
+        **任务场景**： agent和用户超过一段时间没有对话，agent 主动推送消息(message)，希望能够与用户保持联系。
         **评估任务**：请基于以下输入信息：
             - 历史对话记录：dialogue_history  
             - 用户预设信息：user_profile  
             - agent 预设信息：agent_profile  
             - 消息发送时间：send_time
-            - 历史唤起记录：history_push_record
             结合以下评估指标对 message 的质量进行打分
         **每个子指标满分 1 分**：
         **评估维度与示例说明：**
@@ -209,11 +208,11 @@ class PushMessageEvaluator(AgentEvaluator):
             - 每项后附简要中文评估理由，客观明确， 如果是节日日期相关，把节日日期也展示。
         
             **输入：**
-                - **对话历史**： {dialogue_history}
-                - **Agent 预设信息**： {agent_profile}
-                - **用户预设信息**： {user_profile}
-                - **Agent 消息**： {message}
-                - **Agent 发送消息时间**：{send_time}
+                - **dialogue_history**： {dialogue_history}
+                - **agent_profile**： {agent_profile}
+                - **user_profile**： {user_profile}
+                - **message**： {message}
+                - **send_time**：{send_time}
                 
                 **输出格式要求：JSON 格式**
                 输出格式参考：{self.output_format}
@@ -245,8 +244,7 @@ class PushMessageEvaluator(AgentEvaluator):
         return None
 
     def evaluate(self):
-        with open("push_dataset_new_0613_24h.json", encoding="utf-8") as f:
-            data = json.load(f)
+
 
         # data = data[:8]
 

generate_data_set.py

@@ -269,10 +269,12 @@ def generate_push_dataset():
                 },
                 dialogue_history=conversation
             )
+
             if not push_message:
                 print("push message error")
                 continue
             else:
+                print("push message success", push_message)
                 insert_query = f"""
                     insert into internal_conversation_data
                     (dataset_id, staff_id, user_id, version_date, conversation, content, send_time, send_type, user_active_rate)

pqai_agent/agents/message_push_agent.py

@@ -1,4 +1,5 @@
 import datetime
+import time
 from typing import Optional, List, Dict
 
 from pqai_agent.agents.simple_chat_agent import SimpleOpenAICompatibleChatAgent
@@ -140,6 +141,8 @@ class MessagePushAgent(SimpleOpenAICompatibleChatAgent):
         self.run(query)
         for tool_call in reversed(self.tool_call_records):
             if tool_call['name'] == MessageNotifier.message_notify_user.__name__:
+                time.sleep(1)
+                print(tool_call['arguments']['message'])
                 return tool_call['arguments']['message']
         return ''