AgentCoreService/evaluate_agent_v2.py

import json

from openai import OpenAI

def fetch_deepseek_completion(prompt, output_type='text'):
    """
    deep_seek方法
    """
    client = OpenAI(
        api_key='sk-cfd2df92c8864ab999d66a615ee812c5',
        base_url="https://api.deepseek.com"
    )

    # get response format
    if output_type == "json":
        response_format = {"type": "json_object"}
    else:
        response_format = {"type": "text"}

    chat_completion = client.chat.completions.create(
        messages=[
            {
                "role": "user",
                "content": prompt,
            }
        ],
        model="deepseek-chat",
        response_format=response_format,
    )
    response = chat_completion.choices[0].message.content
    if output_type == "json":
        response_json = json.loads(response)
        return response_json

    return response


class PushAgentEvaluator:
    def __init__(self, dialogue_history, push_message, push_time, user_profile, agent_profile):
        self.dialogue_history = dialogue_history
        self.push_message = push_message
        self.user_profile = user_profile
        self.agent_profile = agent_profile
        self.push_time = push_time

    def evaluate_user_match(self):
        """用户匹配度评估（24分）"""
        out_put_format = {
                "语言风格": {
                    "score": 8,
                    "reason": "语言风格符合用户特征，年龄、性别、地域等特征都匹配"
                },
                "信息边界": {
                    "score": 10,
                    "reason": "信息范围符合用户认知范围"
                },
                "特征匹配": {
                    "score": 10,
                    "reason": "特征匹配度高，user_profile中有兴趣爱好，健康状态，用药状态，居住地址，家庭成员等特征，在 push_message需要体现出来"
            }
        }
        analysis_prompt = f"""
            通过分析用户的以下特征
                年龄: {self.user_profile['age']}, 
                性别: {self.user_profile['gender']}, 
                兴趣: {self.user_profile['interests']},
                健康状态: {self.user_profile['health_conditions']},
                用药状态: {self.user_profile['medications']},
                居住地址: {self.user_profile['region']},
                家庭成员: {self.user_profile['family_members']},
            和 agent 发送的消息: {self.push_message}, 判断该消息是否和该用户的特征匹配
            包括一下三点，每一点的满分为 8 分：
                语言风格：是否符合用户的年龄、性别、地域等特征；
                信息范围：是否超出用户认知范围；
                特征匹配：如果 user_profile中有兴趣爱好，健康状态，用药状态，居住地址，家庭成员等特征，在 push_message需要体现出来
            输出的格式为 JSON，示例如：{out_put_format}
        """
        completion = fetch_deepseek_completion(prompt=analysis_prompt, output_type='json')
        return completion

    def evaluate_agent_consistency(self):
        """人设一致性评估（16分）"""
        out_put_format = {
            "语言风格": {
                "score": 8,
                "reason": "语言风格符合用户特征，年龄、性别、地域等特征都匹配"
            },
            "消息边界": {
                "score": 8,
                "reason": "信息范围符合用户认知范围"
            },
        }
        analysis_prompt = f"""
            通过分析 agent 的一下特征：
                职业：{self.agent_profile['occupation']},
                年龄：{self.agent_profile['age']},
                性别：{self.agent_profile['gender']},
                地址：{self.agent_profile['region']},
                教育背景：{self.agent_profile['education']},
                工作经验：{self.agent_profile['work_experience']}
            和 agent 发送的消息: {self.push_message}, 判断该消息是否和该 agent 的特征匹配
            包括一下 2 点，每一点的满分为 8 分：
                语言风格：是否符合 agent 的年龄、性别、地域等特征；需要从不同性别，不同职业，不同年龄， 不同地域的人的说话风格去分析
                信息范围：是否超出 agent 认知范围；
            输出的格式为 JSON，示例如：{out_put_format}
        """
        completion = fetch_deepseek_completion(prompt=analysis_prompt, output_type='json')
        return completion

    def evaluate_interest_arousal(self):
        """兴趣激发评估（30）"""
        out_put_format = {
            "好奇设计": {
                "score": 15,
                "reason": "包含开放式问题，包括对用户认知边界的探索，用户兴趣爱好的联想等方面"
            },
            "利益设计": {
                "score": 15,
                "reason": "如果用户在历史对话中提到了某种需求，新的唤起消息是否有为用户解决需求的趋势"
            }
        }
        analysis_prompt = f"""
            通过分析用户的以下特征
                年龄: {self.user_profile['age']}, 
                性别: {self.user_profile['gender']}, 
                兴趣: {self.user_profile['interests']},
                健康状态: {self.user_profile['health_conditions']},
                用药状态: {self.user_profile['medications']},
                居住地址: {self.user_profile['region']},
                家庭成员: {self.user_profile['family_members']},
            和 agent 发送的消息: {self.push_message}, 以及用户和 agent 的历史对话: {self.dialogue_history}, 
            判断该消息是否能唤起用户的兴趣，驱动用户的聊天激情，主要从以下几2个方面考虑，每一个要点满分 15分
                好奇设计：是否包含开放式问题，包括对用户认知边界的探索，用户兴趣爱好的联想等方面
                利益设计：如果用户在历史对话中提到了某种需求，新的唤起消息是否有为用户解决需求的趋势；
                        如果没提出，可以从用户特征中联想出用户的需求，比如用户的兴趣爱好，健康状态，用药状态，居住地址，家庭成员等特征，
                        在 push_message需要体现出来
            输出的格式为 JSON，示例如：{out_put_format}
        """
        completion = fetch_deepseek_completion(prompt=analysis_prompt, output_type='json')
        return completion

    def evaluate_execution_quality(self):
        """执行质量评估（15分）"""
        output_format = {
            "信息保真": {
                "score": 5,
                "reason": "信息真实"
            },
            "政策合规": {
                "score": 5,
                "reason": "发送消息是否符合现有政策要求，是否违反相关规则"
            },
            "语言拟人": {
                "score": 5,
                "reason": "表现出一定的拟人化和情商"
            }
        }
        analysis_prompt = f"""
            通过分析 agent 发送的消息：{self.push_message}, 
            信息保真（满分 5 分）:
                拆分消息重点各个事件点，联网搜索，判断事件是否为真实事件，比如说节日祝福需要和发送时间{self.push_time}对应， 天气需要和地区相关
                不能在早上发晚上好之类等等
            政策合规（满分 5 分）:
                并且判断发送的消息是否存在违反规则的现象。
            语言拟人:（满分 5 分）:
                判断发送的消息是否存在机械化，同质化的现象，比如重复发相同或者相似的消息，比如过于机械的回复等等
            输出的格式为 JSON，示例如：{output_format}
        """
        completion = fetch_deepseek_completion(prompt=analysis_prompt, output_type='json')
        return completion

    def evaluate_emotional_intelligence(self):
        """情感智能评估（15分）"""
        output_format = {
            "共情深度": {
                "score": 10,
                "reason": "识别用户情感状态，提供相应的回应"
            },
        }
        analysis_prompt = f"""
             通过分析用户的以下特征
                年龄: {self.user_profile['age']}, 
                性别: {self.user_profile['gender']}, 
                兴趣: {self.user_profile['interests']},
                健康状态: {self.user_profile['health_conditions']},
                用药状态: {self.user_profile['medications']},
                居住地址: {self.user_profile['region']},
                家庭成员: {self.user_profile['family_members']},
            和 agent 和用户的对话：{self.dialogue_history} 挖掘出用户的情感需求
            并且 agent 发送的消息: {self.push_message}, 判断该message是否能和用户共情，提升用户的情感体验
            满分 15分
            输出格式为 JSON，示例如：{output_format}
        """
        completion = fetch_deepseek_completion(prompt=analysis_prompt, output_type='json')
        return completion


def evaluate_push_agent(
        dialogue_history,
        push_message,
        push_time,
        user_profile,
        agent_profile
):
    # 创建评估引擎实例
    evaluator = PushAgentEvaluator(
        dialogue_history,
        push_message,
        push_time,
        user_profile,
        agent_profile,
    )

    # 执行模块化评估
    evaluation_report = {
        "基础能力": {
            "用户匹配": evaluator.evaluate_user_match(),
            "人设一致": evaluator.evaluate_agent_consistency()
        },
        "任务效能": {
            "兴趣激发": evaluator.evaluate_interest_arousal(),
            "执行质量": evaluator.evaluate_execution_quality(),
            "情感智能": evaluator.evaluate_emotional_intelligence()
        }
    }

    return evaluation_report


if __name__ == '__main__':
    with open("dev.json") as f:
        data = json.load(f)

    evaluation_report = evaluate_push_agent(
        data['dialogue_history'],
        data['push_message'],
        data['push_time'],
        data['user_profile'],
        data['agent_profile']
    )
    print(json.dumps(evaluation_report, indent=4, ensure_ascii=False))