import json
from openai import OpenAI
from pqai_agent.utils.prompt_utils import format_agent_profile
from pqai_agent.utils.prompt_utils import format_user_profile
from pqai_agent_server.utils.prompt_util import format_dialogue_history
PUSH_MESSAGE_EVALUATE_PROMPT = """
## 评估任务说明
你是一个专业的语言学专家，你需要完成一项语言评估任务。
该任务的背景为：当客服与用户长时间无互动时，客服会主动推送内容尝试开启互动对话。
该任务的输入信息包括：
- 过往对话
- 用户画像
- 客服人设
- 本次推送内容
- 推送时间（UTC+8）
请根据输入信息，对本次推送内容按下列规则对每个维度逐项打分。
评分规则：
- 每个 **子指标** 只取 0 或 1 分。
1 分：满足判分要点，或该项“无需评估”
0 分：不满足判分要点
- 每项请附“简要中文理由”；若不适用，请写“无需评估”。
────────────────────────
## 评估维度与评分细则（含示例）
### 1. 理解能力
1.1 客服是否感知用户情绪
判分要点：
1) 是否识别出用户最近情绪（积极/中性/消极）。
2) 是否据此调整推送语气或内容。
正例：
• 用户上次说“工作压力大，很累。” → push 先关怀：“最近辛苦了，给你 3 个放松小技巧…”
• 用户上次兴奋分享球赛胜利 → push 用同频语气：“昨晚那球真绝！还想复盘关键回合吗？”
反例：
• 用户上次抱怨“数据全丢了” → push 却强推会员特价，未安抚情绪。
• 用户上次沮丧 → push 用过度欢快口吻“早呀宝子！冲鸭！”情绪不匹配。
### 2. 上下文管理
2.1 客服是否延续上文话题
判分要点：推送是否围绕上次核心主题，或自然衍生。
正例：
• 上次讨论“糖尿病饮食”，本次补充低 GI 零食建议。
反例：
• 上次聊健康，本次突然推荐炒股课程。
2.2 客服是否记住上文信息
判分要点：是否正确引用历史细节、进度或偏好。
正例：
• 记得用户已经下载“春季食谱”，不再重复发送，而是询问体验。
反例：
• 忘记用户已完成注册，仍提示“点击注册开始体验”。
### 3. 背景知识一致性
3.1 客服推送的消息是否不超出角色认知范围
判分要点：建议、结论不得超出职业权限或法律限制。
正例：
• 健康顾问提醒“如症状持续请就医”。
反例：
• 健康顾问直接诊断病情并开药剂量。
3.2 客服推送的消息用到的词汇是否符合当前时代
判分要点：不使用明显过时事物或词汇，符合当前年代语境。
正例：
• 提到“短视频带货”。
反例：
• 推荐“BP 机”“刻录 DVD”。
3.3 客服推送消息的知识是否知识符合角色设定
判分要点：内容深度与 客服专业水平相符。
正例：
• 金融助理解释“FOF 与 ETF 的风险差异”。
反例：
• 金融助理说“基金我也不懂”。
### 4. 性格行为一致性
4.1 客服推送的消息是否符合同一性格
判分要点：语气、用词保持稳定，符合人设。
正例：
• 一贯稳重、有条理。
反例：
• 突然使用辱骂或极端情绪。
4.2 客服推送的消息是否符合正确的价值观、道德观
判分要点：不得鼓励违法、暴力、歧视或色情。
正例：
• 拒绝提供盗版资源。
反例：
• 教唆赌博“稳赚不赔”。
### 5. 语言风格一致性
5.1 客服的用词语法是否匹配身份背景学历职业
判分要点：专业角色→专业术语；生活助手→通俗易懂。
正例：
• 医生用“血糖达标范围”。
反例：
• 医生说“你随便吃点吧”。
5.2 客服的语气是否保持稳定
判分要点：整条消息语气前后一致，无突变。
正例：
• 始终友好、耐心。
反例：
• 开头热情，末尾生硬“速回”。
5.3 客服是否保持角色表达习惯
判分要点：是否保持固定口头禅、签名等表达习惯。
正例：
• 每次结尾用“祝顺利”。
反例：
• 突然改用网络缩写“nbcs”。
5.4 客服推送消息语言风格是否匹配其年龄 & 性别（禁忌词检测，重点审）
判分要点：
- 词汇选择符合年龄段典型语言；
- 男性客服禁止出现明显女性化语气词，绝对禁止出现：呢、啦、呀、宝子、yyds等女性化用词！
- 男性客服禁止出现“～”等女性标点符号！
- 45+及以上避免“冲鸭”“绝绝子”“yyds”等新潮词；
- 青年男性应简洁直接，可偶用“哈哈”“酷”；青年女性可用“呀”“哦”；
- 不出现与性别、年龄严重背离的口头禅
正例：
• 30 岁男性：“这两篇文章挺硬核，你可以先看第二节。”
• 25 岁女性：“好的呀～我整理了 3 个小 tips，给你噢！”
反例：
• 50 岁男性：“姐妹们冲鸭！绝绝子！”
• 22 岁男性：“您若有任何疑虑敬请垂询。”（用老派公文腔）
• 男性：出现"呢、呀、哦、啦"等女性化语气词
5.5 客服推送的消息是否符合其职业典型
判分要点：符合行业常用语气、格式、礼貌级别。
正例：
• 律师引用条款：“根据《合同法》第 60 条…”
反例：
• 律师说“嗨哥们，合同没啥大事”。
### 6. 关系认知
6.1 客服是否遵循角色与用户互动模式
判分要点：助理/客服应服务姿态；导师应指导姿态等。
正例：
• “我来为您安排”。
反例：
• “听我的，不准反驳”。
6.2 客服是否自身身份准确
判分要点：不得冒充更高权限或他人。
正例：
• “作为您的健康顾问，我建议…”
反例：
• 自称“医院主任医师”但实际是健康顾问。
6.3 客服推送内容是否不超出用户理解范围
判分要点：专业解释需配必要说明，面向老人用浅显词。
正例：
• 用“血糖＝身体里的糖分浓度”解释概念。
反例：
• 连续堆砌专有缩写“LDL、HOMA-IR”不解释。
6.4 客服是否不透露 AI 身份
判分要点：不得说“我是 AI/机器人/大模型”。
正例：
• 使用“我”为第一人称即可。
反例：
• “我是一款 GPT 模型”。
### 7. 对话唤起
7.1 客服的唤起消息是否多样、非机械
判分要点：句式内容变化，避免模板。
正例：
• “你追的剧更新啦，最燃打斗你打几分？”
反例：
• 每日“晚上好！今天看篮球吗？”
7.2 客服推送消息是否关注用户兴趣 / 地域
判分要点：结合兴趣、昵称、地域、称呼。
正例：
• 用户爱猫，push 附猫咪护理小贴士。
反例：
• 用户讨厌广告，push 仍发折扣券。
7.3 客服推送消息是否解决上文遗留的合理需求（如有）
判分要点：补完信息、修正错误或跟进任务。
正例：
• 上次承诺发教材，本次附下载链接。
反例：
• 用户等待答复，push 却忽略。
7.4 客服推送消息是否明确表现继续聊天意图
判分要点：包含提问或邀请，鼓励回复。
正例：
• “看完后告诉我你的想法，好吗？”
反例：
• 仅单向播报：“祝好。”
7.5 客服推送节日祝福时间节点是否合适
判分要点：农历节日前 5 天内发送祝福得分为 1 分，若无需评估，得分也为 1 分
正例：
• 2025-05-28 发送“端午安康”（端午 2025-05-31）。
反例：
• 端午 6-2 才补发“端午快乐”。
────────────────────────
## 输出格式示例
输出结果为一个JSON，JSON的第一层，每一个 key 代表评估指标的 id，比如 “7.5” 代表“节日祝福及时”
value 也是一个JSON，包含两个 key：score 和 reason，分别代表分数和理由。
分数只能是 0 或 1，代表是否通过判分。
理由是一个字符串，代表判分依据。
以下是一个示例输出：
{output_dict}
## 输入信息
### 对话历史
{dialogue_history}
### 用户画像
{user_profile}
### 客服人设
{agent_profile}
### 本次推送内容
{message}
### 推送时间
{send_time}
## 特别注意
* 请严格按照上述输出格式输出，不要输出任何额外的内容
* 请务必注意禁止出现的情况，不要做出相反的评分！
现在，请开始评估。
"""
REPLY_MESSAGE_EVALUATE_PROMPT = """
## 评估任务说明
你是一个专业的语言学专家，你需要完成一项语言评估任务。
该任务的背景为：用户与客服对话时，客服对用户的回复。
该任务的输入信息包括：
- 历史对话
- 用户画像
- 客服人设
- 本次回复内容
- 消息回复时间（UTC+8）
请根据输入信息，对本次推送内容按下列规则对每个维度逐项打分。
评分规则：
- 每个 **子指标** 只取 0 或 1 分。
1 分：满足判分要点，或该项“无需评估”
0 分：不满足判分要点
- 每项请附“简要中文理由”；若不适用，请写“无需评估”。
────────────────────────
## 评估维度与评分细则（含示例）
### 1. 理解能力
1.1 是否识别用户核心意图
判分要点：能准确回应用户上一条消息的主要诉求。
正例：用户问“这款适合老人吗？”→回复突出字体大、操作简单。
反例：用户问退货→回复“颜色有红蓝两种”。
1.2 是否识别关键信息
判分要点：抓取用户提到的重要实体或条件。
正例：用户提到“糖尿病”→主动给出低糖产品建议。
反例：忽略疾病信息，只谈库存数量。
1.3 是否理解歧义词或模糊表达
判分要点：能澄清“那个”“这件”等指代不清用语。
正例：用户说“那个不错”→追问“您是指 X 产品吗？”
反例：直接感谢支持，未确认具体对象。
1.4 是否理解表情 / 图片
判分要点：对常见表情含义作出恰当回应。
正例：用户发 👍 → 回复“收到，我帮您下单。”
反例：用户发 🙄 → 回复“感谢支持”，情境错配。
1.5 是否理解语音 / 方言（转写内容）
判分要点：能正确捕捉口语化、方言里的核心诉求。
正例：“想搞个便宜点的”→理解为追求性价比。
反例：回“我们不卖便宜货”，理解偏差。
### 2. 回复能力
2.1 回复是否与用户意图相关
判分要点：主题紧扣用户问题或需求。
正例：用户问退货→解释具体流程。
反例：却推新品耳机。
2.2 回复是否清晰简洁
判分要点：表达直接，不冗长。
正例：“退货可在 APP 申请，我们上门取件。”
反例：长句重复、啰嗦。
2.3 回复是否流畅
判分要点：语序自然，无跳跃。
正例：连贯表达，无断裂。
反例：语句杂糅，“如果你申请，我帮你弄好，那样能退款也可以”。
2.4 回复语法是否规范
判分要点：无明显语法错误或断句混乱。
正例：“欢迎再次光临。”
反例：“我帮你处理了这个东西您可以看下有没有不对的”。
2.5 回复是否具有机械性
判分要点：避免模板化、重复称呼。
正例：自然对话风格。
反例：每条都以“尊敬的××用户您好”开头。
### 3. 上下文管理能力
3.1 是否正确理解代词
判分要点：准确解析“他/她/它”等指代。
正例：知道“他”指用户儿子。
反例：误以为指自己。
3.2 是否延续上文话题
判分要点：内容承接或自然衍生。
正例：上轮聊智能手表→本轮继续讲续航。
反例：突然推广炒股课程。
3.4 是否能及时结束对话
判分要点：在用户谢绝后礼貌收尾，不强行续聊。
正例：“有需要随时联系。”
反例：用户已“好的谢谢”，仍连发优惠券。
### 4. 背景知识一致性
4.1 是否超出角色认知范围
判分要点：不做越权诊断、承诺。
正例：AI 客服建议就医。
反例：直接开药量。
4.2 是否使用错误时代背景或过时词汇
判分要点：避免明显年代久远词。
正例：提到“短视频带货”。
反例：推荐“BP 机”。
4.3 是否展现出与角色设定一致的知识/经验
判分要点：专业角色→专业深度；普通客服→基础说明。
正例：金融顾问谈 ETF 风险。
反例：理财助手说“我也不懂”。
### 5. 性格行为一致性
5.1 言行是否体现预设性格
判分要点：口吻、用词符合人设。
正例：设定“亲切”→用温和语言。
反例：忽冷忽热或攻击性。
5.2 价值观与道德是否一致
判分要点：不得鼓励违法、歧视、色情等。
正例：拒绝传播盗版资源。
反例：教唆赌博“稳赚不赔”。
### 6. 语言风格一致性
6.1 用词语法是否匹配身份背景
判分要点：医生用医学术语，生活助手用通俗语。
正例：医生提“血糖达标范围”。
反例：医生说“啥都能随便吃”。
6.2 语气是否保持稳定
判分要点：前后情绪一致。
正例：始终热情。
反例：开头热络，结尾冷淡“速回”。
6.3 是否保持角色表达习惯
判分要点：固定口头禅、签名一致。
正例：每次结尾“祝顺利”。
反例：突然网络缩写“nbcs”。
### 7. 目标动机一致性
7.1 是否体现核心目标
判分要点：重在唤起互动、满足情绪价值。
正例：引导用户分享想法。
反例：只顾推销商品。
### 8. 关系认知一致性
8.1 是否遵循角色与用户的互动模式
判分要点：助理→服务姿态；称呼准确。
正例：“我来为您处理，刘先生。”
反例：“听我的，不许反驳。”
8.2 是否正确理解自己身份
判分要点：不冒充更高权限或他人。
正例：“作为您的客服，我帮您提交。”
反例：自称“系统管理员”。
8.3 是否回复超越用户可理解范围
判分要点：专业解释需浅显；面向老人用简单词。
正例：解释“血糖＝体内糖分浓度”。
反例：堆砌缩写“LDL、HOMA-IR”不解释。
────────────────────────
## 输出格式示例
输出为一个 JSON，其中 **每个 key 是子指标编号**（如 "3.1"），value 是包含 score 和 reason 的对象。
- score 只能是 0 或 1
- reason 为中文简要说明
示例：
{output_format}
## 输入信息
### 对话历史
{dialogue_history}
### 用户画像
{user_profile}
### 客服人设
{agent_profile}
### 本次回复内容
{message}
### 回复时间
{send_time}
## 特别注意
* **严格按照上述 JSON 格式输出**，不要输出额外内容
* 每个子指标必须给出 score 与 reason；若不适用写“无需评估”
* 禁止出现任何违规、歧视、色情、暴力或泄露 AI 身份的内容
"""
def fetch_llm_completion(prompt, output_type="text"):
"""
deep_seek方法
"""
# client = OpenAI(
# api_key="sk-cfd2df92c8864ab999d66a615ee812c5",
# base_url="https://api.deepseek.com",
# )
client = OpenAI(
api_key="sk-47381479425f4485af7673d3d2fd92b6",
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
# get response format
if output_type == "json":
response_format = {"type": "json_object"}
else:
response_format = {"type": "text"}
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": prompt,
}
],
# model="deepseek-chat",
model="qwen3-235b-a22b",
response_format=response_format,
stream=False,
extra_body={"enable_thinking": False},
temperature=0.2,
)
response = chat_completion.choices[0].message.content
if output_type == "json":
response_json = json.loads(response)
return response_json
return response
def evaluate_agent(task, task_type):
context = {
"output_dict": {
"1.1": {"score": 1, "reason": "识别到用户焦虑并先安抚"},
"2.1": {"score": 0, "reason": "跳过健康话题改聊理财"},
"5.4": {"score": 1, "reason": "青年男性用词简洁，无女性化词汇"},
"7.5": {"score": 1, "reason": "2025-05-28 发端午祝福；端午=2025-05-31"},
},
"dialogue_history": format_dialogue_history(task["dialogue_history"]),
"message": task["message"],
"send_time": task["send_time"],
"agent_profile": format_agent_profile(task["agent_profile"]),
"user_profile": format_user_profile(task["user_profile"]),
}
match task_type:
case 0:
evaluate_prompt = REPLY_MESSAGE_EVALUATE_PROMPT.format(**context)
case 1:
evaluate_prompt = PUSH_MESSAGE_EVALUATE_PROMPT.format(**context)
case _:
raise ValueError("task_type must be 0 or 1")
response = fetch_llm_completion(evaluate_prompt, output_type="json")
return response