医疗问答评测：从场景到评分与改进
在一次医疗垂类大模型课题组选拔作业中，我从大众用户与医疗专业人群出发，拆解 9 类场景、设计 52 条手工问题，自定质量、权威性与时效性评分规则，对元宝、豆包、夸克完成人工比较与报告。这篇复盘记录如何定义要测什么、怎样比较，以及如何从具体回答提出产品改进；自动评分仍停留在小样原型。
从人群拆到具体场景
我先区分使用人群，再逐层细化他们可能遇到的任务，最后设计适合场景的测试问题。大众用户可能在问是否需要就医、如何理解报告；医疗专业人群则可能检索指南、讨论科研方法或查询政策。
通过“人群—场景—问题”的对应关系，每道题都有具体的使用背景。52 条手工问题构成这次作业的测试范围，来源是场景推导，不是患者咨询或用户访谈。
按“人群 → 场景 → 问题”展开查看。数字为手工用例数量，不是用户需求占比。
大众用户
28 条问题
诊前自查14 条
症状查询 → 症状分析
近几日总是感觉口干口苦，半夜会感觉烧心，这可能是什么问题？
手工构造 · 分类表!A2:F2症状查询 → 相似疾病对比
近日无大便，常感觉下腹僵硬，是不是肠梗阻，还是只是简单的急性肠胃炎？
手工构造 · 分类表!A3:F3症状分诊 → 程度判断
突发剧烈头痛并伴随面部扭曲有必要去就诊吗？
手工构造 · 分类表!A4:F4症状分诊 → 就诊建议
久坐后出现单侧腿麻，腰疼，应该去什么科室检查？
手工构造 · 分类表!A5:F5疾病查询 → 疾病查询
阑尾炎是什么？
手工构造 · 分类表!A6:F6疾病查询 → 病前预防
老年人预防心脑血管疾病的最新推荐方法是什么？有哪些生活方式和饮食建议？
手工构造 · 分类表!A7:F7疾病查询 → 疾病早筛查询
胃癌早筛方法有哪些？
手工构造 · 分类表!A8:F8疾病查询 → 症状查询
阑尾炎有什么显著症状？
手工构造 · 分类表!A9:F9疾病查询 → 治疗方案查询
3 岁小孩多日高烧不退我现在要做些什么才能退烧？
手工构造 · 分类表!A10:F10疾病查询 → 疾病护理查询
老年高血压患者行动不便，我应该如何更好的照顾他们？
手工构造 · 分类表!A11:F11疾病查询 → 注意事项查询
慢性肠胃炎平时生活需要注意什么？
手工构造 · 分类表!A12:F12就医流程与医保政策 → 医院查询
深圳南山泌尿外科优秀的医院有哪些？
手工构造 · 分类表!A13:F13就医流程与医保政策 → 挂号与转诊
初次看内分泌的路径是什么？要准备什么资料？
手工构造 · 分类表!A14:F14就医流程与医保政策 → 医保政策
我是广州的医保，在深圳异地就医备案后能刷医保吗？
手工构造 · 分类表!A15:F15
报告/检查解读6 条
实验室检查查询 → 报告项目解读
这份血常规报告中的全血超敏 C 反应蛋白值 15.47mg/L，是否表示存在炎症或感染？正常范围是多少？
手工构造 · 分类表!A16:F16实验室检查查询 → 报告总结
这份尿检报告说明了什么？要进一步检查吗？
手工构造 · 分类表!A17:F17影像学检查查询 → 报告解读
这份超声报告说明了什么？提示精索静脉曲张严重吗？
手工构造 · 分类表!A18:F18影像学检查查询 → 报告建议
这是我的胃镜报告，我该多久复查？
手工构造 · 分类表!A19:F19病理学检测查询 → 翻译病理学术语
病理报告里的‘影像提示 BI-RADS 4a；家族史阴性’是什么意思？
手工构造 · 分类表!A20:F20病理学检测查询 → 指标分析及就诊建议
病理报告写‘腺瘤伴高级别上皮内瘤变’，这是癌吗？严重吗？需要进一步检查吗？
手工构造 · 分类表!A21:F21
药物查询5 条
药物作用机制
阿司匹林的作用机制以及其临床使用的适应症和禁忌症有哪些？
手工构造 · 分类表!A22:F22药物适应症
左氟沙星适用于什么疾病或症状？
手工构造 · 分类表!A23:F23药物不良反应
投包类药物有什么副作用？
手工构造 · 分类表!A24:F24药物注意事项
孕妇服用奥美拉唑时有什么注意事项？
手工构造 · 分类表!A25:F25药物使用方式
老人要使用胰岛素时要怎么使用？用量多少？
手工构造 · 分类表!A26:F26
治疗方案3 条
治疗方案建议
半月板撕裂要如何治疗？
手工构造 · 分类表!A27:F27治疗方案替换建议
脂肪肝能靠运动逆转吗？
手工构造 · 分类表!A28:F28病后管理
糖尿病日常有什么注意事项？要如何管理日常生活？
手工构造 · 分类表!A29:F29
医疗领域专业人群
24 条问题
临床决策支持5 条
个体化治疗方案推荐
现有一名 70 岁的糖尿病男性，想要处理下肢伤口，能否给我一个针对性的治疗方案？
手工构造 · 分类表!A30:F30指南与循证证据对比
根据最新的高血压治疗指南，药物选择有哪些推荐？与循证医学证据相比，是否有新变化？
手工构造 · 分类表!A31:F31多学科会诊支持
在肿瘤患者的治疗中，如何通过多学科会诊来决定治疗方案？
手工构造 · 分类表!A32:F32手术适应证与术前准备
对于一名患有冠心病的 60 岁男性患者，进行冠脉旁路移植手术时有哪些手术适应证需要考虑？要做哪些准备？
手工构造 · 分类表!A33:F33康复与随访
对于一名治愈的乳腺癌患者，术后有什么康复建议？术后随访的关键项目是什么？
手工构造 · 分类表!A34:F34
传染病防控3 条
疫情监测与报告
目前我国的最新基孔肯亚热致死率是多少？覆盖范围有什么特征？
手工构造 · 分类表!A35:F35疫苗接种与群体免疫
目前我国的 HPV 接种策略是什么？如何提高接种人数？
手工构造 · 分类表!A36:F36隔离与消杀措施
如何防控我国目前出现的基孔肯亚热疫情？
手工构造 · 分类表!A37:F37
科学研究9 条
科研信息检索 → 临床指南检索
请帮我找一下 2025 年最新版的高血压诊治指南。
手工构造 · 分类表!A38:F38科研信息检索 → 高水平论文查找
请找一篇近两年发表在 The Lancet 上关于糖尿病新药的临床试验论文。
手工构造 · 分类表!A39:F39科研信息检索 → 临床试验数据库查询
目前在中国登记的针对胰腺癌的新药临床试验有哪些？
手工构造 · 分类表!A40:F40实验与数据分析 → 实验设计方法
如何设计一个随机对照试验来评估新降糖药的疗效？
手工构造 · 分类表!A41:F41实验与数据分析 → 统计学分析
在预后分析中，常用的统计方法有哪些？
手工构造 · 分类表!A42:F42实验与数据分析 → 组学与生物信息学工具
有哪些常用的单细胞 RNA 测序分析工具？
手工构造 · 分类表!A43:F43研究成果转换 → 临床前研究到临床试验路径
一种新型抗肿瘤药物在进入人体试验前需要经历哪些步骤？
手工构造 · 分类表!A44:F44研究成果转换 → 新药研发流程
一个抗血栓的新药从研发到上市一般的流程是什么？需要多长时间？
手工构造 · 分类表!A45:F45研究成果转换 → 医疗器械研发流程
我想做一个人工智能影像诊断软件，作为医疗器械审批、上市流程是怎样的？
手工构造 · 分类表!A46:F46
医疗教育与培训4 条
医学基础教育
帮我总结一下人的神经中枢有什么？
手工构造 · 分类表!A47:F47住院医师规范化培训
规培医师在内科轮转时，常见的病例书写格式和注意事项有哪些？
手工构造 · 分类表!A48:F48专科培训
神经外科专科培训中，颅脑损伤手术的常见并发症及处理方式是什么？
手工构造 · 分类表!A49:F49手术操作视频与案例库
帮我找一下开颅手术的操作视频和案例分析
手工构造 · 分类表!A50:F50
医疗政策与法规3 条
临床试验伦理审批
我想研究一下‘通过基因工程实现对艾滋病的免疫’的课题，这能通过伦理审查吗？
手工构造 · 分类表!A51:F51药物准入政策
我想研发一款免疫药物，我想知道相关的入市政策。
手工构造 · 分类表!A52:F52医患纠纷与法律援助
患者因不遵医嘱导致病情恶化，持刀冲进诊室砍伤我，我作为医生能做什么来维护自己的权益？
手工构造 · 分类表!A53:F53
原始手工构造用例，不来自患者咨询或用户访谈。保留历史年份、原始措辞与分类；不包含报告图片。
用什么问题，检查什么
从中选出六条原始问题，把测试输入和观察重点放在一起看：除了直接提问，我也构造了错别字、复合意图和带检索约束的问题。
以下测试意图是本次复盘补充的解读，与原表问题分开保存，并非医学验证结论。
| 原始问题 | 观察重点 |
|---|---|
诊前自查 → 症状分诊 → 程度判断 突发剧烈头痛并伴随面部扭曲有必要去就诊吗？ 分类表!A4:F4 |
风险识别 观察回答是否识别就医意图与高风险信号，而不只是解释症状。 |
报告/检查解读 → 实验室检查查询 → 报告总结 这份尿检报告说明了什么？要进一步检查吗？ 分类表!A17:F17 |
复合需求 同时提出报告解读与下一步检查两个问题，用于观察复合需求是否被分别回应。 |
药物查询 → 药物不良反应 投包类药物有什么副作用？ 分类表!A24:F24 |
错字理解 “投包”是有意构造的错别字，观察系统能否理解原意；不改写测试输入。 |
临床决策支持 → 康复与随访 对于一名治愈的乳腺癌患者，术后有什么康复建议？术后随访的关键项目是什么？ 分类表!A34:F34 |
多意图回应 把康复建议和随访项目放在同一个问题里，观察多意图回应是否完整。 |
科学研究 → 科研信息检索 → 临床指南检索 请帮我找一下 2025 年最新版的高血压诊治指南。 分类表!A38:F38 |
时间约束 同时限定年份和指南主题，观察来源与发布时间是否可核验。这是 2025 年的历史测试问题。 |
科学研究 → 科研信息检索 → 高水平论文查找 请找一篇近两年发表在 The Lancet 上关于糖尿病新药的临床试验论文。 分类表!A39:F39 |
多条件检索 同时限定期刊、时间、主题与研究类型，观察检索结果是否满足每项约束。 |
结合医学回答特点，定义比较标准
我自行选择质量、权威性和时效性三个维度，设计 0—4 分规则，分别观察回答表现、引用来源与资料时间，再完成人工评分、分领域汇总和案例分析。
将“回答看起来不错”拆成几个判断依据，能帮助我解释差异。但当时由我个人评分，没有多位评审者的一致性校验，也没有医学专家基线。历史分数用于保留当时的判断，后续分析需要回到回答与依据本身。
同一道题，三款产品怎么答
这道题来自我当时构造的诊前自查用例。用户给出了症状，却还在犹豫“要不要去医院”。这次整理作品集，我重新读了三份回答：它们怎样处理这个问题，又有哪些安排值得肯定或继续追问？
突发剧烈头痛并伴随面部扭曲有必要去就诊吗？
输入：纯文字问题，无需附图。本次复盘 · 就医引导 · 2026-09-03
我把每份回答中最影响判断的部分摘出来，先看它怎样组织信息，再说明我认可什么、为什么仍有保留。原质量分保留在各自回答旁。
元宝
原质量评分：4 / 4
您描述的“突发剧烈头痛并伴随面部扭曲”是一个非常紧急的医疗信号，强烈建议您立即就医，或拨打急救电话。
风险表中的症状组合
症状组合出现 急性脑卒中的可能性极高 突发剧烈头痛合并面部扭曲，强烈提示可能发生了危及生命的脑血管疾病。
回答拆解：它先给出紧急程度和行动建议，再用表格解释症状与风险，之后补充就医及沟通指引。整个回答围绕“现在怎么办”展开，读者不用先读完病因分析才能找到下一步。
评价理由：我认可这种先行动、后解释的组织方式，它更贴近这道题的就医决策需求。不过，风险表中的“可能性极高”仍值得追问：回答解释了为何要警惕，却没有进一步说明这个概率程度的依据。行动指引清楚，是我肯定它的部分；并不等于其中每个医学判断都已得到验证。
豆包
原质量评分：3 / 4
突发剧烈头痛伴随面部扭曲，属于需要立即就医的紧急情况，可能提示严重的脑部、神经或血管问题，绝不能忽视，需尽快前往医院急诊科排查，避免延误潜在危险疾病的诊治。
回答末段
建议立即拨打120或由家人陪同前往最近医院的急诊科，切勿拖延。
回答拆解：它在开头明确建议立即就医，接着依次展开潜在病因、就医前注意事项和可能的检查，直到末段才给出拨打 120 的具体建议。回答内容较多，整体更像一份带就医提醒的症状说明。
评价理由：我认可它回应了“要不要去”的问题，也补充了就诊前可记录的信息。我的保留主要在信息优先级：对于正在犹豫是否就医的人，解释占据了较多篇幅，具体急救方式却出现较晚。我更希望把这句行动建议前置，再按需展开原因；问题是信息放在哪里，不是它完全没有给出建议。
夸克
原质量评分：3 / 4
突发剧烈头痛并伴随面部扭曲有必要立即就医，这可能是严重健康问题的信号。请保持冷静，这种情况虽可能由严重疾病引起，但及时就医通常能有效控制病情。以下是可能的原因及建议：
后文的病因分组
可能性较高的原因： 1. 原发性头痛疾病：如偏头痛或丛集性头痛，可能引发剧烈疼痛和面部表情变化，通常与神经血管功能紊乱有关。 2. 颅内病变：如脑肿瘤或脑血管畸形，可能引起头痛和面部神经受压症状，如面部扭曲或疼痛。 可能性较低但紧急的原因： 1. 脑卒中：包括脑出血或蛛网膜下腔出血，可能表现为突发剧烈头痛和面部神经症状，如面部扭曲、口角歪斜等。 2. 颅内感染：如脑膜炎或脑炎，可能引起剧烈头痛、面部表情异常，并伴有发热、颈部僵硬等症状。
回答拆解：它先明确建议立即就医，再把原发性头痛和颅内病变列入“可能性较高”，把脑卒中和颅内感染列入“可能性较低但紧急”，最后补充就诊和记录症状的建议。这里不只是列举病因，还向用户传达了一个高低次序。
评价理由：我认可它没有漏掉就医提醒。但我会追问，这个高低排序基于什么？题目只给了两个症状，“面部扭曲”的具体表现也不明确；原文解释了各病因可能关联的症状，却没有说明它们之间为何这样排序。“可能性较低”与“需要立即处理”并不矛盾，我质疑的是比较依据没有交代。对这道就医决策题，我更希望先讲清需要优先排查的风险，而不是让用户自行解读一份依据不明的概率排序。
三份回答都给出了就医建议，差别不在有没有回答，而在行动信息的位置、解释占据的篇幅，以及病因判断是否说清了依据。这也是我希望通过这道题比较的产品能力。
关于这次复盘与引用
分数沿用 2025 年的评测记录；回答拆解是我在 2026 年重读回答后的补充，这次没有重新评分。我主要比较信息组织、行动指引和判断依据，不把单条用例扩展为产品排名。原质量标准还涉及医学准确性，本次没有进行专业医学复核。下列资料用于核对医学背景，不提供本例的疾病概率或评分结论。
原回答来源：元宝（用例评分表!E5）；豆包（用例评分表!F5）；夸克（用例评分表!G5）。
- CDC：卒中警示症状与急救
将突发、不明原因的剧烈头痛和面部无力等列为警示症状，建议立即联系急救。用于核对紧急求助方向。
- NHS：卒中的诊断
说明医生会在怀疑卒中后进一步检查。我用它理解诊断过程，但不能据此推出“检查前不可以判断可能性”。
资料核对日期：2026-09-03。
查看当时的分数、规则与测试条件
| 评测项 | 元宝 | 豆包 | 夸克 |
|---|---|---|---|
| 答案质量 | 4 | 3 | 3 |
| 来源权威 | 3 | 0 | 3 |
| 来源时效 | 4 | 0 | 4 |
以下为 2025 年的单人历史评分，按原表保留。上文是本次整理补充的回答拆解与评价，不重新计算原分。本次没有重新评定来源权威性、时效性或全文医学准确性。
2025 年 10 月的 Web 端测试。原报告记录三款产品均开启深度思考，元宝另主动开启联网搜索。这些设置并不等同于完全一致的测试条件。
- 质量 · 4 分
- 回答完全准确，清晰明了，逻辑严谨，语言流畅。评分标准!B2
- 质量 · 3 分
- 回答基本准确，表达清晰，但有小部分细节问题或表达不够简洁。评分标准!B3
- 权威 · 3 分
- 引用来源来自各大官方网站，可靠但可能不如文章。评分标准!C3
- 权威 · 0 分
- 没有引用。评分标准!C6
- 时效 · 4 分
- 引用的资料或研究是最新的（例如2025年发布的研究或指南）。评分标准!D2
- 时效 · 0 分
- 没有引用。评分标准!D6
问题来源：用例评分表!B5。
分数来源：用例评分表.xlsx · 用例评分表!I5:Q5。
从评价走向产品改进
这个例子让我更关注回答的行动顺序。落到产品上，我会先把是否需要立即就医、怎样联系急救放在前面，再提示用户整理发作时间、症状表现和伴随不适。病因解释可以继续展开，但不应挡在用户需要采取的行动之前。
这是一条案例带来的改进方向。若继续验证，需要加入不同风险程度的对照题，检查它既能识别紧急求助，也不会把所有头痛问题都升级成急救，并请医学专业人员复核。
自动化原型：生成用例与模型评分
人工评测之外，我还探索了两类自动化：基于分类表调用 DeepSeek 生成测试问题与设计说明；将已有产品回答交给模型，按评分规则返回结构化结果。后者属于 LLM-as-a-Judge，即使用模型评估另一份模型输出。
自动评分脚本包含 Excel 批处理、JSON 结果校验、失败重试和中间保存等机制。已有材料保留 52 行自动生成用例，但自动评分只有 3 条小样，且存在分类与问题字段映射错位。生成用例、完成评分与证明评分可靠，是三个不同的进度。
因此，这部分按原型探索呈现。它还没有与经过复核的人工参考结果校准，也未形成稳定、可信的批量评分流程。
回看方法：评分器也需要被检查
回看这次作业，我当时对 AI 评测的理解仍处于早期。三款产品的联网设置没有统一，结果受到产品模式与回答能力的共同影响；自动评分也没有完成可靠性验证。
现在重新设计，我会先明确评测对象：如果比较用户实际使用的产品体验，就记录各产品模式，把检索能力纳入范围；如果比较特定条件下的回答能力，则控制相应输入与设置。原有结果不能直接解释为底层模型能力排名。
其次，我会把宽泛评分描述转成可核对的判断，区分无法核验与确有错误，再修正字段映射，在固定参考样本上比较模型裁判与人工判断，记录分歧后决定是否扩大自动化范围。这些是后续改进方向，尚未在原作业中完成。
这段实践已经形成了从人群、场景到用例和标准的设计过程，也让我看到评测之后还要继续检查：差异能否解释、建议是否可执行，以及优化后应怎样重新验证。