AI赋能村医项目2023年度总结

乐知一心与长期关注农村基层诊疗议题的陕西师范大学教育实验经济研究所联手发起了“AI赋能村医”项目,旨在验证生成式AI在基层诊疗场景下的适配性和产品可行性,回应乡村医生的工作需求,提升他们的知识水平和诊疗能力,降低误诊率,促进健康公平。

10 个月前   •   11 分钟 阅读

通过 乐知一心

导读

上海市乐知一心慈善基金会(以下简称“乐知一心”)基于“推动健康公平”的价值观高度关注中国基层诊疗话题。据调查,中国有约130万名乡村医生,他们长期服务着5亿的广大农村人口。近年来,基层医疗卫生资源的可及性在政策的引领下获得了显著提升,但基层医疗服务的质量仍存在较大的进步空间。

近年来智能手机在基层医疗场景已经有了广泛的普及,乡村医生普遍有了通过手机和互联网进行信息检索的经验。对于乡村医生培训与赋能的场景,医疗领域和公益行业在过去开展过基于互联网技术的在线培训、远程问诊和人工智能辅助诊断(CDSS)的实践。我们欣喜地看到,2022年后生成式人工智能领域的飞速发展提供了创新机遇,其优势在于交互简单、功能强大、全天候响应且学习成本低,这也许会成为改变基层诊疗和传统村医培训的“突破口”。

2023年伊始,乐知一心与长期关注农村基层诊疗议题的陕西师范大学教育实验经济研究所(以下简称“CEEE”)联手发起了“AI赋能村医”项目,旨在验证生成式AI在基层诊疗场景下的适配性和产品可行性,回应乡村医生的工作需求,提升他们的知识水平和诊疗能力,降低误诊率,促进健康公平。本文汇总了2023年的需求调研、产品试点成果和相关思考,整理为年度报告,分享给公益同行,欢迎大家的评论和反馈。

执行者摘要

为了提高基层诊疗服务水平,发掘支持与赋能乡村医生的创新手段,乐知一心团队于2023年开发了基于大语言模型的AI辅助问诊产品“村医小助手”,并联合CEEE团队在陕西省开展了小规模试点。

实验发现乡村医生对于AI产品的满意度和易用度评价较高,医生认为产品可解决日常工作中70%的需求,也可提高他们的相应临床知识和技能;但是标准化病人测试结果显示现有短期干预对诊疗质量没有显著改善。

未来基金会将继续以中国农村基层诊疗作为密切关注的议题之一,以资助具体项目的方式打磨产品、累积洞察,在未来10年中逐步打造为赋能基层诊疗的干预范式。

我们做了什么?

项目团队在2023年上半年开展了一系列对于乡村医生诊疗问题现状的研讨,前往项目地开展了多次考察与访谈,了解了乡村医生对于诊疗辅助工具的需求,初步设计了生成式AI在村医场景下的干预模式。在2023年下半年,项目团队进行了村医辅助诊疗工具的产品研发以及在陕西省某县的小规模试点评估

2023年3-6月:通过田野调查和桌面研究,剖析基层医疗服务现状。

  • 项目团队拜访了2个乡卫生院和6个村卫生室,对卫生院院长和村医进行访谈,了解当地患者概况、常见病、医疗条件、村医接受培训的情况以及村医的科技素养。

2023年7-9月:策划干预模式,完成“村医小助手”产品开发,调试AI提示语。

  • 基于村医需求,项目团队设计并开发了基于生成式AI技术的“村医小助手”,以网页链接的形式部署于手机和电脑中。项目团队经过多轮实验与医生真人测试,为村医小助手定制了提示语(prompts)。医生可以通过多轮对话形式,获得多种疾病类型及中西医结合的诊疗建议。
  • 为了提升陕西方言使用者的用户体验,项目团队与科大讯飞三声有幸AI公益项目组合作,加入了陕西话方言语音听写能力,让村医小助手获得方言语音转文字能力。
  • 项目团队还专门针对基层医生的需求开发了一套使用指南,其中包含了平台操作和沟通技巧等内容。
村医小助手使用说明书

2023年9月:前往项目地进行产品部署及培训辅导。

  • 项目团队从2个乡镇选取了15名医生,5名A村村医和5名A村乡镇医生共同作为项目的干预组接受AI工具的辅助诊疗支持,5名B村村医作为项目的对照组。
  • 项目团队在试点乡镇卫生院开展了村医小助手操作培训会,在医生手机上安装村医小助手并进行病例演示和练习。与此同时,项目团队在5个村卫生室进行了实地走访和答疑解惑。
村医小助手的教学和上手练习
村医小助手的手机页面

2023年8-9月:针对项目干预的调研和评估

  • 为分析项目的干预效果,项目团队对于村医的诊疗情况进行了前后测,采用访谈问卷、临床情景知识测试标准化病人方法,深入了解村卫生室和村医的基本情况、医生工作需求、医生互联网技术素养和基层医疗服务质量等信息,并对村医小助手的有效性进行测试。

2023年乐知一心在AI赋能村医的项目总投入为172,675元,在开发流程中基金会团队使用了开源大模型技术和免费公共资源以降低开发成本,具体明细如下图:

我们学到了什么?

在干预的13天内,10名乡村医生为他们所接诊的部分患者使用了村医小助手进行辅助问诊。平均每次问诊会展开2-3轮与AI的对话,累计使用141次村医小助手。点击此链接可获取关于本期实验的《项目报告》。要点如下:

对于村医小助手的用户体验,调查问卷反映出了较高的满意度。医生认为村医小助手可以解决其日常中70%的工作需求。通过使用村医小助手,医生认为自己的临床知识和技能都有提高,诊断自信心也有所提升。在互联网技术素养方面,医生对AI医疗工具的使用态度、信息的信任感和功能的信任感方面都有提升。83%的患者对医生使用村医小助手持支持态度。

与此同时,医生反馈村医小助手有答非所问和回复冗长的问题。绝大部分村医并不能熟练使用拼音打字输入和方言转文字功能,造成了输入困难的问题。

在干预成效层面,标准化病人测试结果发现,村医小助手13天的短期介入并没有显著提升基层医生的医疗服务水平。

这一现象反射的不仅仅是村医小助手本身的局限,也指向乡村问诊场景下AI产品应用的问题,例如:

  1. 生成式AI的辅助诊疗能力依赖于所辅助医生的问诊习惯,这刚好是基层医生的短板。过度简化的提问会导致AI无法提供准确、全面的信息,影响整体干预效果。
  2. 受设备及药品缺乏限制,村医小助手提出的检查建议往往超出了基层医疗条件。
  3. 村医除了日常接诊之外,还要负责基层公共卫生服务工作,然而村医小助手只覆盖了他们的问诊需求。
  4. 多数村医对于中医诊疗思路有着高频的提问需求,但目前村医小助手无法提供高质量的中医诊疗建议。

整体上看,村医小助手证实了AI在基层诊疗场景下的用户亲和力。但是AI赋能村医的干预模式是否是当前场景下的最优解,还需要进一步的产品迭代以及长周期、大样本的实验和评估。当前干预模式的成本较低,但考虑到基层医疗系统的付费能力十分有限,所以项目在基层长线运营的可行性也待进一步验证。

关于未来的指导

现阶段我们认为,在找到切实有效的方法回应上述4个应用层问题之前,村医小助手尚不具备规模化的前景。团队需要积累更多对于乡村医生真需求的洞察。对于大模型产品的国产替代也需要提上日程,在提升模型理解力和交互体验的同时保证创新干预模式的合规性。

最后,乐知一心将继续以中国农村基层诊疗作为密切关注的议题之一,以资助具体项目的方式打磨产品、累积洞察,与合作伙伴一起在未来10年中逐步打造科技赋能基层诊疗的干预范式。

如果您在基层诊疗领域中有符合乐知一心资助战略的项目,欢迎和我们主动联系!


补充信息:关于“标准化病人”(Standardized Patients)

标准化病人又称为模拟病人,指那些经过标准化、系统化培训后,能准确表现病人的实际临床问题的正常人或病人。标准化病人法是一种医疗服务质量测量方法,其涵义为:通过让标准化病人模拟疾病症状,在接诊医生不知情下收集信息,从而客观评价接诊医生临床技能和沟通交流能力。在本项目中,标准化病人法被用于测试村医小助手对于基层医疗服务水平的影响。

标准化病人法在发达国家早已被认为是评估临床实践的“黄金准则”,最近几年也开始被逐渐应用到发展中国家。与其他常用的方法相比,这种方法在评估医疗服务质量方面具有明显的优势。首先,因为临床医生都没有意识到他们正在被评估,不会因为知道在被评估而表现出不同的行为特征(“霍桑效应”);其次,这种方法能够真实测量实际临床医疗行为,而不是医生的临床知识;第三,标准化病人法(尤其是就诊过程被记录下来的情况)较少受到对病人离开卫生室后进行访谈导致回忆偏误造成的影响;最后,由于病例都是常见并且标准化的,所以标准化病人法可以用来对不同级别和不同地方的医生提供的医疗服务质量进行比较。

继续阅读