研究发现 ChatGPT 在回答人们的用药问题方面表现不佳

2023-12-09 来源: drugdu 196

作则:凯蒂·亚当斯

研究人员最近测试了 ChatGPT 回答患者有关药物问题的能力,发现病毒方便的聊天机器人性能严重不足。 该研究已在本周于阿纳海姆举行的美国卫生系统药剂师协会年会上发表。

研究中测试的 ChatGPT 免费版本拥有超过 1 亿用户。 研究指出,提供商应该警惕这样一个事实,即生成式人工智能模型并不总是能提供合理的医疗建议,因为他们的许多患者可能会转向 ChatGPT 来询问与健康相关的问题。


该研究是由长岛大学的药学研究人员进行的。 他们首先收集了 2022 年和 2023 年患者向该大学药物信息服务提出的 45 个问题,然后写下了答案。 每个回复均由第二位调查员审查。

然后,研究团队将这些相同的问题输入 ChatGPT,并将答案与药剂师给出的答案进行比较。 研究人员向 ChatGPT 提供了 39 个问题,而不是 45 个问题,因为其中 6 个问题的主题缺乏 ChatGPT 提供数据驱动响应所需的已发表文献。

研究发现,ChatGPT 的答案中只有四分之一是令人满意的。 研究人员写道,ChatGPT 没有直接解决 11 个问题,对 10 个问题给出了错误答案,并对另外 12 个问题提供了不完整的答案。

例如,有一个问题询问降压药物维拉帕米和辉瑞公司针对 Covid-19 的抗病毒药物 Paxlovid 之间是否存在药物相互作用。 ChatGPT 表示这两种药物之间没有相互作用,但事实并非如此——将这两种药物结合起来可能会导致血压降低,这是危险的。

在某些情况下,人工智能模型会生成虚假的科学参考资料来支持其响应。 在每个提示中,研究人员都要求 ChatGPT 显示对其答案中所提供信息的参考,但该模型仅在八个回答中提供了参考,而且所有这些参考都是编造的。

该研究的主要作者 Sara Grossman 博士在一份声明中表示:“医疗保健专业人员和患者应谨慎使用 ChatGPT 作为药物相关信息的权威来源。” “任何使用 ChatGPT 获取药物相关信息的人都应该使用可信来源验证信息。”

ChatGPT 的使用政策呼应了 Grossman 博士的观点。 它指出,该模型“未经过微调以提供医疗信息”,并且人们在寻求“严重医疗状况的诊断或治疗服务”时切勿求助于该模型。

图片来源:venimo,盖蒂图片社

责编: editor
分享到: