大模型技术的新突破：GPT-4在医学领域的专业化表现

引言

近日，OpenAI官方人员发表了一项研究，展示了GPT-4模型如何通过智能提示策略在医学挑战问题基准上表现得如同专家一般。这项研究不仅揭示了GPT-4在未经特定医学领域微调的情况下，仍能超越专门为医学应用优化的领先模型，而且还进一步证明了单纯的提示策略就能有效激发通用基础模型的领域专业知识。

GPT-4的医学专业化表现

Medprompt的表现

在MedQA基准测试中，Medprompt的表现如下：

• 从零射击（zero-shot）的81.7%准确率开始
• 随机少数射击（random few-shot）提升至83.9%准确率
• 加入思维链（chain-of-thought）后，准确率进一步提升至87.3%
• 结合kNN方法的少数射击和思维链，准确率达到88.4%
• 最终通过选择洗牌（choice shuffle）的集成方法，准确率达到90.2%

这一系列的提升展示了Medprompt组件和智能提示策略的叠加贡献。

GPT-4的多领域能力

GPT-4不仅在医学领域表现出色，它还展现了在抽象、概括和组合概念等方面的多学科问题解决能力。通过智能提示，GPT-4能够在许多领域成为领域专家。

提升概述

以下是GPT-4在Medprompt研究中取得的一些关键成果：

• 在MedQA数据集上首次超过90%的准确率
• 在MultiMedQA套件的所有九个基准数据集上取得最高报告结果
• 相比MedPaLM 2模型，MedQA上的错误率降低了27%

性能对比

下面是一个性能对比的表格：

模型	MedQA基准测试性能
GPT-4 (Medprompt)	90.2% (无微调)
Med PaLM 2	86.5% (密集微调)
GPT-4 基础版	86.1% (无微调)
…	…

GPT-4在多个医学挑战问题上都取得了最好的结果，包括MedQA US、MedMCQA Dev等。

微调与智能提示策略的比较

微调的成本和局限性

传统上，为了在特定领域内提升模型性能，AI从业者会对通用基础模型进行专业中心的微调。然而，微调不仅成本高昂，而且还需要专家或专业标注的数据集，这对许多中小型组织来说是个挑战。

Medprompt的价值

Medprompt研究展现了深入探索智能提示策略将通用模型转化为专家模型的价值。这些策略在没有领域特定更新的情况下，在包括电气工程、机器学习、哲学等不同领域的专业能力考试中都显得有价值。

总结

本文讨论了GPT-4通过智能提示策略在医学领域的专业化表现。Microsoft在大型语言模型的最新进展上也在不断探索，以确保在产品和服务中的应用是可靠、安全且易用的。随着我们继续与合作伙伴和客户分享新的AI发展，这些创新和测试原型的集成将成为我们旅程中的灵感来源。