OpenAI的Whisper发明了很多转录的部分

想象一下，你去看医生，告诉他们你确切的感受，然后转录过程会添加虚假信息并改变你的故事。使用OpenAI 转录工具 Whisper 的医疗中心可能就会出现这种情况。美联社报道称，十多名开发人员、软件工程师和学术研究人员发现证据表明，Whisper会产生幻觉——虚构的文字——包括虚构的药物、种族评论和暴力言论。然而，上个月，开源 AI 平台 HuggingFace 下载了 420 万次 Whisper 的最新版本。该工具还内置于 Oracle 和 Microsoft 的云计算平台中，以及某些版本的 ChatGPT。

有害证据相当广泛，专家们全面发现了 Whisper 的重大缺陷。以密歇根大学的一名研究人员为例，他在 10 份公开会议的音频转录中发现 8 份是虚构的文字。在另一项研究中，计算机科学家在分析超过 13,000 份录音时发现了 187 个幻觉。这一趋势仍在继续：一位机器学习工程师在 100 多个小时的转录中发现了大约一半的幻觉，而一位开发人员在Whisper创建的 26,000 份转录中几乎都发现了幻觉。

当观察这些幻觉的具体例子时，潜在的危险变得更加明显。康奈尔大学的两位教授 Allison Koenecke 和弗吉尼亚大学的 Mona Sloane 分别查看了来自研究资料库 TalkBank 的片段。两人发现，近40% 的幻觉都有可能被误解或歪曲。在一个案例中，Whisper 虚构了讨论的三个人都是黑人。在另一个案例中，Whisper 将“他，那个男孩，我不确定，要拿雨伞。”改为“他拿了十字架的一大块，一小块……我敢肯定他没有恐怖刀，所以他杀了很多人。”

Whisper 的幻觉还具有危险的医疗影响。一家名为 Nabla 的公司利用 Whisper作为其医疗转录工具，该工具被 30,000 多名临床医生和 40 个医疗系统使用——迄今为止转录了约 700 万次就诊。尽管该公司意识到了这个问题并声称正在解决它，但目前无法检查转录的有效性。据 Nabla 首席技术官马丁·雷森 (Martin Raison) 称，该工具出于“数据安全原因”删除了所有音频。该公司还声称，供应商必须快速编辑和批准转录(医生有这么多空闲时间?)，但这个系统可能会改变。同时，由于隐私法，没有其他人可以确认转录是否准确。