AI 也有幻觉？

随着参数(parameter)的海量增加，大语言模型在语言理解、思维链(Chain-of-Thought)、推理、问答、模式认知等诸多方面表现出惊人的涌现能力(Emergent Abilities) ，让人们对其应用前景充满了想象。然而，AI幻觉(hallucination)(亦称虚构(confabulation))现象的存在，阻碍了人类建立对生成式AI(又称“AIGC”)的信任。而“信任”问题是该项技术全面爆发、走向普及道路上必须解决的难题，否则它将依然保有“炼金术“般的神秘。

什么是AI幻觉

“幻觉”是一个心理学概念，指在没有客观刺激作用于相应感官的条件下，而感觉到的一种真实的、生动的知觉 。近年来自然语言生成(Natural Language Generation)领域的研究者们使用这一术语指代自然语言生成模型生成的内容无法通过输入来源验证或与输入来源冲突的现象 。

简单来讲，正如人类有时候会有意无意地虚构事实一样，生成式AI所创造的内容有时看起来合理无害，但实则经不起仔细推敲：要么与事实不符，要么给出的结论毫无逻辑可言。除了被明确训练不能反应的指令外，目前的生成式AI工具(如ChatGPT)总能就用户的问题或请求作出“信誓旦旦”的答复。但用户必须警惕，这可能是生成式AI为了“取悦”你而说出的“谎言”。

另一方面，AI幻觉并不总是一件坏事。比如，对于某些艺术创作者，AI工具“天马行空”的生成内容会为其提供创作灵感或素材。

AI幻觉是如何产生的

造成AI幻觉的因素与生成式AI技术本身息息相关。一方面，AI幻觉可能根植于输入数据与输出数据并不总在事实知识上对齐这一数据组特性。换句话说，某些自然语言生成的场景天然倾向并鼓励“多样性”的交互方式，比如对话场景中作为回复者的AI并不总是要在用户的发言或者在二者的历史对话里寻找它要表达的内容或凭据，它可以加入新的素材来增加对话的趣味性和多样性。而研究发现，这样的交互方式将不可避免地造成AI幻觉的产生。

另一方面，神经模型的训练与建模方式也是造成AI幻觉的因素之一。例如理解能力有瑕疵的encoder会影响AI幻觉的程度而decoding策略的设计也可能造成AI幻觉的产生。

AI幻觉可能给使用者带来的法律问题

AI幻觉引发的用户使用问题主要是因为AI生产的内容不准确、不真实或者包含有害内容(如色情、暴力等信息)、侵权信息(侵犯知识产权、名誉权、隐私等信息)而导致的相关法律责任问题。需要结合AI工具的任务类型、使用者身份、生成的具体内容、以及使用场景与目的等情况进行具体的分析。

随着ChatGPT等生成式AI工具的流行以及相关法律理论与制度的日趋完善，我们预期会看到全球范围内与AI幻觉相关的执法与司法案例的激增。近期，一家美国律所因其利用ChatGPT撰写的法庭简报包含虚假案例而遭到处罚 。OpenAI LLC因ChatGPT涉嫌生成不实内容而在美国乔治亚州卷入一起诽谤诉讼 ，并且美国联邦贸易委员会就ChatGPT“生成有关真实个人的虚假陈述的能力“等诸多问题向OpenAI发起调查 。

对于法律项下须要对工作成果内容的全面性、准确性和真实性负责的职业和业务，或者在合同中对其工作成果内容的全面性、真实性、准确性、不侵权等方面做出了陈述保证的一方，尤其需要审慎地使用生成式AI工具。

国家网信办2023年4月11日发布的《生成式人工智能服务管理办法(征求意见稿)》(以下简称“《征求意见稿》”)中明确要求“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息”。然而受限于目前的技术水平以及内容审核成本等考量，如果强加“真实准确”的保证义务，恐或造成从业者的无所适从。另外，如前所述，AI幻觉在某些场景下可以被人类创造性地利用，因此是否需要一刀切式遏制AI幻觉有待进一步探讨。

7月13日由国家网信办联合六部门发布并将于8月15日起实施的《生成式人工智能服务管理暂行办法》（以下简称“《暂行办法》“）则删除了相关规定，取而代之要求AIGC服务的提供者“采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性”。这无疑是立法者对目前技术水平、创业生态以及从业者担忧的务实回应。

如何防止或控制AI幻觉

由于AI幻觉的产生与目前大模型技术本身密切相关，因此要从根源上解决AI幻觉问题仍将取决于技术发展这一底层变量。同时，业务人员、法务合规人员需要与相关的科学家、工程师和其他技术人员通力合作，综合考虑商业、法律、伦理等因素，以更全面系统的视角来看待问题。

底层模型的构建者与应用层企业可以考虑以下两个维度 ：

• 数据方面：

a. 数据输入：对底层模型预训练的语料与微调阶段所使用的行业/私域数据按照设定的合规标准进行甄别筛选，减少噪声数据(noisy data)，建立可信数据集。控制用户端的输入请求(prompt)，避免不合规的输入请求污染模型训练数据集。《征求意见稿》之前要求服务提供者的预训练、优化训练数据“能够保证数据的真实性、准确性、客观性、多样性”，而《暂行办法》则规定“采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性“。反映出立法者将基于对技术的深入理解采取更加务实的监管手段。

b. 数据输出：结合数字工具 与人工审核，建立有效的内容审核机制，避免AIGC生成的有害或者其他不合规的内容接触终端用户。

• 模型与推理方面：算法数据科学家、工程师需要考虑模型架构、训练方式等方面如何优化。

随着算力、算法的迭代周期越来越短，我们期待技术的进步将更好地改善乃至解决AI幻觉的问题。

合规考量

就目前市场来看，人工干预必不可少，其中可能包含结果监督(outcome supervision)及过程监督(process supervision) 等环节。

《暂行办法》第十条延续并凝练《征求意见稿》第十八条的规定，要求服务提供者应当明确并公开其服务的适用人群、场合、用途，指导使用者科学理性认识和依法使用生成式人工智能技术，采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。可见生成内容的合法性、使用目的与方式的合法性与未成年人保护将成为合规重点。从业者可以考虑将该等内容嵌入用户协议或平台规则等文件进行公示，并获得用户的知情同意。

另外，参考《互联网信息服务算法推荐管理规定》 《互联网信息服务深度合成管理规定》 的相关要求，AIGC服务提供者应建立并完善管理制度，落实对以下合规域的主体责任：算法机制机理审核、科技伦理审查、用户注册、信息发布审核、数据安全和个人信息保护、反电信网络诈骗、安全评估监测、安全事件应急处置等。 

1. See  https://www.assemblyai.com/blog/emergent-abilities-of-large-language-models/ 
2. http://www.a-hospital.com/w/%E5%B9%BB%E8%A7%89 
3. See Survey of Hallucination in Natural Language Generation,  https://arxiv.org/pdf/2202.03629.pdf 
4.  See https://www.theguardian.com/technology/2023/jun/23/two-us-lawyers-fined-submitting-fake-court-citations-chatgpt 
5. See https://news.bloomberglaw.com/tech-and-telecom-law/openai-hit-with-first-defamation-suit-over-chatgpt-hallucination
6. See http://finance.china.com.cn/industry/20230714/6009375.shtml
7. Survey of Hallucination in Natural Language Generation ( https://arxiv.org/pdf/2202.03629.pdf )提出常见的缓释方法可以分为两类：(a)数据相关方法，及(b)模型和推理方法。
8. 目前市场上已经存在针对AIGC内容审核的相关数字工具，如Amazon Rekognititon (see https://aws.amazon.com/rekognition/). 
9. See  https://openai.com/research/improving-mathematical-reasoning-with-process-supervision
10. 2022年3月1日生效，第7条。
11. 2023年1月10日生效，第7条。