AI(5)一本正经地胡说

多客科技

作者：微信文章
一个更大、更难以分辨真伪的“信息茧房”正在向我们笼罩而来。

AI生成信息的可靠性问题，可能永远无法解决。

幻觉

在《AI（1）概念》一篇中我们提到，AI 的能力来自对数据的抓取、算法的训练。

于是问题就来了——如果数据或算法出了问题，那么 AI 给出的回答就会出错，感知到不存在的模式或对象，从而产生无意义或不准确的输出——也就是“幻觉”。

2022年8月， Meta在发布 BlenderBot3 期间警告说，该系统容易出现“幻觉”，Meta 将其定义为“自信的假话”。

也就是说，在一些情况下，AI 可能一本正经地说假话。

第一种情况：数据落后

如果你关闭 deepseek 的联网功能，询问它美国总统是谁，它会告诉你美国总统是拜登——因为不联网时它的数据库只更新到2024年7月，而当时的美国总统确实是拜登。

前阵子在本地部署 deepseek 的事情沸沸扬扬，但我没有去尝试。原因很简单：可以预测，对个人来说，这么一通折腾，除了能满足好奇心、发个朋友圈外，意义不大。

后续在朋友圈看到，朋友发现本地部署的 AI大约只有前几年文心一言的水准，确实是不太能用。

我记得在前两年，AI 就像个上课被点到名字的学生，哪怕什么都不知道，也能一本正经地编出点东西来。在被广泛地揭露和批评之后，现在会诚实地说自己不知道了。

第二种情况：数据偏差

此外，由于文化、文字等差异，可能导致错误的解读。

在2023年初，ChatGPT 的风波兴起不久后，百度也推出了“文心一言”。但当时许多人发现事情不太对劲，例如让它画出“鼠标和总线”，它画出的却是“老鼠和巴士”，而英文中的“鼠标”和“总线”就是“mouse”和“bus”——这与“老鼠和巴士”一样。所以被怀疑文心一言只是套了层壳的 ChatGPT。

因为 ChatGPT 的训练语料是英文，所以输入中文时，会先翻译成英文，然后再生成图片，于是自然就出错了。

类似的例子还有很多，通过英文语料训练出的AI，自然是用英文使用更加准确。这个问题直到 deepseek 的出现才算是得到了解决。

第三种情况：错误捕捉共同点

大模型的原理之一就是“高频词=大概率正确=答案”，不断地识别出共同特征，以推测出结果。但如果相似的内容里，存在多个共同特征，那么用来实现推测的依据就可能出错。

曾经有医生希望训练 AI 学习看X 光片，使得 AI 能够自行看片识别病人是否存在疾病。

医生给AI 投喂了一些图片后，学习成果却不是很准确。

后来发现，AI读取、记忆的并不是X 光片中的病灶部分，而是那些有病灶的片子上，都有一把尺子，AI 识别的不是病灶，而是尺子。

这里的AI 是这样想的：这几张图片里都有这个长方形的东西（尺子）——所以有这种长方形东西的，都属于同一类型（有病）

第四种情况：过度泛化共同点

同样的，由于“高频词=大概率正确=答案”的工作原理，很容易把互联网上频繁地共同出现的词汇关联在一起，认为是必然情况。

例如：鸟、翅膀、飞行——这三个往往一起出现，并呈现出较强的关联性——你在看到这三个词时，是否默认“鸟类依靠翅膀飞行”？

当我第一次问 ChatGPT（未要求联网）“是否所有鸟类都通过翅膀飞行？”时，ChatGPT 给了我肯定的答案。

然后我问它：“鸵鸟也这样吗？”它才给出了否定的回答。

在其他一些情况下，也可能出现AI 幻觉，我们在此只对常见的四种情况做个简单的了解。如果你有兴趣，可以向 AI 提问：“人工智能在什么情况下可能出现幻觉？请举例并说明原因。”

验证

为了防止AI 幻觉给我们造成一些不必要的麻烦，我们可以这么做：

联网验证：在给 AI 发送提示词时，加一句：“请你联网回答问题，以确保信息的时效性和真实性。”（因为并不是所有AI 的所有动作都会联网完成）

信源验证：在给 AI 发送提示词时，加一句：“请你标注出信息的来源，以供我查验真实性。”

交叉验证：在 AI 回答后，把答案发给其他 AI，要求验证真实性。例如：“请你帮我验证以下内容是否真实可靠：……”（尽可能用不同的模型进行验证）

当然，每次都这么做可能有些麻烦，我们可以专门设立一个“信息核查员”的岗位，进行结构化验证：

第一步，开启一个新的对话，对 AI 说：我需要你记住我后面说的话，协助我完成“信息核查”的任务。（这一步是为了确保启动 AI 的长时记忆功能）

第二步，对 AI 说：

作为信息核查员，我需要你协助我核查后续发送给你的信息的真实性。

首先，区分出主观观点和可验证的论据。

区分完成后，利用可靠的信息源，例如学术期刊、信誉良好的新闻媒体、官方报告、官方统计等，对可验证的论据进行检验。尽可能对同一论据从多个信息源处进行交叉检验，以增强检验结果的可靠性。

检验完成后，分析论据与观点间是否存在合理的逻辑关系、论据是否足以支撑观点。并通过分析论据及观点发表时的背景信息，了解是否存在偏见与误差。

最后，形成一份关于内容是否真实可靠、是否存在偏见与误差的报告发送给我。

以后，我们直接把需要验证的内容发到这个AI对话框中即可。

熟悉我的同学应该已经发现了，这里面采取的策略就是我在《结构思维与表达》和《指南》“4.9-结构辨析”中所提到的验证信息真伪的方法：区分观点与事实——验证事实的可靠性——验证论据与论点的逻辑性。

所以《指南》真的非常值得大家反复阅读、反复学习。

担忧

AI 目前仍然存在许多缺陷，例如训练数据滞后、算力成本高昂等问题，但这些问题都是迟早可以解决的。

20年前的旗舰手机诺基亚 N90，摄像头只有200万像素、机身储存只有20M；二十年后的今天，刚刚发布的小米15 ultra有2亿像素的摄像头、1TB 的可用内存，摄像头像素数是前者的100倍，储存容量是前者的480万倍。

但生成信息的可靠性问题，却可能永远无法解决。

AI 的能力来自于对互联网公开数据的分析和推理，而互联网数据本身的质量却又令人堪忧。

尤其是中文互联网公开的语料，魏则西事件犹在眼前，广告商和营销号对中文互联网的污染，让人连找个官网都要小心翼翼以免被骗。

而AI降低创作门槛后，大量 AI 生产的语料又将被投放到互联网上，再次被 AI 读取。

相比于个体出于自身利益产出的误导信息来说，拥有强大算力资本、广告和公关预算的商家，可以通过投放大量的信息，引导 AI 给出他们想要的回答。

现在你都能

还是那句话，读取的是垃圾，生产的也只会是垃圾——在某些领域，信息的可靠性甚至可能会越来越差。

所以如果你认为有了 AI 就不需要学习，那么你将陷入一个极其可怕的境地：你不学就不懂，不懂就永远无法发现 AI 的错误，于是你从一开始就在错误的道路上夺路狂奔，做的所有事情都将是可笑的无用功。

一个更大、更难以分辨真伪的“信息茧房”正在向我们笼罩而来。

课后思考

为什么会出现AI 幻觉？

AI 幻觉有可能完全消除吗？为什么？

如何应对 AI 幻觉？