OpenAI公布了新的ChatGPT功能，其中包括与聊天机器人进行对话的能力，就像你在打电话一样，允许你用逼真的合成声音立即得到对你的口头问题的回应。OpenAI还透露，ChatGPT将能够搜索网络。
谷歌的竞争对手巴德(Bard)嵌入了该公司的大部分生态系统，包括Gmail、Docs、YouTube和地图。这个想法是，人们将能够使用聊天机器人询问有关他们自己的内容的问题——例如，通过让它搜索他们的电子邮件或组织他们的日历。巴德还将能够立即从谷歌搜索中检索信息。同样，meta也宣布将把AI聊天机器人应用于所有领域。用户将能够在WhatsApp、Messenger和Instagram上向人工智能聊天机器人和名人人工智能化身提问，人工智能模型将从必应搜索中在线检索信息。
考虑到技术的局限性，这是一个冒险的赌注。科技公司还没有解决人工智能语言模型的一些长期存在的问题，比如它们倾向于编造东西或产生“幻觉”。但我最担心的是，正如我今年早些时候所写的那样，它们是一场安全和隐私灾难。科技公司正在将这种存在严重缺陷的技术交到数百万人手中，并允许人工智能模型访问他们的电子邮件、日历和私人信息等敏感信息。在这样做的过程中，它们使我们所有人都容易受到大规模的诈骗、网络钓鱼和黑客攻击。
我之前已经讨论过人工智能语言模型的重大安全问题。既然人工智能助手可以访问个人信息并同时浏览网页，它们特别容易受到一种称为间接提示注入的攻击。它非常容易执行，而且没有已知的修复方法。
在间接提示注入攻击中，第三方“通过添加隐藏文本来改变网站，旨在改变人工智能的行为”，正如我在4月份所写的那样。“攻击者可以利用社交媒体或电子邮件将用户引导到带有这些秘密提示的网站。一旦发生这种情况，人工智能系统就可以被操纵，让攻击者尝试提取人们的信用卡信息。”随着新一代人工智能模型被植入社交媒体和电子邮件，黑客的机会是无穷无尽的。
我询问了OpenAI、Google和meta，他们正在采取什么措施来防御即时注射攻击和幻觉。meta没有及时回复，OpenAI也没有发表评论。
关于人工智能的编造倾向，谷歌的一位发言人确实表示，该公司发布巴德是一项“实验”，它允许用户使用谷歌搜索来核实巴德的答案。“如果用户看到了幻觉或不准确的东西，我们鼓励他们点击拇指向下按钮并提供反馈。这是巴德学习和提高的一种方式。”当然，这种方法把发现错误的责任推给了用户，人们倾向于过于信任计算机生成的响应。谷歌没有回答我关于提示注入的问题。
对于即时注入，谷歌证实这不是一个已经解决的问题，仍然是一个活跃的研究领域。该发言人表示，该公司正在使用其他系统，如垃圾邮件过滤器，来识别和过滤企图攻击，并正在进行对抗性测试和红队演习，以确定恶意行为者如何攻击基于语言模型构建的产品。该发言人表示:“我们正在使用经过专门训练的模型来帮助识别已知的恶意输入和已知的违反我们政策的不安全输出。”
