Yoshua Bengio是人工智能（AI）中最引用的研究人员之一。Bengio是创建人工神经网络和深度学习算法的先驱，以及meta首席AI科学家Yann Lecun和前Google AI研究员Geoffrey Hinton，获得了2018年Turing Award（称为“计算机”的“诺贝尔计算机”）。
然而，现在的班吉奥（Bengio）经常以他的图灵奖获得者作为AI的“教父”之一，他的技术发展和收养的步伐感到不安。他认为，人工智能可能会损害社会的结构，并对人类承担意外的风险。现在，他是《高级AI＆Mdash》国际科学报告的主席；由30个国家，欧盟和联合国支持的咨询小组。
Live Science通过视频通话在伦敦的Howthelightgetsin节上与Bengio进行了交谈，他在那里讨论了机器意识的可能性和刚起步技术的风险。这就是他不得不说的。
本·特纳（Ben Turner）：您在发展人工神经网络中发挥了令人难以置信的重要作用，但是现在您呼吁暂停其发展，并正在研究调节它们的方法。是什么让您要求一生的工作停顿？
Yoshua Bengio： 很难与您自己的教会抗衡，但是如果您对事情进行合理的思考，就无法否认当我们达到AI水平时灾难性的结果的可能性。我之所以关键的原因是因为在那一刻之前，我知道有一些情况很差，但我认为我们会弄清楚。
但是，它正在考虑我的孩子和他们的未来，这使我决定我必须采取不同的行动才能竭尽所能减轻风险。
BT：您是否对减轻其最严重的影响有些责任？是您的权重吗？
YB： 是的，我愿意。我之所以感到责任，是因为由于我对科学工作的认可，我的声音会产生一定的影响，因此我觉得我需要大声疾呼。我参与的另一个原因是，如果我们要弄清楚如何不损害AI的建设人员，这是更大的政治解决方案的一部分。
公司很乐意包括这些技术解决方案，但是现在我们不知道该怎么做。他们仍然想获得从人工智能达到人类级别的四千万利润；因此，我们处于不良状态，我们需要找到科学答案。
我经常使用的一张图像是，就像所有人类都在我们不太了解的道路上行驶，而我们面前有雾。我们要朝那个雾气，我们可能会在山路上，并且可能有一个非常危险的通行证，我们看不到足够清楚。
那我们该怎么办？我们是否继续向前赛，希望一切都会好起来，还是我们尝试提出技术解决方案？政治解决方案说，要采用预防原则：如果不确定，请放慢脚步。技术解决方案表示，我们应该提出凝视雾气的方法，并可能为车辆配备保障措施。
BT： 那么，短期和长期对人类带来的最大风险是什么？
YB： 人们总是说这些风险是科幻小说，但事实并非如此。在短期内，我们已经看到AI在美国大选活动中使用，而且情况会变得更糟。最近的一项研究表明，Chatgpt-4在说服力时比人类要好得多，这只是Chatgpt-4＆Mdash;新版本会更糟。
还测试了这些系统如何帮助恐怖分子。最近的Chatgpt O1将这种风险从低风险转变为中等风险。
如果您走得更远，那么当我们达到上智能水平时，会有两个主要风险。首先是失去人类控制，如果超智能机器具有自我保护目标，他们的目标可能是摧毁人类，以便我们无法将其关闭。
如果第一种情况不以某种方式发生，另一个危险是在人类中使用人工智能在全球独裁统治下控制人类的力量。您可以拥有更温和的版本，并且可以在频谱上存在，但是该技术将为控制它的任何人提供巨大的力量。
BT：欧盟发布了AI法案，拜登（Biden）的行政命令也在AI上。政府对这些风险的反应如何？他们的回答是朝正确的方向迈出的吗？
YB： 我认为他们朝着正确的方向迈出了一步。因此，例如，拜登（Biden）的行政命令与白宫在那个阶段一样多，但没有影响，这并不迫使公司分享其测试结果，甚至迫使公司进行这些测试。
我们需要摆脱这种自愿元素，公司实际上必须制定安全计划，泄露其测试结果，如果他们不遵循最先进的行为来保护公众，他们可能会被起诉。我认为，就立法而言，这是最好的提议。
BT：在讲话时，神经网络有许多令人印象深刻的应用程序。但是他们仍然有问题：他们 与无监督的学习斗争 而且他们不能很好地适应 很少出现在培训数据中的情况，他们需要消费 惊人的数量 的。当然，正如我们所看到的 自动驾驶汽车，这些断层还会产生自己的风险？
YB： 首先，我想纠正您在这个问题中所说的话：他们非常擅长于无监督的学习，基本上这就是他们的培训方式。他们以无监督的方式接受了培训；只需吞噬您提供给他们的所有数据并试图理解它，那是无监督的学习。这就是所谓的预训练，在您甚至给他们一项任务之前，您就可以使他们了解所有可能的数据。
至于他们需要多少数据，是的，他们需要的数据比人类需要更多的数据，但是有论点认为，进化需要更多的数据来提出大脑中的细节。因此，很难进行比较。
我认为我们需要多少数据可以改善空间。从政策的角度来看，重要的一点是，我们取得了巨大的进步，人类智能与其能力之间仍然存在巨大差距，但是目前尚不清楚我们要弥合这一差距有多远。政策应为可以快速mdash的情况做准备；在接下来的五年左右。
BT：在此数据问题上，GPT模型已显示为 经历模型崩溃 当他们消耗足够的内容时。我知道我们已经谈到了AI成为超级智能和流氓的风险，但是一种更加荒谬的反乌托邦的可能性又有什么可能。我们依靠AI，它剥夺了工作的行业，它会降低和崩溃，然后我们又拿起了碎片？
YB： 是的，我不担心它们从它们产生的数据中崩溃的问题。如果您选择[喂养系统]合成数据，并且以人们理解的方式巧妙地做到这一点。您不会只要求这些系统生成数据并对其进行训练；从机器学习的角度来看，这是毫无意义的。
借助综合数据，您可以使其与自身抗衡，并生成合成数据，有助于其做出更好的决策。所以我不怕那个。
但是，我们可以构建具有我们预期的副作用的机器。一旦我们依靠它们，就很难拔下插头，甚至可能会失去控制。如果这些机器无处不在，并且可以控制社会的许多方面，并且他们有不好的意图和地狱。
[这些系统中]有欺骗能力。有很多未知的未知数可能非常糟糕。因此，我们需要小心。
BT：Guardian最近报告说，Google，Apple，meta和Microsoft的数据中心排放可能是 比他们声称的高662％。彭博社还报道了AI数据中心是 推动化石燃料基础设施的复兴 在美国，AI的真正近期危险是否会成为我们开发气候时对气候造成的不可逆转的损害？
YB： 是的，这是一个大问题。我不会说这与AI在人类灭绝的风险方面造成的重大政治中断相提并论，但这是非常严重的事情。
如果您查看数据，训练最大型号所需的电量每年都会成倍增长。这是因为研究人员发现，制作模型，越越聪明，赚钱就越多。
这里重要的是，这种情报的经济价值将是如此之大，以至于对那个种族中的那些人来说，支付该电力的价格是10倍。这意味着我们所有人都将为电力支付更多费用。
如果我们遵循趋势的发展，除非发生任何变化，否则在地球上产生的电力的很大一部分将进入训练这些模型。而且，当然，这不能全部来自可再生能源，这将是因为我们从地面上掏出更多的化石燃料。这很糟糕，这是我们应该放慢脚步的另一个原因。但这不是唯一的。
BT： 一些AI研究人员对机器达到人工通用情报（AGI）的危险表示担忧。在该领域有些有争议的流行语。还有其他人，例如 托马斯·迪特里奇（Thomas Dietterich） 已经说过这个概念不科学，并且 人们应该尴尬地使用该术语。您在这场辩论中落在哪里？
YB： 我认为谈论某些领域的能力是非常科学的。这就是我们要做的，我们一直进行基准测试并评估特定的功能。
当我们询问这一切的含义时（就一般智能而言）时，它会得到dicey。但是我认为这是错误的问题。我的问题是在足够聪明的机器中，它们具有特定的功能，是什么使它们对我们有害？它们可以用于网络攻击吗？设计生物武器？说服人们？他们是否有能力在其他机器上复制自己，或者与开发人员的意愿相反？
所有这些都是不好的，而且这些AI具有这些功能的子集已经足够危险了。没有什么模糊的，人们已经在为这些能力建立基准，因为我们不希望机器拥有它们。英国和美国的AI安全机构正在研究这些事情，并正在测试模型。
BT：我们早些时候谈到了这一点，但是您对科学家和政客的工作有多满意？您对自己和他们的努力感到满意吗？还是我们仍然走上非常危险的道路？
YB： 我认为我们还没有在减轻风险方面做到的事情。有很多全球对话，很多立法提案，联合国开始考虑国际条约 ＆mdash; 但是我们需要走得更远。
我们在提高认识和更好地理解风险的方面取得了很大的进步，而与政客们一起考虑立法，但我们还没有。我们不在可以保护自己免受灾难性风险的阶段。
在过去的六个月中，现在也有一个反对（反对监管进展），非常有力的大堂来自少数人，他们拥有大量的权力和金钱，并且不希望公众对自己对AI的所作所为进行任何监督。
建造这些机器的人之间存在利益冲突，期望赚很多钱，并与公众互相竞争。我们需要管理这种冲突，就像我们为烟草所做的那样，就像我们还没有设法使用化石燃料一样。我们不能只是让市场力量成为唯一推动我们发展AI的力量。
BT：具有讽刺意味的是，如果它刚刚移交给了市场力量，我们将在某种程度上将未来与已经具有破坏性的算法联系起来。
YB： 是的，到底是。
BT：您提到了游说小组，他们努力保持机器学习不受监管。他们的主要论点是什么？
YB： 一个论点是它将减慢创新。但是，是否有一场竞赛可以尽快改变世界？不，我们想让它变得更好。如果这意味着采取正确的步骤来保护公众，就像我们在许多其他部门中所做的那样，这不是一个好论点。这并不是说我们将停止创新，而是可以指导努力，以建立一定会帮助人们的经济和福祉的工具。所以这是一个错误的论点。
我们对从三明治到汽车到您乘坐的飞机的几乎所有内容都对所有东西进行了监管。在进行监管之前，我们的数量级更多的事故。药品也一样。我们可以拥有有用和受监管的技术，这对我们有用。
第二个论点是，如果西方由于我们想保持谨慎而放慢脚步，那么中国将会向前迈进，并对我们使用该技术。这是一个真正的问题，但是解决方案不仅要在不谨慎的情况下加速，因为这提出了军备竞赛的问题。
解决方案是一个中间立场，我们与中国人交谈，我们对避免重大灾难的共同利益符合我们的兴趣。我们签署条约，并致力于验证技术，以便我们可以互相信任，我们不会做任何危险的事情。这就是我们需要做的，这样我们既可以谨慎，也可以为地球的福祉而团结起来。
编者注：这次采访已被编辑和凝结，以清晰地进行。
Howthelightgetsin是世界上最大的思想，科学和音乐节，每年在伦敦和干草举行。错过了他们的伦敦节吗？不用担心。节日以前的所有活动，包括最近的伦敦音乐节的所有辩论和演讲，都可以观看 iai.tv. 跨越从量子到意识的主题，以及介于两者之间的所有内容，您会从包括Roger Penrose，Carlo Rovelli和Sabine Hossenfelder等开创性思想家那里找到视频，文章，甚至每月在线活动。今天在 iai.tv/subscribe。
还有什么？下一个节日于2025年5月23日至26日返回干草，以“导航未知”为主题。有关早鸟门票的更多详细信息和信息，请前往他们的 网站。
