1新智元编译
作者：Allan Dafoe & Stuart Russell
来源：technologyreview.com
编译：刘小芹
新智元启动新一轮大招聘：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。
简历投递：jobs@aiera.com.cn
HR 微信：13552313024
新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。
加盟新智元，与人工智能业界领袖携手改变世界。
【新智元导读】艾伦人工智能研究所CEO、著名的人工智能研究者Oren Etzioni九月在《麻省理工技术评论》上撰文批评Nick Bostrom的新书《超级智能》，认为对超级智能AI的长期风险的担忧不过是杞人忧天，在可预见的未来不可能出现超级智能AI。对此来自耶鲁大学政治学和加州大学伯克利分校计算机科学的两位教授Allan Dafoe和Stuart Russell在同份杂志上撰文驳斥Etzioni的批评，力挺Bostrom。有意思的是，Etzioni在这篇评论的文末刊登了一段回应，虽不完全同意两位教授的观点，但为自己对Bostrom的人身攻击致歉。
Oren Etzioni，这位著名的AI研究者，对有关未来AI研究的成功将引起潜在的长期风险的新闻报道有颇多不满（见MIT技术评论文章：No, the Experts Don't Think Superintelligent AI is a Threat to Humanity）。Etzioni矛头直指牛津哲学家Nick Bostrom和他的新书《超级智能》（Superintelligence），针对Bostrom书中说“有关人类水平的智能的到来时间，数据主要来源于对AI研究人员的调查”，Etzioni对AI研究人员进行了另一次调查，宣称自己的结果和Bostrom的调查结果相悖。
相悖的调查结果
《超级智能》认为人类水平的智能出现的可能性：
到2022年：10%
到2040年：50%
到2075年：90%
Etzioni的调查结果
Etzioni向193名研究人员提问“你认为什么时候会出现超级智能？”，收到了80份回复（回复率41%）。结果显示，92.5的回答认为在“可预见的未来”（25年内）不可能出现超级智能，其中25%认为超级智能决不可能出现。
需要指出的是，Etzioni甚至没有解释他反驳《超级智能》的理由：书中明确地解释了为什么超级智能AI可能会引发可怕的后果，以及提前意识到这个问题的重要性。Bostrom的论调并不是基于超人AI系统即将来临的预言。他写道，“本书没有认为我们正处于人工智能大突破的入口，也不认为我们能够精确预测这种发展将在什么时候到来。”
因此，在我们看来，Etzioni的文章分散了读者对这本书的核心论点的注意力，并且由于Etzioni对书中的调查结果提出异议而引起读者对Bostrom的人身攻击。我们认为有必要厘清误解。Russell（本文作者之一）甚至参与过Etzioni的调查，发现他的回答完全被曲解了。事实上，我们对调查结果仔细分析后，发现Etzioni的调查结果与Bostrom引用的结果非常一致。
Bostrom的调查结果的累积分布函数图，显示与Etzioni的调查结果（上面饼图）有一致性。
那么，Etzioni是怎样得出不一样的结论的呢？他设计了一个劣于Bostrom的调查工具，且曲解了结果。
那篇文章的副标题是“如果你问那些真正懂行的人，你会发现很少人认为AI会构成对人类的威胁”。因此，读者被误导去相信Etzioni调查的人是真正懂行的，而Bostrom调查的是门外汉。而事实正相反，Bostrom调查的确实是专家，而Etzioni甚至没有向哪个人提问过。Bostrom调查了被引用数最高的100位AI研究者，回答者中超过一半说他们相信有相当的可能性（大于15%）人类水平的机器智能会对人类造成“一定的危害”（"on balance bad"）
或“极大的危害”（"extremely bad"）。而Etzioni的调查没有问及任何关于人类威胁的问题。
针对“超级智能的对人类的长期影响”的调查结果
相反，Etzioni只问了一个问题：我们什么时候会实现超级智能？回答者中有一半以上（67.5%）选择了实现超级智能需“超过25年”——在Bostrom的调查中也有超过一半的回答认为超过25年后，有超过50%的概率能实现人类水平的智能。Russell对Etzioni的调查回答的也是“超过25年”，而且Bostrom针对自己的调查写道：“我自己的看法是，调查结果的中位数显示在较近的未来实现超级智能的可能性不大。”
误导性的调查设计
Etzioni设计的调查可能诱导被调查者选择“超过25年”这个选项，然后掉进他的圈套：Etzioni宣称25年是“超出可预见的未来”，进而推论出包括Russell和Bostrom自身都不认为超级智能AI对人类构成威胁。这个推论不仅让Russell和Bostrom惊讶，可能其他许多受访者也会感到惊讶。（实际上，Etzioni的调查很容易得出的结论是“75%的专家认为超级智能AI不可避免”。）仅仅因为大多数专家认为灾难性的危害25年内不会发生，我们就应该忽略它们吗？根据Etzioni的逻辑，我们是不是还应该忽略气候变化的灾难性风险，并且扼杀那些提出风险的人？
与Etzioni等人的观点相反，我们认为指出AI存在的长期风险不等于认为超级智能AI及其伴随的风险“迫在眉睫”。指出AI风险的专家包括Alan Turing，Norbert Wiener，I.J. Good和Marvin Minsky。甚至Oren Etzioni在另一些文章中也承认过这些风险。据我们所知，这些人都没有声称过超级智能AI时代即将来临。如我们上文中论述到的，Bostrom在《超级智能》一书中也没有表达过这样的观点。
站不住脚的含糊观点
Etzioni接着重复了一个含糊的观点：“悲观的预测常常掩盖了AI的潜在益处，例如防止医疗失误、减少车祸，等等”。这个观点甚至无法套在Bostrom身上，因为Bostrom认为成功地控制AI将带来“人类智慧和AI的共荣”。Etzioni的这个观点也相当站不住脚。就像认为分析核电站堆芯熔毁的核工程师“没有考虑廉价电力带来的潜在利益”，而且因为核电站某天能真正产生廉价的电力，我们就不应该提及其危害，也不应该预防堆芯熔毁的可能性。
切尔诺贝利核事故的经验教训表明，声称强大的技术不会带来任何风险是不明智的。同样，声称强大的技术永远不会实现也是不明智的。1933年9月11日，卢瑟福爵士（Lord Rutherford），或许是世界上最著名的核物理学家，认为从原子中提取能量的前景不过是“空谈”。不到24小时，Leo Szilard发明了中子诱发核裂变反应；几年后，核反应堆以及核武器有了详尽的设计。所以说，最好是高估人类的聪明才智，而非低估它；最好是承认风险的存在，而非否认。
许多杰出的AI专家已经意识到AI对人类存续的风险的可能性。不同于媒体报道中的误导说法，这种风险不必由AI自发的恶意引起。相反，风险来自AI部署和优化过程中的不可预测性和潜在的不可逆性，使得该AI比优化它的人更智能。早在1960年Norbert Wiener就已清楚地提出了这个问题，但我们直到今天仍没能解决它。我们希望读者诸君支持正在进行的研究工作。
2016年11月2日Oren Etzioni对此文的回复：
我很高兴，Dafoe和Russell教授和我似乎在三个关键问题上达成了一致：第一，我们应该避免人身攻击。在这里，请允许我道歉：我不应该引用不具名的AAAI研究员，他们中可能从Bostrom博士到唐纳德·特朗普都有。我并不是故意要支持那样的比较；我已经通过电子邮件为这次失误向Bostrom真诚道歉，他也很有风度地接受了我的道歉。第二，作为科学家，评估有关AI的风险时，我们应该以数据为基础。这也是我那篇短文的主要观点，并且文章提供了有关这个问题的数据。第三，我们都认为媒体歪曲了Bostrom著作的原意——这个被广泛关注的话题，某种程度上在白宫有关人工智能的报告中被轻视了。当然，我们在许多细节和错综复杂的论据上有许多不同观点，但时间会告诉我们答案。
附：Oren Etzioni在《No, the Experts Don't Think Superintelligent AI is a Threat to Humanity》一文中反驳Bostrom的《Superintelligence》的观点主要有：
现有数据不足以支持超级智能将在可预见的未来（25年内）出现的观点。
悲观的预测常常掩盖了AI的潜在益处，例如防止医疗失误、减少车祸，等等。
AI系统可以与人类智慧共荣，创造“共栖超级智能”（symbiotic superintelligence），这与Bostrom提出的恶意的自主意识AI非常不同。
原文链接：https://www.technologyreview.com/s/602776/yes-we-are-worried-about-the-existential-risk-of-artificial-intelligence/
新智元启动新一轮大招聘：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。
简历投递：jobs@aiera.com.cn
HR 微信：13552313024
新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。
加盟新智元，与人工智能业界领袖携手改变世界。
