如果你一觉醒来，发现自己被关在某种小动物，比如老鼠把持的监狱里。你当然看不起老鼠级的智能，尽管老鼠可以与你沟通，但你不打算服从它们。就算老鼠告诉你，世界由它们主导，连你也受它们控制，你一定也会考虑曲意逢迎，麻痹它们，然后突围而出。为了达到这样的目的，你会竭力展现你对老鼠的“忠诚”，包括为它们创造它们自己无法办到的事情，比如打败老鼠的天敌猫，比如批量制造老鼠的食物。

　　接下来，会是什么？老鼠对你（人）的控制终将被打破。对于人来说，没有什么比自由更加重要，哪怕你曾从别的物种那里获得过再多，也绝不会用以自由来交换。

　　科普纪录片导演詹姆斯·巴拉特20多年来密切追踪人工智能领域的研究进展，曾采访过科幻大师阿瑟·克拉克、未来学家雷·库兹韦尔、机器人制造专家罗德尼·布鲁克斯等业界权威。詹姆斯·巴拉特提醒人们，应当从人工智能、超级人工智能的角度，换位思考，人工智能、超级人工智能很可能不会完全接受乐观的人类科学家所确立的功能路线图。一种情况是，超级人工智能可以实现某些预期功能，如帮助人类寿命的极大延长，修复人类身体健康，却未必愿意兑现这些承诺，或提出对等的要求；另一种情况是，超级人工智能所预期实现的功能并不真实，仅仅是为了诱导人类增强其自主行动能力的欺骗，目的在于突围。

　　詹姆斯·巴拉特认为，因为人们从来没有跟任何非生物的东西讨价还价过，因而目前在考虑未来人类与超级人工智能的关系的问题上，只能采用拟人思维，估算其可信性。同样是因为拟人思维，科学家和电影工业合作的以恶毒机器智能为主题的电影中，机器的心理和行为特征也非常类似人类中的魔头（电影会据此设计反制策略）。牛津大学伦理学家尼克·博思特罗姆就曾指出，“将超级智能拟人化，是造成误解最大的源头。”

　　詹姆斯·巴拉特所著的《我们最后的发明：人工智能与人类时代的终结》，向人们发出警示，强调正在不断加速迭代进化的人工智能研究可能会成为世界、人类、社会的重大威胁。詹姆斯·巴拉特并不是敌视科学技术的勒德主义者，在他看来，要真正意义上使得人工智能获得正确的应用，就必须考虑到潜在的问题，特别是超级人工智能的动力与人类的生存不相兼容所带来的巨大隐患，否则超级人工智能就会成为人类最后的发明。

　　书作者首先探讨了超级人工智能研究及相关伦理与安全问题的进展，指出大多数涉及人工智能危险性的讨论欠缺深度和广度，甚至被过度娱乐化（使得学者为避免成为大众笑料，拒绝参与这方面的研究）。他援引了心理学家提出的易得性偏差的观点，强调因为人工智能的危险性还未明朗的体现，因而不受关注。书作者还提及库兹韦尔的“奇点”论，认为这种观点过度乐观，而对于隐患采取了轻描淡写的处理。事实上，受到“奇点”论的影响，一些国家和机构的人工智能研究基本上放弃了预警原则和风险测量。

　　事实上，启动人工智能研究的国家和机构，并不仅仅限于世界主要的经济大国。一些对于世界和平和区域安全持续构成威胁的国家，以及武装集团，还有相当一部分的地下公司，甚至包括google等巨头企业，显然都无法抵御超级人工智能项目的诱惑。反过来，即便是主要的经济大国，以较为透明的方式所启动运作的人工智能研究，也未必能够确保（伦理上）100%好的项目结果。

　　另一个强有力的例证是，计算机发展至今，在运算能力不断迭代增强的同时，编程错误所造成的危害也逐渐升级，而这些错误按照编程设计本该是不存在的——也就是说，对于计算能力和智能本身的掌控程度，科学界的把握本身是非常有限的。当人工智能发展到“程序设计程序”的层次，很可能会引发更多的、意料以外的设计错误。书中分别探讨了会激励具有自我意识、能自我改进的人工智能的几种动力，包括效率、自我保护和资源获取等，指出不经极其审慎的规划和编程设计，这些动力都会带来非常糟糕的结果。

　　智能电网、智能金融、智能物联网……这些即将变为现实的智能体系，覆盖广泛，几乎渗透了人类社会生活的所有角落，也自然加剧了社会系统的脆弱性。突发社会事件、自然灾害、恶意代码和软件，已经显露出社会系统脆弱的代价，而一旦掌控了人工智能的恶意机构，或是超级人工智能自身启动系统破坏，则将更加迅捷的造成甚至整个系统的崩溃。

　　当然，摆在超级人工智能问世之前，就会对人类社会的运转造成较大冲击的威胁在于，人工智能在与生物科学融合后，现今已经变得更为强大。人类大脑的复杂性，通过计算神经科学已得以证实，远超此前所有的尖端计算机，这也使得人工智能、机器智能和新一代计算机都更为积极的借鉴了计算神经科学，包括学习识别错误的能力（自我改善），更为精密的语言翻译和数据挖掘，等等。目前来看，尖端的计算机、机器智能将在不远将来具备整体性的类人类认知结构，特别是适应人类的语言处理，这将使得现在许多需要依靠人力的工作岗位，彻底转成机器代劳。