1. 言论

1.1. 对一个人终身职业的威胁，可能会使一个非常聪明的、通常很有思想的人说出一些话，但在进一步分析后，他们很可能希望收回这些话

1.2. 电子计算器在算术方面是“超人”，但是计算器并没有接管世界，因此，我们没有理由担心会产生超越人类的人工智能

1.2.1. 智能不同于算术，计算器的算术能力并不能让它们接管世界

1.3. 马有超越人的力量，但是我们不用担心马对我们来说是否安全，因此我们不必担心人工智能系统是否安全

1.3.1. 智能不同于体力，马的体力强并不能让它们接管世界

1.4. 历史上没有出现过任何机器杀死数百万人的例子，因此，我们可以得出结论：这在未来也是不可能发生的

1.4.1. 凡事都有第一次，在第一次发生之前，任何事情都是亘古未有的

1.5. 宇宙中没有任何一个物理量是无限的，包括智能，所以人们对超级智能的担忧被夸大了

1.5.1. 超级智能并不需要是无限的才会产生问题，物理学允许计算设备比人脑强大几十亿倍

1.6. 我们并不担心物种灭绝，这就像黑洞在近地轨道上出现一样不太可能发生，那么我们为什么要担心超级人工智能呢？

1.6.1. 如果地球上大多数物理学家都在努力制造这样的黑洞，我们难道不问他们这样做是否安全吗？

2. 人工智能界

2.1. 现代心理学的一个主要观点是，单凭一个智商测试分数无法描述人类智力的全部丰富性

2.1.1. 该理论认为，智力有不同的维度：空间的、逻辑的、语言的、社会的等

2.2. 将未来描述为人类和机器之间的一维智商竞赛是具有误导性的

2.2.1. 智能不是单一的维度，因此‘比人类更聪明’是一个毫无意义的概念

2.3. 一种明显的响应是，机器在智能的所有相关方面都可能超越人类的能力

2.3.1. 黑猩猩可能拥有比人类更好的短期记忆能力，即使是在回忆数字序列这种面向人的任务中，黑猩猩也强于人类

2.4. AI100

2.4.1. 人工智能百年研究是斯坦福大学的一个雄心勃勃的长期项目

2.4.2. 它的目标是追踪人工智能的进展，或者更准确地说，是“研究和预测人工智能的影响将如何波及人们工作、生活和娱乐的方方面面”

2.4.3. 它强调人工智能在医疗诊断和汽车安全等领域的优势

2.4.4. 它认为“与电影不同，超人类机器人种族在可预见的未来世界里不会出现，甚至永远不可能出现”

2.4.4.1. 这是严肃的人工智能研究人员第一次公开支持这样一种观点，即人类水平或超越人类水平的人工智能是不可能出现的，这一观点出现在人工智能研究飞速发展的时期，当一个又一个障碍被突破之时

2.4.5. 没有理由担心人工智能对人类构成迫在眉睫的威胁

2.4.5.1. 这是稻草人谬误，即在论辩中有意或无意地曲解对方的论点以便能够更容易地攻击对方

2.4.5.1.1. 人工智能令人担忧并不是因为迫在眉睫

2.4.5.2. 对人类来说，担心一个潜在的严重问题的恰当时间，不仅取决于问题何时出现，还取决于准备和实施解决方案需要多长时间

2.4.5.2.1. 超人类人工智能的相关时间尺度很难预测，但当然，这意味着它可能会像核裂变一样，来的比预期早得多

2.5. 人们用“人工智能永远不会成功实现其目标”这种说法来为人工智能辩护

2.5.1. 我们不能简单地靠押宝人类的聪明才智来确保未来的灾难不会发生

2.5.2. 20世纪30年代早期，以卢瑟福男爵为代表的物理学机构自信地认为提取原子能是不可能的事情。然而，他的这种自信被利奥·西拉德在1933年发现中子诱发的链式核反应证明是错误的

2.6. 我们已经投入了大量的科技资源来创造更强大的人工智能系统，却很少考虑如果我们成功了会发生什么

2.6.1. 即使只有一个人登上火星也会造成人口过剩，因为火星的承载能力为零

2.6.2. 目前计划将少数人送上火星的团体确实担心火星上出现人口过剩，这就是为什么他们正在开发生命维持系统

2.7. 禁止人工智能研究是不可能的

2.7.1. 解决方案不是阻止超级人工智能或找到战胜它的方法，而是确保它从一开始就不与人类发生冲突

2.7.2. 通常不会提议限制人工智能研究，他们只是建议注意防止设计不良系统所带来的后果

2.7.2.1. 人们对核电站的安全壳失效风险的讨论不应被解释为人们试图禁止核物理研究，而应被解释为一种建议，即把更多的工作放在解决安全壳问题上

2.7.3. 还没有人提出以任何合理的形式来限制人工智能研究

2.8. 专家

2.8.1. 所有对风险的担忧都源于无知

2.8.2. 不知道新技术会对我们的自我意识和生计产生什么影响

2.8.2.1. 当我们一无所知的时候，我们恐惧的头脑会填充细节

2.8.3. 人工智能研究人员，包括该领域的一些领导者，从一开始就在提出有关人工智能的风险和超级智能的问题方面发挥了重要作用

2.8.4. 安全文化恰恰是由人们指出可能的故障模式，并找到确保故障不会发生的方法组成的

2.8.4.1. 在试图向公众和决策者描述风险时，人工智能研究人员与核物理学家相比处于劣势

3. 卢德主义

3.1. 卢德主义分子是19世纪初的手工织布工，他们抗议引进机器来代替他们的熟练劳动力

3.2. 2015年，信息技术与创新基金会将年度卢德分子奖颁给了“鼓吹人工智能末日的危言耸听者”

3.2.1. 对这群“卢德分子”的定义很奇怪，名单中图灵、维纳、明斯基、马斯克和盖茨都榜上有名，而他们都是20世纪和21世纪最杰出的技术进步贡献者

3.3. 对卢德主义的指控代表了人们对“所提出的问题的性质”和“提出这些问题的目的”的误解

4. 诡辩主义

4.1. 悲观的预测往往没有考虑人工智能在防止医疗失误、减少车祸等方面的潜在好处

4.2. 如果人工智能没有潜在的好处，那么人工智能研究就不会有任何经济或社会动力，因此也就不会有出现达到人类水平的人工智能的危险

4.3. 如果不能成功降低风险，人们就不会得到任何好处

4.3.1. 1979年美国三里岛核电站部分堆芯熔毁

4.3.2. 1986年切尔诺贝利核电站失控的反应和灾难性的泄漏

4.3.3. 2011年福岛核电站的多次熔毁

4.3.4. 大大降低了核能的潜在效益

4.3.5. 意大利在1990年放弃了核能，比利时、德国、西班牙和瑞士也宣布了类似的计划

4.3.6. 自1990年以来，全球核电站的设备利用率大约是切尔诺贝利事故之前的10%

5. 部落主义

5.1. 拥护机械主义者认为，机器统治的风险很小或根本不存在

5.2. 反对机械主义者认为机器是不可战胜的，除非所有机器都被摧毁

5.3. 争论变成了部落式的，没有人试图解决“如何保持人类对机器的控制”这一根本问题

5.4. 20世纪的所有主要技术问题——核能、转基因生物和化石燃料，在不同程度上都屈从于部落主义

5.4.1. 每个问题都有赞成和反对两个方面

5.4.2. 每个部落的动态和结局都不同，但是部落主义的症状是相似的

5.4.2.1. 相互不信任和诋毁、非理性地争论、拒绝承认任何可能有利于另一个部落的（合理）论点

5.4.3. 只有最偏激的声音：那些最不可能被对方听取的声音，才能代表每个部落

5.5. 有关人工智能的辩论正面临部落化，即建立支持人工智能和反对人工智能两大阵营的危险

5.6. 人工智能研究者想要证明大猩猩问题不存在的自然愿望，这对他们而言是一个非常令人不安的前景

5.7. 部落习性，即人们本能地对可能“攻击”人工智能的东西严阵以待

6. 正交性理论

6.1. 智能和最终目标是正交的：原则上，几乎任何水平的智能都能与几乎任何最终目标相结合

6.2. 正交的意思是“成直角”，即智能程度是定义智能系统的一个轴，而目标是另一个轴，我们可以独立地改变它们

6.3. 强化学习系统和其他类型的奖励优化器的工作原理：算法是完全通用的，可以接受任意奖励信

6.4. 正交性理论只是一个给定事实

7. 不能？

7.1. 一个超级智能实体会事先想到这种可能性，并采取措施来阻止它

7.1.1. 它这样做不是因为它想要生存，而是因为它在追求我们赋予它的任意目标，并且知道如果自己被关闭，这个目标就无法达成

7.2. 区块链是基于加密的高度分布式的计算和记录保存形式，它经过专门设计，使得一个人在不控制大量机器并解开链的情况下，基本上不能删除任何数据，也不能终止任何智能契约，而这又可能会破坏互联网或金融系统的很大一部分

7.3. Oracle AI系统可以是任意智能的，但对每个问题只能回答是或否（或给出相应的概率）

7.3.1. 该系统将至少像我们理解自己的世界一样，孜孜不倦地理解它的物理性质和起源，包括它的计算资源、工作原理，以及制作了它的信息库并正在提问的神秘实

7.3.2. 如果Oracle AI系统的目标是在合理的时间内为问题提供准确的答案，那么它就会有动力冲出牢笼，获取更多的计算资源，并控制提问者，让他们只问简单的问题

7.3.3. 我们还没有发明出一种针对普通人的安全防火墙，更不用说针对超级智能机器的安全防火墙了

7.3.4. Oracle AI系统限制为可证明的合理逻辑或贝叶斯计算器

7.3.5. 超级智能的Oracle AI系统仍然价值数万亿美元，因此开发人员可能愿意接受这个限制

7.3.6. 控制Oracle AI系统肯定比控制通用智能体更容易，所以我们在10年内解决这个问题的机会更大

7.4. 在企业界，一种普遍的看法是，人工智能不会对就业或人类构成威胁，因为我们只有人机协作团队

7.4.1. 其目的是粉饰从其公司中剔除人类员工的过程

7.4.2. 强调问题并不等于解决问题

7.5. 最极端的情况是，人机协作变成了人机融合，电子硬件直接连接到大脑，成为一个单一的、可扩展的、有意识的实体的一部分

7.5.1. 如果我们实现了紧密的共生，人工智能就不会是“他者”，它将会是你，它将会与你的大脑皮层产生一种类似于你的大脑皮层与边缘系统的关系

7.5.2. 难以将电子设备连接到脑组织，为脑组织供电，并将其连接到外部世界

7.5.3. 事实上，我们对大脑中实现更高层次认知的神经几乎一无所知，所以我们不知道应该把设备连接到哪里，更不知道应该如何处理

7.5.3.1. 大脑本身具有非凡的适应能力

7.5.3.2. 大脑为我们做了大部分工作

7.5.3.2.1. 它很快就学会了如何让机器手臂做主人想做的事情，以及如何将人工耳蜗的输出映射成可理解的声音

7.5.4. 事实上，我们对大脑中实现更高层次认知的神经几乎一无所知，所以我们不知道应该把设备连接到哪里，更不知道应该如何处理

7.5.4.1. 大脑本身具有非凡的适应能力

7.5.4.2. 大脑为我们做了大部分工作

7.5.4.2.1. 它很快就学会了如何让机器手臂做主人想做的事情，以及如何将人工耳蜗的输出映射成可理解的声音

7.5.5. 如果人类仅仅为了摆脱自身技术的威胁而需要进行脑外科手术，那么我们或许已经在某个环节犯了错误

7.6. 一个常见的推理思路是，有问题的人工智能行为是由我们输入了特定种类的目标而引起的

7.6.1. 如果删掉这些目标，一切都会好的

7.6.2. 对机器而言，死亡本身并不是什么坏事

7.6.2.1. 死亡还是要避免的，因为“如果你死了，你就很难去取咖啡了”

7.6.3. 更极端的解决方案是避免将目标全部输入机器中

7.6.3.1. 没有目标，就没有智能：任何行动都是好的，机器可能变得和随机数生成器一样

7.6.3.2. 没有目标，机器就没有理由喜欢人类的天堂胜过一个堆满回形针的星球

7.7. 机器执行的最佳计划很可能会给人类带来问题，而机器很可能也意识到了这一点

7.7.1. 机器意识到的相互冲突的目标并不构成人类关注的全部

7.7.2. 在标准模型中，机器必须关心它没有被告知要关心的目标

7.8. 如果我们构建机器来优化目标，那么我们输入机器的目标必须符合我们想要的目标，但我们不知道如何完全正确地定义人类目标