前段时间的人机大战已经淹没在众多的新闻中，但是，从它能够吸引人的巨大关注这一点来看，人工智能是值得我们持续探讨的。由伊隆·马斯克、斯蒂芬·霍金、比尔·盖茨、比尔·乔伊和其他名人提出的关于人工智能有失控的也危险引发了人们的担心。
OpenAl（一所生命研究所，也是机器智能研究机构）正在试图减少这种威胁，而今，他们取得了重要的发展。
没有一个正常人或是组织想要看到人工智能的失控。然而，一个基本的问题就是没有人知道失控的临界点在哪里，因此，我们不大可能能够阻止失控的发生。换一种说法，我们有很大的可能性会误判临界点的所在，因此会错过最佳处理时机。并且就人类本身的心理来看，很容易忽视或者低估人工智能失控的可能性。
Elon Musk提出过概念“黑天鹅事件”（指非常难以预测，且不寻常的事件，通常会引起市场连锁负面反应甚至颠覆。隐喻那些意外性事件），也是我们看到的2008年金融危机的根源。在这里，如果仅仅因为统计学上低概率趋势或事件的，统计学上的不可能就会变为可能。这就导致了另一个问题，人的本性是傲慢的，虽然我们现在正在说着做好预防性措施，但那些正在做人工智能工作人员更愿意相信人类的控制能力。
我们遇到的敌人，其实就是我们自己
机器学习在如今风靡一时。它的基本思想非常简单，表现为一个计算机系统有足够多你想让它学习的案例：比如，语言翻译，面部识别。通过剔除离群值，概率统计会出现一项正确的结果，而这个结果将会被作为最佳匹配结果识别出来。
真实的情况远没有这么简单，事情往往是无规律可循的，模糊不清的，比如，到目前为止，没有计算机程序可以评估质量和评价网络内容的可靠性，不能分辨人类交谈的细微差别。但是，当它可以做到的时候，我们将面临非同寻常的困境。
更加让人恐惧的是，评估质量和网络内容可靠性的能力还可以程序化，变为阅读和评估人类全部历史和知识的能力，而且这种评估过程是以光速进行的。当然，评估和理解并不是一个同义词，评估内容的能力需要根据人类的行为和意图来建立机器学习的门槛标准。比如：声控虚拟化的辅助理解功能，举个例子像Siri、Now、Cortana、Echo，他们的计算机程序会在第三方数据库中搜寻基本的匹配信息。当然，机器学习是在后台工作的。它的学习进程不仅仅是建立人们交谈的细微差别的标准，还要识别出花招，骗局和谎言等的不同方面。
考虑到人工智能的发展，新的AI防御组织和程序员们认为，他们可以想办法使人工智能短路，或是设置一些故障保护程序以防人工智能对我们有些负面的看法 。这是在最好的情况下的一个很高的要求，因为这需要前所未有的准确性，如果做不到，就会出现错误。
随意给出一个范围，人工智能的全部的变量和排列组合都可以被代码捕捉到，代码是不会骗人的，但是，只要看看我们在数千年的努力之后如今对宗教和法律文件仍有不同的解读就知道了，人类是没有办法去衡量那些从道德和伦理上理解是相互矛盾的事物。类似的，也没有一个写好的程序代码，不会被黑客攻击和复制，这就很有可能会导致竞争（像我们见到的高频次的交易一样的应用程序之间的竞争）。
还有一个方法就是，也是最好的办法，我们给人工智能洗脑，一开始就写好这方面的程序。因此，最少可以看到，我们想要的就是人工智能不会对抗我们的工作。但是，鉴于生物捕猎者或者捕猎的本性，生物化学和情绪驱动，作为文明的人类社会，我们学会了怀疑“对立的事物”和权威（即使怀疑是一件永远做不完的事情），所以这种对抗我们认为还是会发生的。
狭路相逢，非黑即白。
新的抵御人工智能组织开发了许多有价值的策略。一个就是设计多个不同的系统来纠正潜在的隐患，这种隐患可以在人工智能系统程序化之前被纠正过来。另一件就是开发先发制人的故障保护机制。再有就是可能开发检查机制，在人工智能的系统竞争中寻求平衡方案。这些都是一些好想法，但是最难的往往存在在细节中。
虽然不同的系统设计会发现一些缺陷，但发现他们所有的可能性暗示了未来的知识会达到前所未有的水平，可能会创造无限的场景。故障保险和电路短路听起来是不错的主意。现在的问题在于，当我们正在利用一个人工智能的时候，人工智能可以同时识别进攻或是防御策略的骗局。
战争是政治在某种形式上的延续
在冷战期间，美国和苏维埃政府提出来一个禁止使用“攻击型”生化武器的协议。然而，在冷战过后，我们发现，苏维埃政府正在发展炭疽热武器（这个武器是设计有致命性的微生物来组织有效反抗）。与此同时，美国及其同盟国也在制造你“攻击型”生化武器，这个武器试图在“攻击性”武器中植入洞察力（不能否定的是这是科学上的一小步）。因此，双方都不能遵守协议精神，生化武器的发展永远不会慢下来。
与此相似，斯诺登事件（又称棱镜计划，是一项由美国国家安全局（NSA）实施的绝密电子监听计划，内容是要求电信巨头威瑞森公司必须每天上交数百万用户的通话记录）的启示之一就是国家安全局如何操控和弱化了南非共和国的密码使用标准，这个标准是由美国国家标准技术研究所发行建立。换言之，这是一个政府故意隐瞒和欺骗不同机构的安全性能水平的案例，政府这样做的目的是方便国家安全局可以秘密的监听他们。
最后，美国和以色列的政府创造了一个非凡的复杂的网络武器，叫做震网，用来攻击伊朗核武器。这个攻击起了作用。但，即使有了卓越的设计，操控者依然忽略了在他们设计的代码中加入一个重要的细节。也就是说，每一个政府和恶意黑客在互联网上都能够复制和学习它的尖端的恶意软件技术，以便政府在全球的网络军备竞赛中加大赌注和胜算率。比赛可以继续，但你已经掌握到了要点。
盗亦无道
没有理由认为这些用心良苦的新的预防性AI组织对减轻潜在的威胁多么成功，世界各地的政府和军事组织将通过同样的规则参与到未来各项规则的制定中。相反，正如所有的历史告诉我们，他们会弯曲或破坏规则，他们宣称为达目的可以适当的不择手段。 这就是典型的现实政治 。他们认为如果我们不这样做，我们（这些政客亦或者是政府们）就输了。
当然，这些政府或军事组织不能预料他们的AI系统将超出他们的控制。
被骗一次，其错在人；被骗两次，其错在己
撇开本文讨论的基本评价和理解的问题，我们转向临界点的讨论。AI将具有自我意识，且经历一次相比于将人类与其他灵长类动物媲美的“智能爆炸”。
核心问题不在于我们没有看到威胁。相反，真正的问题在傲慢的人性和机构中。按照E.O.威尔逊的观点，人类的真正的问题是我们有旧石器时代的感情，中世纪的机构和神一样的技术。
因此，短期很快创造真实的、更加真正民主的21世纪的机构这种事情我们还是采用哲学态度来看待会比较好。或者我们可以这么打比方：人工智能就像我们的孩子，不管他是好还是坏，他们都将带着我们的遗留的财富前进 ，超越恒星直到永恒。
已有0人发表了评论