机器行为学，一门研究人工智能如何与人类共存的学科

网友投稿 2019-05-14 10:18

https://cdn.china-scratch.com/timg/190516/101RQ227-0.jpg

诺贝尔奖得主 Herbert Simon 在 1969 年发表了一本人工智能发展史上里程碑式的著作 ——《人工科学》（ The Sciences of the Artificial），其中他写到 ——

长按图片保存可分享至朋友圈

人工智能正在成为人类社会的重要组成部分，大量人机伦理问题正在被提出和被解决，科学家们正在像研究人类和动物行为那样，深入研究机器和机器群体的宏观行为规律。

导读

由 MIT 媒体实验室领衔，哈佛、耶鲁、马普所等院所和微软、谷歌、脸书等公司的多位研究者参与的课题组，近日在 Nature 发表了一篇以 “Machine behaviour” 为题的综述文章，宣告 “机器行为学” 这门跨越多个研究领域的新兴学科正式诞生。

由人工智能驱动的机器正不断塑造着我们与媒体、社会、文化、经济、政治的互动。了解人工智能系统的行为是应用时扬长避短的基础，因此有必要把机器行为学（Machine behaviour）的研究范围从计算机学科扩大，融合各个学科的见解。

这篇综述将介绍这一新兴交叉学科：机器行为学（Machine behaviour），主要研究智能机器所表现出的行为，将人工智能机器作为一类具有特定行为模式和生态学的行动者，提出人类需要了解和控制人工智能系统的行为，使其利益最大化，危害最小化。

文章廓清了机器行为学的这一新兴领域的一系列基本问题，提出对算法和算法运行的社会环境开展综合研究，理解机器行为，为机器行为研究的概念化提供了一个框架，并探讨了研究机器行为的技术、法律和制度限制等。

一、研究机器行为的动机

二、机器行为学的跨学科研究

三、研究对象与研究问题

四、三种研究范围：个体、群集与人机交互

五、展望：机器行为学将如何发展？

原文很长长长长长，在这里我们摘取一些重点，介绍一下机器行为学，方便大家阅读。

人工智能从人机关系的视角看，带来的革新和挑战是非常严峻且不可避免的。

近年来，人工智能驱动的机器已经越来越多渗透到我们的社会、文化、经济和政治的各个方面。人工智能越来越多地融入我们的社会，并已参与到我们的各种活动之中，如信用评分、算法交易、地方警务、自动驾驶、在线约会和无人机战斗等。

自动驾驶汽车必须在各种天气条件下成功驾驶；游戏代理商必须击败各种人类或机器对手；数据挖掘代理商必须了解在社交媒体上的广告活动中要定位哪些目标人群 ...

研究机器行为的动机

研究动机有三

首先，很多在我们的生活中被运行的算法正起到越来越重要的角色；

其次，因为不光是这些算法，还有算法运行的环境的复杂特质，光依靠分析手段是很难了解它们的行为的；

另外，智能算法的广泛存在和复杂性给预测算法对人类潜在的或正或负的影响带来了挑战。

机器算法的“不可控性”

这是由于人工智能算法的普遍性、复杂性和不透明性所决定的。

随着人工智能的普及，各种各样的算法在我们的社会中运行，在人类日常生活中发挥着越来越大的作用。这些算法所处的环境多样，越来越复杂，分析其属性和行为后果越来越难。

在 AI、机器人等刚开始兴起的时候，由于信息和人们认知的不对称，社会上存在着“机器人会产生自我意识”的恐惧。人们担心，当机器人有了自我意识之后会反过来控制人类，危害人类的安全。这样一来，预测智能算法对人类的影响，无论是正面的还是负面的都是一个巨大的挑战。

除了缺乏围绕 AI 可能带来影响的预期，结合不断增加的机器替代原本直接由人类承担的工作的现状，因缺乏人类监管而造成的潜在危害是另一个令专家们惧怕的事情。

随着近些年来机器算法的成熟、产品的普及和人们认知度的提高，人们对此的恐惧有所减少。但也有越来越多的科学家们开始发现机器算法确实存在一些“不可控性”的因素，并积极寻找解决方式，如李飞飞宣布成立斯坦福“以人为本 AI 研究院”、英国制定机器人行为标准、MIT 领衔的“机器行为学”新学科等。

其中，环境的变化和人类的决策正不断影响着机器的行为。

据了解，机器有产生行为的内在机制，这些行为在和环境的互动中获得信息，得到发展，并产生相应的功能，导致特定的机器在它们所对应的环境中发生了不同的变化。

如看护老人的智能产品，其智能系统通过实时检测和分析老人的行动，判断老人是否正常吃饭、服药、是否保持最低的运动量、是否有异常行动出现（例如摔倒）, 从而及时给予提醒，确保老人的生活质量不会由于独自居住而有所降低；医院的智能康复训练，其智能机器人通过对动作行为的规范程度做出识别，评估恢复程度以提供更好的康复指导等。

虽然机器和动物有着属性上的本质区别，但专家们认为，智慧机器行为研究可以从动物行为的研究上得到帮助，通过一个行为的功能、原理、发展与进化史四个维度进行研究，这就是机器行为学成立的依据。

算法的普遍性。目前，我们社会上的各种算法流行是前所未有的。

社交媒体新闻排名算法影响着人们所能阅读到的信息；算法交易软件使金融市场交易速度迅速；信用评分算法决定着贷款决策；在线定价算法在不同消费者之间形成产品成本差异；警务执勤算法决定了本地警务的调度模式；自动驾驶汽车横穿我们的城市，改变了传统交通模式。机器很可能越来越取代人类，算法已经逐步在控制着人们的家务活动、出行、消费行为、约会方式、抚养小孩和照顾老人等方方面面的行为。更为可怕的是，尽管许多人反对发展自主武器，但如果这种武器最终被部署，那么机器（或算法）在未来就可以在武装冲突中决定人们的生死存亡。

算法的复杂性和不透明度。人工智能系统的极端多样性及其普遍性，即使个别算法本身相对简单，本身就决定了研究这些系统的行为是一个巨大的挑战。

单一人工智能的算法复杂性一般都很高，而且正迅速增加。即便用于指定模型的体系结构和培训代码可能很简单，但结果可能非常复杂。尽管人工智能在算法可解释性方面取得了一些进展，但即便是对于开发算法的科学家来说，要想完全解释算法产生这些输出的确切功能过程也是很困难的。此外，数据的维度和大小为理解机器行为增加了另一层复杂性。工业保密和知识产权的法律保护经常围绕着源代码和模型结构展开，社会上最常用算法的大部分源代码和模型结构都是专有的，这些系统的训练数据也是专有的。在许多情况下，工业人工智能系统唯一可以公开观察到的因素是它们的输入和输出。

算法的普遍性，加上其日益复杂，算法可能会以有意或无意的方式塑造人类行为和社会结果，加剧了估计算法对个人和社会影响的难度。

算法对单个个体的影响如何扩大到全社会的影响，无论是正面还是负面的，都是至关重要的问题。例如，社交媒体插入和传播政治错误信息的可能会产生重大的社会后果。

由于算法有能力以积极或有意的方式推动人类行为，人类行为可能会被算法以无意的方式被推动，例如，帮助儿童学习的算法，可能会引导儿童购买某些品牌产品。

与智能算法的互动是否对人类发展的阶段和速度产生系统性影响？为了让社会能够对人工智能的下游后果进行投入和监督，机器行为学必须深入了解这些系统是如何工作的，以及人工智能在社会中的广泛应用所带来的利益、成本和权衡。

机器行为学的跨学科研究

自人工智能研究兴起以来，业内的研究主要是让机器通过大数据计算、深度学习等途径了解人类的社会生活，辅助人类工作或生活。但智能运算的复杂性和广泛性带来的“输出差异”问题光依靠数据分析手段很难了解它们的行为，这使得人们必须去探索这其中的原因。

机器行为学（Machine behaviour）就是这样一门新兴的交叉学科。它在计算机科学的基础上整合机器人学、认知科学、工程科学、神经科学等其他学科知识来研究智能机器所表现出的行为，但并不是从工程机器的角度去理解它们，而是将其视为一系列有自己行为模式及生态反应的个体。这个领域与计算机和机器人学科有关联性，但是又相互独立。

“机器行为学”这一概念的出现，也象征着人类研究方向的一大转折 —— 从让机器研究人类行为，到人类研究机器行为。

有关机器行为的问题跨越了各种传统科学学科和主题，为了研究其黑盒算法在现实环境中的行为，我们必须整合来自不同科学学科的知识。

目前，最常研究机器行为的科学家是计算机科学家、机器人学家和工程师，因为他们最先创造了机器。这批科学家可能是专业的数学家或工程师，然而他们通常不是受过训练的行为学家。

据了解，目前单个人工智能体的复杂性已经很高，并且在持续增长，虽然构架它们的代码和训练模型用的训练可以简洁，但是训练后的模型就完全不会有这么简单了，这经常导致 “黑箱（black boxes）” 的产生。

人工智能体接受输入后输出，但即便在“可解释性”的一些应用场景已经有了进展的现状下，人工智能体实际产生这些输出过程，也是架构它们的科学家自己难解释的。

此外，现在社会中使用频率最高的源代码、模型、数据集实际上是有版权的，这就导致在很多场景下，人们只能观察到系统的输入和输出，无法观测到机器在输入过程中发生了什么样的变化，加大了人们理解“机器行为”的难度。

人类可以创造智能机器，智能机器也可以改变人类的行为，但从输入到输出的差异和机器学习的不透明性来看，这其中的影响是积极还是负面我们暂不可知。唯有通过系统的研究，通过了解“机器行为”来帮助人们理解社会中无处不在的算法系统是如何工作，监管其可能造成的后续后果，进而进行取舍式的科技创新，使之让我们的社会生活更加安全且高效。

机器行为研究提供了定量证据，有助于向研究技术对社会和技术系统潜在影响的领域提供信息。反过来，这些领域可以为研究机器行为的领域提供有用的工程实践和科学问题。最后，对行为的科学研究有助于人工智能学者对人工智能系统能做什么和不能做什么做出更精确的陈述。

机器行为学研究的问题和对象

计算机科学学者已经在理解人工智能系统的机制和发展方面取得了实质性的进展，但相对而言，人们对人工智能系统的功能和演变的重视较少。与研究动物和人类的行为类似，机器行为所研究的问题和对象包括产生机器行为的机制、功能、行为发展和演化。具体来说，包括是什么与为什么两种类型的问题，以及动态与静态两种模式。每种问题又可以在单个机器、机器集合和混合人机系统三个层面上开展研究。

产生行为的机制。机制既依赖于算法，也依赖于其环境。

机器行为的直接原因与在特定环境中观察到的触发和生成行为的方式有关。例如，早期的算法交易程序使用简单的规则来触发买卖行为，更复杂的算法可基于自适应启发式或预期效用的显式最大化计算策略。

行为发展。机器行为发展可以直接归因于人类工程学或设计选择，我们可以研究机器是如何获得（发展）一个特定的个体或集体行为的。此外，机器也可以通过自身经验获得行为。

功能。功能在很大程度上取决于行为是否适合环境，对行为的功能的关注有助于我们理解为什么一些行为机制会扩散和持续，而其他机制则会衰退和消失。人类环境产生的选择性力量可能使某些机器更为常见，我们可以研究机器的行为如何为特定的利益相关人实现恰当的功能。

进化。与动物进化模式类似，机器行为的进化史也可以产生路径依赖性，从而解释其他令人费解的行为。

有些机器行为可能会传播，因为它是“可进化的”，易于修改，促进了多样性和稳定性，并对常见干扰具有鲁棒性。一些算法可能会关注某些特性而忽略其他特性，因为这些特性在早期成功应用中很重要。

这些特点突出了这样一个事实：机器行为可能表现出非常不同的进化轨迹。

机器行为学的研究范围

“Machine behaviour”文章提及，根据人工智能系统互相融合、影响，机器行为学的研究范围包括：单个机器行为，强调对算法本身的研究；集体机器行为，强调对机器之间相互作用的研究；混合人-机器行为，强调对机器和人之间相互作用的研究。

机器行为和人类行为既可以相互塑造，也可以协同互动。

人工智能系统代表了人类、数据和算法的融合，相互作用，相互影响。人类创建的算法过滤的数据影响个人和集体机器行为。人工智能系统接受数据训练，进而影响人类如何生成数据。根据这一框架，机器行为学的研究范围包括：单个机器行为，强调对算法本身的研究；集体机器行为，强调对机器之间相互作用的研究；混合人-机器行为，强调对机器和人之间相互作用的研究。机器行为和人类行为既可以相互塑造，也可以协同互动。

单个机器行为。对单个机器行为的研究集中在特定智能机器上。

通常，这些研究集中于单个机器固有的属性，以及由它们的源代码或设计驱动的属性。目前，机器学习和软件工程领域的研究主要集中在这些方面。研究单个机器行为有两种一般方法 —— 第一个重点是使用机器内方法分析任何特定机器代理的行为集，比较特定机器在不同条件下的行为；第二种是机器之间的方法，研究各种机器代理在相同条件下的行为。

集体机器行为。与对单个机器行为的研究相反，对集体机器行为的研究侧重于机器代理集合的交互和系统范围的行为。

在某些情况下，在考虑到集体水平之前，单个机器行为的影响可能毫无意义。对这些系统的一些研究受到了自然群体的启发，如成群的昆虫，或流动群体，如成群的鸟类或学龄鱼类。多智能体系统和计算博弈理论等领域为机器行为这一领域的研究提供了有用的例子。

然而，使用简单算法在机器人之间进行局部交互的机器人一旦聚合成大型集合，仍然可以产生有趣的行为。机器的集体装配提供了新的能力，例如即时全球通信，这可以导致全新的集体行为模式。集体机器行为的研究检验了机器集合的特性以及从这些复杂的交互系统中可能出现的意外特性。

混合人-机行为。人类越来越多地与机器互动。

机器调解我们的社会互动，塑造我们所看到的新闻和在线信息，并与我们形成可以改变我们社会系统的关系。由于其复杂性，这些混合的人机系统构成了机器行为研究中技术难度最大但同时也是最重要的领域之一。

机器行为研究中最明显但最重要的领域之一是，将智能机器引入社会系统，可以改变人类信仰和行为的方式。这一领域的一个重要问题包括，人类如何应对经济产品和服务与智能机器的日益增长的共同生产。

虽然将研究分为人类塑造机器的方式（反之亦然）在方法上很方便，但大多数人工智能系统在复杂混合系统中与人类共存的领域中发挥作用。对这些系统的研究具有重要意义的问题包括那些研究人机交互特性的行为的问题，包括合作、竞争和协调。存在两种不同类型的机器-人类交互，一种是机器可以提高人类的效率，比如机器人和计算机辅助手术。另一个是机器可以取代人类，比如无人驾驶运输和包裹运输。

这就引出了这样的问题：机器最终是要做更多的替换工作，还是要在更长的时间内做更多的改进工作，以及由此产生的人机协同行为将如何演变。

未来展望

我们对人工智能算法融入人类生活所做出的相应选择，必须对这些选择的最终社会影响有所了解。

机器行为学的研究，对于最大化人工智能对社会的潜在利益至关重要。然而，研究机器行为并不意味着人工智能算法应该为其行为承担道德责任。

机器在社会技术结构中运行，其利益相关人应该对其部署可能造成的任何伤害负责。

首先，任何行为都不能与环境数据完全分离，在环境数据中，对该算法进行培训或开发；机器行为也不例外。因此，就像行为科学家希望描述不同人口和制度环境下的政治行为一样，机器行为学的研究重点应放在描述不同环境下的算法行为上。

其次，人工智能科学家可以更容易、更彻底地解剖和修改人工智能系统。即使借用现有的行为科学方法可以证明对机器的研究是有用的，机器也可能表现出某种形式的智力和行为。

再次，机器行为的研究需要跨学科的努力，通常还需要实验干预来研究现实环境中的人机交互问题，这些干预可能改变系统的整体行为，可能对正常用户产生不利影响。像这样的伦理考虑需要仔细的监督和标准化的框架。

最后，研究智能算法或机器人系统可能会给研究机器行为的研究人员带来法律和道德问题。例如，逆向工程算法可能需要违反某些平台的服务条款，还不清楚违反服务条款是否会使研究人员受到民事或刑事处罚。

总之 ——