人工智能延续人类文化，人工智能继承人类偏见
文/陈根
科技是人类现有文化的延伸。科技在延展了人类智慧的同时，也继承了人们的偏见和歧视。
当前，人工智能作为第四次工业革命中的代表性技术，正在迅速改变我们所认知的世界。然而与此同时，现实世界中，由人所创造、从人类数据中学习观察的人工智能，也常常表现出和人类相似的偏见，不论是招聘中的性别歧视，还是人脸识别下的种族误判。
歧视的发生不仅折射出社会中原就存在的性别陈规与偏见，并且，在设计与营销决策的过程中，人工智能还将进一步放大这些偏见。在科技能量日益增强的当下，思考和解决这些歧视的发生变得越来越重要。
AI偏见，是人类意志的产物
与随机杂乱、物竞天择的进化过程不同，人工智能是人类意志的产物，是为了达成某种目的而形成的。尽管人工智能作为技术包含着一个客观结构，但人工智能同时服务于人的目的理性活动。也就是说，任何一种人工智能算法在诞生前就已经被概念化，并且在开发的过程中必然伴随着开发者的意志。
然而，从开发者的角度来看，美国劳工局的数据显示，虽然女性在劳动力市场中占了59%的比例，但在科技界往往只有20-30%的女性员工。在与程序开发相关的工作中，网站开发是女性比例最高的职业，但也只有不到40%。
据估计，截至2018年，仅仅在美国就有140万个与计算机相关的就业机会，而女性只会获得这其中29%的工作。人工智能的开发也很自然地继承了从业上的性别不平衡，没有足够的女性样本参与使得人工智能的知识不可避免地出现漏洞，这就是为什么会出现偏差错误的原因。
人工智能Now作为一家研究人工智能对社会影响的研究机构，其研究就表明，男性主导的人工智能产业与其生产的歧视性系统及产品之间有着明显的联系。比如，在机器学习领域里，其偏见的来源就包括不完整的或有偏差的训练数据集、训练模型代入人的标签和偏见，以及算法和技术的缺陷。
当训练数据中缺少某种统计类别时，人工智能习得的模型就无法正确衡量这部分特征。如果训练数据中男性比例过低，这一算法模型应用于男性时就有更大的误差；如果训练数据中关于“医生”的照片大部分是女性，搜索“医生”图片时，算法就会放大女性出现的概率。
于是，当科技从业者们的性别不平衡进一步表现在有偏差的训练数据集里时，性别歧视就出现了。亚马逊的Alexa和苹果的Siri等常见人工智能系统的核心——自然语言处理（NLP）就存在性别偏见，人工智能在词嵌入上的性别偏见，就像单词联想游戏一样。其中，这些系统通常将“男人”与“医生”相关联，将“女人”与“护士”相关联。而这也正是训练样本不完整、不足的典型代表。
从训练模型代入人的标签和偏见来看，绝大多数商业人工智能系统都使用监督机器学习，因此训练数据需要人为打上标签。这个过程中，就难免会有意无意将人的偏见编码到算法模型中。倘若人在设定标签时，将“身材的胖瘦”与“美”联系起来，算法自然会继承这一偏见。
同时，这些偏见在算法和技术的缺陷下进一步被隐匿，当算法和所有人的生活都紧密相关时，算法却以一种所有人都无法理解的方式在黑箱操作。“算法黑箱”带来的某种技术屏障使得无论是程序错误，还是算法歧视，在人工智能的深度学习中，都变得难以识别。偏见也因而无从解释。
此外，正是由于科技行业女性的低比例，使得科技行业弥漫的性别偏见难以打破、研发出来的人工智能产品折射出来的男尊女卑的“女性观”得不到纠偏。这种物化女性、加固性别刻板印象的趋势则进一步打击了女性进入科技界的意愿。从开发到应用，性别的歧视就在这样的不良循环里存在着，随时发生着。
适时纠偏，重建技术公平
当前，偏见、歧视、错误都是人工智能进步的必经之路，其前提是人们能够在意识到偏见存在时做出改变，适时纠偏。
显然，人工智能算法由人类开发，被人类使用。开发者们的价值观和偏见都将对算法造成极大影响。这也是为什么社会需要更多的女性科研人员参与人工智能的设计，甚至是将女性用户的需求以及尊重性别平等的理念融入到人工智能的系统里的重要原因。
从技术开发的过程来看，不公正的数据集则是偏见的土壤——如果用于训练机器学习算法的数据集无法代表客观现实情况，那么这一算法的应用结果往往也带有对特定群体的歧视和偏见。事实上，算法存在的前提就是数据信息，而算法的本质则是对数据信息的获取、占有和处理，在此基础上产生新的数据和信息。简言之，算法是对数据信息或获取的所有知识进行改造和再生产。
由于算法的“技术逻辑”是结构化了的事实和规则“推理”出确定可重复的新的事实和规则，以至于在很长一段时间里人们都认为，这种脱胎于大数据技术的算法技术本身并无所谓好坏的问题，其在伦理判断层面上是中性的。
然而，随着人工智能的第三次勃兴，产业化和社会化应用创新不断加快，数据量级增长，人们逐渐意识到算法所依赖的大数据并非中立。它们从真实社会中抽取，必然带有社会固有的不平等、排斥性和歧视的痕迹。因此，算法偏见最直接的解决思路就是将原本不均衡的数据集进行调整。
比如，确保训练样本的多样性，在训练数据中使用与男性数量相近的女性样本，确保给样本打标签的人们有着多元化的背景等。
2018年，微软就曾与专家合作修正和扩展了用于训练Face API的数据集。Face API作为微软Azure中的一个API，提供预训练算法以检测、识别和分析人脸图像中的属性。新数据通过调整肤色、性别和年龄等所占的比例，将肤色较深的男性和女性之间的识别错误率降低20倍，女性的识别误差率则降低9倍。
此外，也有公司尝试通过构建全球社区，大规模地把某个组织可能在寻找的任何信息汇集起来，并以这种广度和深度相结合的方式进行，这使得引入截然不同的数据来训练人工智能系统成为可能，以帮助克服算法偏见等问题。
毋庸置疑，构建更加公正的数据集是算法偏见重要的解决方法之一，在此基础上，还可以应用新的机器学习去除偏见的技术。比如，哥伦比亚大学的研究者曾开发的一款名为DeepXplore的软件，就可以通过技术手段使得系统犯错，以暴露算法神经网络中的缺陷。
DeepXplore使用差分测试，通过以不同的方式看待事物。如果其他模型都对给定的输入做出一致的预测，而只有一个模型对此做出了不同的预测，那么这个模型就会被判定有一个漏洞的方法，为打开黑箱做出了重要的贡献。
此外，2018年，谷歌也曾推出新工具 What-If，作为 TensorBoard 中用于检测偏见的工具。利用该工具，开发者可以通过交互式可视界面和反事实推理探究机器学习模型的特征重要性，找出误分类原因、确定决策边界，检测算法公平性等。
显然，现实社会中的偏见产生的原因盘根错节，技术作为一面镜子，映射了人类社会许多固有的偏见。尽管长期以来，人们都一直致力于消除偏见，但人们至今也尚未彻底将其消灭。
偏见作为生活中不可避免的事实而存在着，但这并不意味着偏见和歧视也是新技术不可避免的方面。人工智能作为第四次工业革命中的代表性技术，始终有机会重新开始纠正偏见。技术由人类开发，为人类服务，而能否创造对每个人都有效和公平的技术，从来都取决于人类，而不是机器。
人工智能也有歧视和偏见
在大多数科幻电影里，冷漠又残酷是AI的典型形象，它们从来不会考虑什么是人情世故，既没有人性光辉的闪耀，也没有人性堕落的七宗罪。
然而在现实中，人工智能技术却不像电影里那么没有「人性」，不过这可不是什么好事，因为AI的「歧视」和「偏见」正在成为越来越多人研究的课题，而且它们确实存在。
我们先来看几个例子：
COMPAS是一种在美国广泛使用的算法，通过预测罪犯再次犯罪的可能性来指导判刑，而这个算法或许是最臭名昭著的人工智能偏见。根据美国新闻机构ProPublica在2016年5月的报道，COMPAS算法存在明显的「偏见」。根据分析，该系统预测的黑人被告再次犯罪的风险要远远高于白人，甚至达到了后者的两倍。
▲图片来自：Medium
可能你在直觉中也会认识黑人的再犯率会高于白人，但这并不和实际情况相符。在算法看来，黑人的预测风险要高于实际风险，比如两年内没有再犯的黑人被错误的归类为高风险的几率是白人的两倍（45%对23%）。
而未来两年内再次犯罪的白人被错误认为是低风险的概率同样是黑人再犯将近两倍（48%对28%）。
人工智能的偏见，早已深入了各个领域。
在AI技术应用领域，面部识别也是一项广泛使用的应用类型，并且这会成为种族和性别偏见的另一个潜在来源。2018年2月份麻省理工学院的JoyBuolamwini发现，IBM、微软和中国公司Megvii的三个最新的性别识别AI可以在99%的情况下准确从照片中识别一个人的性别，但这仅限于白人。对于女性黑人来说，这个准确率会降至35%。
▲图片来自：FPTUniversity
一个最可能的解释是，AI的「偏见」取决于背后训练算法训练的数据，如果用于训练的数据里白人男性比黑人女性更多，那显然白人男性的识别率就会更高。IBM后来宣布他们已经采用了新的数据集并重新训练，微软也表示会采取措施提高准确性。
另一个研究是Facebook的人工智能实验室的研究成果，他们发现人工智能的偏见不止存在于国家内部，在不同国家之间也是存在的。
比如当被要求识别来自低收入国家的物品时，Google、微软和亚马逊这些人工智能领域大佬的物体识别算法会表现更差。
研究人员对五种流行的物体识别算法进行了测试，包括MicrosoftAzure，Clarifai、GoogleCloudVision、AmazonRekogition和IBMWatson。
测试的数据集包含了117个类别，从鞋子到肥皂到沙发以及更是各样的物品，这些来自于不同的家庭和地理位置。跨域了从布隆迪（非洲中东部的一个小国家）一个27美元月收入的贫穷家庭，到来自乌克兰月收入达到10090美元的富裕家庭。
研究人员发现，与月收入超过3500美元的家庭相比，当被要求识别月收入50美元的家庭时，物体识别算法的误差率大约会增加10%，在准确性的绝对差异上甚至会更大。与索马里和布基纳法索相比，算法识别来自美国产品是准确率要提升15-20%左右。
▲图片来自：StartupThailand
这就是问题所在。目前的人工智能背后需要即为大量的数据去训练，尽管人工智能本身不知道「歧视」和「偏见」是什么意思，但背后数据的研究人员却会带有这样的思想，以至于在训练数据的选择上就会产生偏向性。
通常情况下，在创建AI算法的过程中会有许多工程师参与，而这些工程师通常来自高收入国家的白人家庭，他们的认知也是基于此阶级，他们教导AI认识世界也是如此。
当然这并不是全部原因，在2015年的一项研究中显示，使用Google搜索「CEO」的图片，其中只有11%的人是女性。我知道男性CEO的确比女性CEO比例要多很多，但实际上美国有27%的CEO是女性。而匹兹堡卡内基梅隆大学的AnupamDatta领导的另一项研究发现，Google的在线广告系统展示的男性高收入工作也比女性多很多。
Google对此的解释是，广告客户可以制定他们的广告只向某些用户或网站展示，Google也确实允许客户根据用户性别定位他们的广告。
另一大巨头亚马逊也曾遇到过AI歧视的问题。2014年的时候亚马逊在爱丁堡成立了一个工程团队以寻求一种自动化的招聘方式。他们创建了500种计算机模型，通过对过去的入职员工简历进行搜索，然后得出大约50000个关键词。
「当时他们在这个算法上寄予了很大期望，喂给它100份简历，然后它会自动吐出前五名，OK，我们就雇佣这些人。」当时一位消息人士是这样告诉的路透社。
▲图片来自：MachineLearningTechub
然而一年后，工程师们有一些不安的发现——它不喜欢女性。显然这是因为人工智能所获取过去十年的数据几乎都是男性的，因此它得出了「男性更可靠」的观点，并降低了简历里包含女性字样简历的权重。
性别偏见还不是这套算法唯一的问题，它还吐出了不合格的求职者。2017年，亚马逊放弃了该项目。
尽管人工智能的「偏见」已经成为一个普遍的问题，但有意思的是，人类又试图使用人工智能技术去纠正人类本身的偏见问题。
日前旧金山宣布推出一种「偏见缓解工具」，该工具使用人工智能技术自动编辑警方报告中的嫌疑人种族等信息。它的目的是在决定某人被指控犯罪时，让检察官不受种族偏见的影响。目前该工具已经准备就绪，预计在7月1日正式实施。
▲图片来自：Seattletimes
根据旧金山地区检察官办公室的说法，这个工具不仅会删除关于种族的描述，同时还会进一步删除关于眼睛颜色和头发颜色等可能有意无意对检察官造成暗示的信息，甚至地点和社区名称也将会被删除。
它会运作良好并产生实际的效果吗，目前还不得而知。
某种意义上说，目前人工智能的「歧视」与「偏见」是人类意识以及阶级地位的投射。白人精英工程师研究出的人工智能更像「白人的人工智能」和「精英的人工智能」，同理也可以想象，如果是黑人和黄种人主导的人工智能，同样也会对本群体比较有利。
▲图片来自：DuduMimran
而通过人工智能对人类本身的偏见行为进行纠错则是一项更有意思的尝试，如果该方法确实能缓解人类的偏见，那人类和人工智能可能会在该问题上相互收益，理想情况下能打造一个正向循环。
神话故事里上帝摧毁了巴别塔使得人类不再语言文化互通，而人工智能这一改变未来的宏伟技术同样像是一座通天高塔，如果要把它建成全人类的福祉，消除不同文化造成彼此偏见是一定要解决的问题。
题图来源：FinancialTimes
人工智能遭遇的偏见 算法偏见带来的问题
偏见是人工智能面临一个挑战，主要是来自算法偏见，当然偏见并不止这些。与人类不同，算法不能撒谎，那么产生结果的不同必将是数据带来的问题。人工智能算法及系统的测试与验证，如何避免人工智能的偏见呢？
人们都曾看过机器控制了世界而人类被毁灭的电影。好在这些电影是娱乐性的，而且人们都认为这些场景是不会发生的。然而，一个更应该关注的现实问题是：算法偏见。
1算法偏见带来的问题所谓“算法偏见”是指在在看似没有恶意的程序设计中带着创建者的偏见，或者所采用的数据是带有偏见的。结果当然是带来了各种问题，例如，被曲解的谷歌搜索，合格的候选人被禁止进入医学院，聊天机器人在推特上发布种族主义和性别歧视信息等。
算法偏见造成的最棘手的问题是，从事编程的工程师即使主观上没有种族主义、性别歧视、年龄歧视等倾向，也有可能造成偏见。人工智能（AI，ArtificialIntelligence）本质上就是为了自学而设计的，有时它的确会出错。当然，人们可以在事后做出调整，但最好的解决办法是一开始就防止它发生。那么，怎样才能让人工智能远离偏见呢？
具有讽刺意味的是人工智能最令人兴奋的可能性之一就是能够搭建一个没有人类偏见的世界。比如当涉及到招聘时，一种算法可以让男性和女性在申请同一份工作时获得平等的待遇，或者在警务工作中防止发生种族偏见。
不管人们是否意识到，人类创造的机器确实反映了人们怎样是看待世界的，因此也会有类似的刻板印象和世界观。由于人工智能越来越深入到生活中，人类必须重视它。
2偏见的分类人工智能面临的另外一个挑战是，偏见不是以一种形式出现的，而是有各种类型的。这包括交互偏见、潜意识偏见、选择偏见、数据驱动的偏见和确认偏见。
“交互偏见”是指用户由于自己与算法的交互方式而使算法产生的偏见。当机器被设置向周围环境学习时，它们不能决定要保留或者丢弃哪些数据，什么是对的，什么是错的。相反，它们只能使用提供给它们的数据——不论是好的、坏的，还是丑的，并在此基础上做出决策。前面提到的聊天机器人Tay便是这类偏见的一个例子。它是受到一个网络聊天社区的影响而变得偏种族主义了。
“潜意识偏见”是指算法错误地把观念与种族和性别等因素联系起来。例如，当搜索一名医生的图像时，人工智能会把男性医生的图像呈现给一名女性，或者在搜索护士时反过来操作。
“选择偏见”是指用于训练算法的数据被倾向性地用于表示一个群体或者分组，从而使该算法对这些群体有利，而代价是牺牲其他群体。以招聘为例，如果人工智能被训练成只识别男性的简历，那么女性求职者在申请过程中就很难成功。
“数据驱动的偏见”是指用来训练算法的原始数据已经存在偏见了。机器就像孩子一样：他们不会质疑所给出的数据，而只是寻找其中的模式。如果数据在一开始就被曲解，那么其输出的结果也将反映出这一点。
最后一类是“确认偏见”，这类似于数据驱动的偏见，偏向于那些先入为主的信息。它影响人们怎样收集信息，以及人们怎样解读信息。例如，如果自己觉得8月份出生的人比其他时候出生的更富有创造性，那就会偏向于寻找强化这种想法的数据。
当我们了解到这么多偏见的例子渗入到人工智能系统时，似乎会引起我们的担忧。但重要的是要认清事实，记住这个世界本身就是有偏见的，因此，在某些情况下，人们对从人工智能中得到的结果并不奇怪。然而，并不应该如此，人们需要一个对人工智能算法和系统进行测试和验证的过程，以便在开发期间和部署之前及早发现偏见。
3人工智能算法及系统的测试与验证与人类不同，算法不能撒谎，因此，如果结果是有偏见的，那一定有原因：和它得到的数据有关。人类可以撒谎去解释不雇佣某人的原因，但人工智能不能。而采用算法，就有可能知道什么时候会出现偏见，并对其进行调整，以便将来能克服这些问题。
人工智能会学习，也会犯错。通常情况下，只有在实际环境中使用算法后才能发现任何内在的偏见，因为这些偏见在实践中被放大了。不应把算法看成是一种威胁，而是解决任何偏见问题的好机会，并能在必要的时候加以纠正。
可以通过开发系统来发现有偏见的决策，并及时采取措施。与人类相比，人工智能特别适合采用贝叶斯（Bayesian）方法来确定某种假设的概率，从而消除所有人类偏见的可能性。这比较复杂，但是可行的，特别是考虑到人工智能的重要性（在以后几年里只会越来越重要）。
随着人工智能系统的建立和部署，非常重要的一点是必须理解它们是怎样工作的，只有这样才能通过设计让它们具有意识，避免将来出现偏见问题。不要忘记，尽管人工智能发展非常迅速，但仍处于起步阶段，还有很多值得学习和改进的地方。这种调整会持续一段时间，在此期间，人工智能会变得更聪明，将有越来越多的方法来克服偏见等问题。
技术行业总是在质疑机器是怎样工作的，为什么这样工作。虽然大部分人工智能是在黑盒中运作的，决策过程是隐藏的，但人工智能的透明度是建立信任和避免误解的关键。
目前有很多研究都在进行帮助鉴别偏见的产生，例如FraunhoferHeinrichHertz研究所开展的工作。他们正在研究识别不同类型的偏见，例如前面提到的偏见，还有一些更“低级”的偏见，以及人工智能训练和发展过程中可能出现的问题。
另外还需要考虑的是无监督训练。目前大多数人工智能模型是通过有监督训练生成的：采集的是明显带有人类选择的标签数据。而对于无监督训练，使用不具任何标签的数据，算法必须要通过自己对数据进行分类、识别和汇集。虽然这种方法通常比有监督学习慢很多数量级，但这种方法限制了人的参与，因此，能够消除任何有意识或者无意识的人为偏见，从而避免对数据产生影响。
在底层也有很多事情可以改进。在开发新产品、网站或者功能时，技术公司需要各方面的人员。多样性会给算法提供各种各样的数据，而这些数据也是有偏见的。如果能有一些人去分析输出结果，那么发现偏见的可能性会更高。
此外，还可以发挥算法审计的作用。2016年，卡耐基梅隆研究小组在网络招聘广告中发现了算法偏见。当他们列出了在网上寻找工作的人员后，谷歌广告显示，男性在高收入工作中所占比例是女性的近六倍。该小组的结论是，进行内部审计将有助于减少这类偏见。
4结论总之，机器偏见来自人的偏见。人工智能的偏见有多种方式的表现，但实际上，它只有一个来源：人类自己。
处理这一问题的关键在于技术公司、工程师和开发人员，他们都应该采取有效的措施来防止无意中创建一种带有偏见的算法。通过进行算法审计并始终保持透明度，就有信心让人工智能算法远离偏见。