警方建立了一个人工智能来预测暴力犯罪,它有严重缺陷
来源:机器学习研究组订阅号
在英国,有一个被称为“最严重暴力”(简称MSV,即MostSeriousViolence)的预测系统,这个预测系统归属于国家数据分析解决方案(NDAS)项目。
过去两年,内政部为NDAS提供了至少1000万英镑的资金,目的是创建可以在英格兰和威尔士使用的机器学习系统。
MSV工具的设计目的是预测人们在未来两年内是否会使用枪或者刀进行第一次暴力犯罪。西米德兰兹警察和西约克郡警察参与开发该工具,已与这两个警察队伍接触过的人都获得了风险评分。分数越高,他们越有可能犯下其中一种罪行。
该系统的开发,使用了来自西米德兰兹郡数据库的约240万人的历史数据和来自西约克郡的110万人的历史数据,这些数据是从犯罪和羁押记录、情报报告和“国家警察”计算机数据库中提取的。
警方承认,一款旨在提前预测枪支和刀具暴力事件的旗舰人工智能系统存在严重缺陷,致使其无法使用。该错误导致准确性大幅降低,并且该系统最终被所有审核其伦理问题的专家所拒绝。
当NDAS今年早些时候开始“运行”该系统时,问题出现了。
西米德兰兹郡的警察伦理委员会负责审查DNAS的工作以及警察自身的技术发展,该委员会公布的文件显示,该系统存在编码“缺陷”,无法准确预测暴力事件。NDAS在3月发表的简报中说:“在训练数据集的定义中发现了编码错误,这使得MSV当前的问题陈述不可行。”
NDAS的发言人表示,该错误是在开发过程中发现的数据摄入问题。目前还没有更多关于该缺陷的具体信息被披露。
NDAS的简报文件称:“根据现有数据,在一个人用枪或刀进行第一次MSV犯罪前,以任何精度来确定干预点都是不可行的。”
由于MSV的失败,警方已经停止开发目前形式的预测系统。它从来没有被用于警务行动,也没有达到可以使用它的阶段。但是,也有人质疑这一工具可能会偏向少数群体,以及它是否对维持治安有用。
准确度问题
在发现错误之前,NDAS声称其系统的准确率或精度水平,高达75%。
在西米德兰兹郡,在被认为极有可能使用枪支或刀具进行严重暴力的100人中,预计有54人会实施其中一种罪行。在西约克郡,预计100人中有74人使用枪支或刀实施严重暴力行为。
NDAS在7月表示:“我们现在知道实际的精度水平要低得多。”
萨里大学(theUniversityofSurrey)法律和刑事司法的读者MelissaHamilton说:“罕见事件要比普通事件难预测得多,”她目前主要关注警方使用的风险预测工具。Hamilton对出现准确性问题并不感到惊讶。
“尽管我们知道风险工具在不同的司法管辖区的表现不尽相同,但我从未见过差异幅度这么大的,尤其是在谈论同一个国家的时候。”Hamilton补充说,根据她所见过的其他系统,最初的估计似乎太高了。由于该缺陷,NDAS重新设计了其暴力预测系统,结果显示其预测精度显著下降。
对于使用枪或刀的严重暴力行为,西米德兰兹郡警方的精度降至14%到19%,西约克郡的精度降到9%到18%。无论这个人之前是否有过严重暴力行为,或者这是他们的第一次,这些比率也是相似的。NDAS发现,当删除其最初为系统定义的所有初始标准(首次犯罪、武器类型和武器使用)时,其重新设计的系统是最准确的。
简而言之,原始表现被夸大了。
偏见问题
但是,许多看过NDAS发布的简报和伦理委员会对暴力预测系统的审查的人说,准确性问题只是其中一个值得关注的领域。他们表示,所使用的数据类型最终可能会导致预测出现偏差,他们对预测警务技术的正常化表示担忧,并指出此类工具缺乏有效性的证据。
伦理委员会向负责预测系统的NDAS工作人员提出了许多问题,其中重申了许多观点。国际隐私(PrivacyInternational)的技术专家NunoGuerreirodeSousa表示:“该程序的核心问题已超出了准确性,把不准确性作为我们的论点是有问题的,因为技术缺陷是可以通过时间来解决的。”
“即使算法被设定为100%精确,这个系统仍然会存在偏差。”
暴力预测系统确定了“超过20个”指标,这些指标被认为可以用来判断一个人未来行为的危险程度,其中包括年龄、初次犯罪距今时间、所用数据中与他人的联系、这些犯罪的严重程度以及与这些犯罪相关的情报报告中提到“刀”的最大次数(不包括地点和种族数据)。
报告称,其中许多因素都经过了加权,以使最新数据更具普遍性。RashidaRichardson说,“许多指标已被证明在刑事司法系统的其他数据分析领域会导致不平等的结果。”他是罗格斯大学法学院(RutgersLawSchool)的访问学者,他研究了预测警务中的数据问题。
“在一个系统中,由于年龄只是使用的指标之一,你更有可能将一群更年轻的人纳入其中,当你使用年龄时,通常会扭曲大多数预测或结果。”汉密尔顿对此表示赞同。她解释说,犯罪历史因素本身往往是有偏见的,这意味着,如果没有人类的干预,任何基于这些因素的算法都会包含同样的问题。
NDAS项目负责人Dale说:“我们监测偏见,不会主动采用包含偏见的模型。我们致力于确保任何此类模式的干预都是积极的,旨在减少犯罪和增加生活机会,而不是强制性或刑事司法结果。”
然而,用于决策的人工智能系统中存在偏见和潜在种族主义问题并不新鲜。就在本周,内政部暂停了其签证申请决策系统,该系统使用一个人的国籍作为其中一条信息,以决定移民状况,此前有人指控该系统包含“根深蒂固的种族主义”。
上月,在全球“黑人的命也是命”(BlackLivesMatter)抗议活动爆发后,1400多名数学家签署了一封公开信,称该领域应停止开发预测性警务算法。Richardson说:“你看看大多数刑事司法部门使用预测分析的司法管辖区,我们没有证据表明这些类型的系统起作用,但它们的使用正在激增。”
提议遭否决
警方提出的推行这一系统的建议被一致拒绝。
伦理委员会在7月份拒绝了进一步开发该系统的提议后总结说:“关于这种模式如何改善当前防止青少年严重暴力的决策情况,目前尚无足够的信息。”该委员会是一个自愿组织,由来自不同领域的专家组成。
该委员会表示,它不理解为什么修正后的准确率有足够的分量,并对该预测系统将如何使用表示担忧。该组织在会议纪要中表示:“虽没有明确指出,委员会此前曾多次表达过这些担忧,因此,就该项目目前的情况而言,委员会建议该项目终止。”
与这篇报道接洽的委员会成员说,他们无权公开谈论这项工作。NDAS项目负责人NickDale说,该项目背后的人确实“同意该模型不能以目前的形式进行”,并指出到目前为止它还处于试验阶段。“假设我们确实能够创建一个合适的模型,但现在我们不能肯定地说,最终的模型会是什么样子。我们所有的工作都将受到伦理委员会的审查,其审议结果将予以公布。”
这些问题在暴力预测工具的开发中得到了强调。伦理委员会的文件显示,该委员会一名未披露姓名的成员表示,编码失败是对在警务内部使用人工智能和技术风险的“鲜明提醒”。
他们说,“在最坏的情况下,没有合理依据的预测犯罪,不准确的模型可能导致对人们的强制或其他制裁,尽管有明确的警告,这仍然可能损害年轻人或任何人的生活。但是,看到团队评估自己的工作并确定缺陷以重新开始,是一件好事。”
闪光点
尽管暴力预测系统存在缺陷,但审查过该系统的人表示,该系统的设置比其他预测性警务的发展更加透明。
“委员会的建议是透明的,稳健的和有力的。”TomMcNeil说,他是西米德兰兹郡警察和犯罪专员的战略顾问。伦理委员会目前询问一些紧迫的问题并得到答案,这在警务人工智能系统的开发中基本上是闻所未闻的。大部分开发工作通常是完全秘密进行的,问题只有在现实生活中影响到人们时才会出现。
Dale补充道:“MSV的主要价值在于测试开发这些警务技术的可能性,在这过程中,我们难以避免会因各种原因进行尝试,但我们有信心,随着我们的进步,我们正在开发的数据科学技术将为我们所有的社区带来更高效的警务和更好的结果。”
目前NDAS的看法是,在调查有可能实施严重暴力行为的人时,预测性暴力工具可以用来“扩充”警务人员所使用的现有决策程序。暴力预测工具只是NDAS正在研究的其中一个工具,它还使用机器学习来检测现代奴隶制、枪支的移动和各种有组织犯罪。伦敦大都会警察局局长CressidaDick此前曾表示,警方应该考虑使用“增强型情报”,而不是完全依赖人工智能系统。
“某些事情可以通过计算来完成,并不一定意味着这样就是最好的做法,或者应该这样做。”温彻斯特大学(UniversityofWinchester)信息权利中心(CentreforInformationRights)的联合主任ChristineRinik表示,“这就是为什么我认为对这些步骤提出质疑的程序如此有用。”
相关报道:
https://www.wired.co.uk/article/police-violence-prediction-ndas
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
人工智能的12个典型案例
但以亚马逊的推荐系统为例,它是一个交易性人工智能平台的强大引擎。人们可能已经观察到它的能力,这个系统可以不断学习。本质上,大批购物者正在“教导”亚马逊人工智能系统,以便更好地展示可能出售的商品。也就是说,将一件商品与过去展示的另一件商品相匹配将促进销售,可以将半关联的概念联系起来(例如灯架与摄影设备)。
另一方面,这种高端的人工智能系统需要庞大的计算平台来处理所有这些数据。对于使用小型服务器的用户来说很难为此类系统提供支持。显然,亚马逊网络服务公司拥有世界领先的计算平台。
3.Pandora
对于那些认为人工智能将会取代人类工作的人们来说,Pandora人工智能系统就是一个与人类合作的例子。首先,Pandora通过音乐专业人员的帮助来分析和分类歌曲。Pandora着眼于歌曲的450种属性进行分类,从声乐风格到节奏感。
当其人工智能算法工作时,根据大量用户对其歌曲库的响应,结合了来自用户的大量推荐。然后,人工智能系统可以批量分组和呈现对于用户具有意义的歌曲。
4.Cogito
这无疑是人工智能最活跃的领域之一:在销售和客服电话中使用人工智能,可以增强与客户的情感联系。具体地说,使用人工智能互动比人类更具移情能力。当然,这是人工智能使用的一个前沿。
Cogito(拉丁语的意思是“自我意识”)使用了人类互动的关键真理:它不仅仅是词语的表达意义,而且是词语的表达方式、情绪、节奏和感觉。
Cogito软件可以实时分析对话,提供有关正确和错误的线索和提示。也许对话者可能切入太多主题,或者反应不够快。应用程序提供基于颜色的警告和更新。该软件可以分析数百条线索,以确定对话的情感质量。
5.Nest
推动人工智能增长的关键因素之一是资金雄厚的厂商之间的竞争,希望在早期获得市场份额。以谷歌公司旗下的家用恒温器Nest为例,其部分目标是将谷歌公司的人工智能构建到设备中,用来应对苹果Siri和亚马逊Alexa的不断增长。
Nest使用人工智能来适应人类的行为模式,获得恒定的输入线索,并在家中工作时做出更准确的反应。在业主设置系统一段时间之后,Nest可以自己整合输入。
无论如何,智能家庭设备(物联网设备)无疑是争夺人工智能市场支配地位的关键战场。让一整组智能家庭设备协同行动,它们可以响应家庭成员的指令,并根据其行为学习,这显然是人工智能在家庭应用中的未来。
6.Boxever
总部位于爱尔兰的Boxever公司推出其Boxever“个性化平台”,其主要目标是旅游业。其基于云计算的平台允许旅游公司创建一个单一的客户视图,从而为客户提供更有效的营销。它的目标是通过单独针对客户来改进销售过程。如果人工智能可以在一对一的基础上定制交互过程,理论上它可以更有效地服务(并销售给)客户。
Boxever公司的方法承认竞争的关键部门是客户体验。如果零售商更加谨慎地满足客户的需求,将会在电子商务竞争中获胜。而使用智能软件比人工销售代表的成本要低得多。
7.AIRobotics、Humanoid和其他
人工智能为机器人的应用提供动力,其中包括加州大学伯克利分校的BRETT和麻省理工学院的MITdog。Sophia就是一个受到媒体热捧的人工智能机器人的例子,它和NBC电视台主持人JimmyFallon在“今夜秀”上聊天和唱歌。
除了流行文化的喧嚣之外,还有各种规格和大小的人工智能机器人。例如iRobot公司的RoomBA980吸尘器采用了人工智能技术,可以在家中完成各种清扫工作。该公司声称,Roombas公司已售出1000多万台RoomBA980吸尘器。
8.垃圾邮件过滤器
人工智能的核心就是学习。而使用机器学习和其他人工智能技术,软件系统将变得更智能,无需人工协助。
当然,采用人工智能防止垃圾邮件是一个迫切需要机器学习的领域。工作人员(甚至是团队)难以跟上垃圾邮件的增长。例如,Gmail会部署机器学习算法来过滤(大部分)垃圾邮件。
为此,垃圾邮件过滤器试图更快地跟上垃圾邮件发送者的工作,他们不断采用创造性的方法来欺骗收件人。垃圾邮件过滤器中的人工智能会持续扫描元数据,例如发件人的位置或主题行中的关键字。如果无法学习,垃圾邮件过滤器将在几天之后无法运行。
人工智能技术是使用来自人类的输入:因为对于一个用户具有价值的优惠券对于另一个用户来说则是垃圾邮件。特定用户如何对邮件流进行分类必须是垃圾邮件过滤器学习的一部分。
9.网上银行业务
银行为用户提供方便的优惠:扫描其支票并将其金额存入移动设备中,无需去实际的分支机构存款。其问题是:这样做需要机器来阅读用户的签名,这是一项既混乱又令人困惑的工作——甚至对工作人员来说也是如此。
在其他供应商中,MitekSystems公司采用专门从事基于软件的身份验证。其人工智能技术利用计算机视觉和机器学习使移动到银行的交易安全。
例如,Mitek公司采用视觉算法对银行交易中的无数ID格式进行分类。其核心是光学字符识别(OCR)软件,它扫描文档并将数据转换为可编辑的格式。可以使用人工智能调整OCR软件以准确提取个人签名或指纹。
10.贷款和信用卡处理
当消费者申请信用卡或贷款时,消费者信用评分(FICO)(通常在300到850分之间)将起到至关重要的作用。在过去,贷款工作人员审查了这些贷款和信用卡申请。虽然仍有很多工作人员,但许多关于信用卡的决定或者是否接受消费者的申请,都是由机器学习系统做出的。
同样,学习是这个过程的核心部分。银行管理人员可以设置他们希望当前信贷标准是宽松还是紧缩的参数。但他们希望银行的机器学习系统能够随着时间的推移而学习,以便更密切地确定哪些申请人是安全的借贷者。
11.Lyft和Uber
没有人工智能和机器学习技术,共享单车是不可能存在的。具体来说,票价、预计到达时间以及它将要走的路线:这些都是人工智能计算出来的。
人工智能即时进行大量计算。如果没有一个分析情况的机器学习系统,然后将结果数据路由到用户和驱动程序的应用程序,这些计算的数量和复杂性将是不可能的。当然,Lyft和Uber公司将其记录在自己的系统上,这两家公司拥有关于用户模式的大量数据。
在未来,这些服务预计将出现无人驾驶汽车的时代(尽管这种情况发生时最多仍然模糊不清)。如果没有人类驱动程序的元素,运行系统的过程将成为更纯粹的逻辑机器学习计算。从理论上说,这将导致共享乘车服务的成本下降,甚至可以节省雇佣驾驶员的成本。
12.社交网络
主要的社交媒体网络是人工智能发展的核心驱动力。特别是Facebook公司似乎采用了人工智能的各方面功能。例如,其算法定义了用户的时间轴,决定是否在其时间轴上显示或不显示其朋友的某些帖子。Facebook公司知道,如果某个用户的每位朋友都被展示出来,那么时间表就将变得很混乱,以至于它会让人感到厌烦。因此,时间轴算法可以了解用户与谁进行交互以及其通常忽略的对象。
对于Facebook而言,最重要的是,社交网络使用人工智能来帮助个性化为用户提供广告的方式,因此它具有一定程度的广告显示相关性。需要注意,Facebook允许用户评论广告与时间线的相关性;每个用户评论都有助于系统学习并变得更精细。由于他们使用人工智能微调显示系统的方式,Facebook和谷歌在整个网络广告市场的比例非常高。
此外,Facebook使用图像识别人工智能技术来识别照片中的人脸,因此它可以邀请用户为其添加标签。毫不奇怪,考虑到照片对Facebook的重要性,Facebook在面部识别技术上投入了大量资金。采用机器“读取”照片是当今人工智能时代最为显著的进步之一。返回搜狐,查看更多