在全国范围内推广基于人工智能的犯罪性预测一辩(高配)
预览:谢谢主席,问候在场各位。开宗明义,推广是指扩大应用或施行范围,在全国范围内推广就是在全国范围内施行。基于人工智能的预测性犯罪干预指在大数据基础上,计算机利用人工智能算法对历史数据进行分析,使警方对可能出现的犯罪行为进行提前干预的过程,幸福是使人心情舒畅的境遇和生活。我方判断是否幸福的标准是这项技术的推广能否提升公民个人的幸福感。我方认为在全国范围内推广基于人工智能的预测性犯罪干预是一种不幸福,具体论证如下。首先,我国目前的人工智能技术发展有限。现阶段,中国的人工智能产业与美国的第一梯队明显差距明显.西安交通大学人工智能与机器人研究所所长郑南宁预测中国可能需要5-10年的时间才能达到美国和英国在基础理论和算法方面的创新水平。而就算是英美两国的现有技术也无法保证基于人工智能的预测的正确率百分百,如同天气预报永远不会变成天气准报,人性亦如此一套固定系统的人工智能如何去确保推测复杂的人的行为呢,每个人都会有隐藏的一面,系统观测到的不过是表面。我们也不能轻易地去对人性做出试探,人性禁不起试探。人性具有不可控性,所以任何试探也许都会触发人性中的不......首次登陆送10下载券,推荐使用QQ一键登录
还剩841字未浏览,请下载查看。稿件实际排版优于文字预览排版。本站所有稿件均支持编辑稿件总字数:1432字
以下原因请及时向底部邮箱反馈,我们会尽快核实处理:1.内容与辩题不符;2.稿件文件无法打开;3.内容违反相关法律法规;4.稿件内容与网络稿件雷同;5.侵犯您的版权。
上一篇:青春应该重在目标聚集问题
下一篇:在全国范围内推广基于人工智能的犯罪性预测是一种不幸福一辩(低配)
感谢您浏览高质量原创辩论稿件如果帮不到您,是我们的罪过
人工智能技术在预测学领域的应用
随着社会发展和科技进步,人工智能技术对人类的影响与日俱增,其应用领域日益扩大。正如国际知名学者周海中先生曾经所言,随着科技进步,人工智能时代即将到来;届时,人工智能技术将广泛应用到各学科领域,会产生意想不到的效果。人工智能技术目前在预测学领域,尤其是趋势预测算法方面发挥越来越重要的作用。
预测未来,是人们梦寐以求的一项能力。趋势是事物明确的、可预见的发展方向,而趋势预测是分析未来某段时间内的某种趋势将会产生什么样的方向性变化。人工智能技术在预测学领域,其算法是核心,数据、算力是基础;这一技术得以实用化主要得益于数据的累积与算力,其中趋势预测算法在很多方面起到至关重要的作用。
在经济方面
投资股市的目的是盈利,因此在决定购买哪只股票之前我们会查阅与该公司相关的信息,搜索最近甚至之前与该公司有关的新闻,逛逛炒股方面的贴吧,看看微博上面与该公司有关的消息。如果这个公司的前景明朗(正面报道很多),那么投资该股票的回报率也许会高一些。另外投资股市,还需要会看各种数据,如K线等。有时我们看到某只股票持续走低,并且有上涨的势头了,也许此时是最佳的购入时机,因为该股票有很大可能会触底反弹了。可见人工智能技术中的线性回归算法在股票预测方面的作用很大。
此外,人工智能技术对股价的趋势预测,是一个深度学习的练习项目。其通过机器学习算法,根据过去几年与某只股票相关的K线走势、公司相关报道的情感分析作为数据集,通过训练来得到可以预测股价的机器学习模型,并用该模型对股价进行趋势预测。这时趋势预测算法(如ARIMA模型、LSTM神经网络模型、Prophet模型等)就有可能大显身手。虽然不同的模型会有各自的优势和劣势,但它们对于股价的趋势预测有一定的参考价值。
2021年欧洲杯决赛,许多彩民高手通过分析大量的数据来建立模型,从而做出科学的预测——意大利夺冠;他们利用人工智能技术,建立比赛的趋势预测算法,将赛事随机性的东西筛出去,以求找到有价值投注的比赛。人工智能技术具备人力所不能及的优势,研究数万场比赛的数据,建模后推演的赛果是非常接近事实真相的。对于数据的处理,人工智能技术才是最为强大的体现。
在医疗方面
最近,美国谷歌公司已开发出一种新的趋势预测算法,可预测人的死亡时间,且准确率高达95%。这项技术对医院患者面临的一系列临床问题进行了测试。在研究中,谷歌公司对来自两个医疗中心至少21.6万名成人患者,应用了人工智能技术,测试时间至少为24个小时。研究人员从电子健康记录中获取了大量数据。这项研究发现,该算法可以准确地预测病人的死亡风险、再入院,延长住院时间和出院诊断。在所有情况下,该算法都被证明比以前公布的算法更精确。
人的言语模式可能揭示一个人患精神相关疾病的风险。近年来,研究人员已经将目标转向计算机算法和自然语言处理,帮助心理健康专家分析高危人群的语言,以从他们的讲话中发现线索。美国西奈山医学院、纽约州立精神病学研究所、加州大学洛杉矶分校和其他机构的研究人员使用了一种趋势预测算法来研究93位有风险的人群的言语模式。研究人员表示,该算法可以识别出哪些病人患上了精神病,准确率达到83%。
谷歌公司的研究人员最近还发现了一种新的方法:扫描眼睛并通过趋势预测算法来评估一个人患心脏病的风险。对病人眼睛后部扫描的分析,该公司的软件能够准确地推断多项数据,包括个人的年龄、血压以及他们是否吸烟。然后,这可以用来预测他们患上重大心脏病症的风险:比如心脏病发作。该算法可以使医生更快更容易地分析病人的心血管风险,而不再需要血液测试。
在农业方面
许多国家的农业报告预测,到2027年,精准农业市场将达到129亿美元,因此越来越需要开发能够实时指导管理决策的复杂数据分析解决方案。美国伊利诺伊大学的研究人员最近提供了一种有前途的趋势预测算法,可以更有效、更准确地处理精密农业数据。例如,对于玉米种植来说,决定何时施用氮素肥是一个长期的挑战;由于多种氮素肥施用量和施用时间,包括种植时施用的所有氮素肥和几个发育阶段的分批施用,氮素肥对田间玉米的有害胁迫程度不同。
他们通过一种称为卷积神经网络的机器学习对玉米种植进行了分析。机器学习是人工智能技术的核心,某些类型的机器学习从模式开始,然后要求计算机将所有数据放入这些现有模式中。卷积神经网络可以对现有模式视而不见,取而代之的是,获取少量数据并学习组织数据的模式,类似于人类通过大脑中的神经网络组织新信息的方式。
研究人员主要使用机器学习的方法来生成玉米产量预测。该方法结合了来自不同地形变量,土壤电导率以及玉米田中应用的氮素肥和种子处理的信息。他们借助一种更好的肥料使用模型,实现可以最终帮助农民降低成本,增加玉米产量,并同时减少可持续农业景观的环境足迹。
以上仅从三个方面介绍了人工智能技术在预测学领域的应用。我们可以拿实际数据与预测的结果进行对比分析,计算预测的准确率,分析差异的原因,提出改进的方案,想方设法提高下一次预测的准确率。虽然现实情况千变万化,但是基本原理和解决问题的思路是相通的。
人工智能,使用更复杂的技术来代替人脑决策,通过在数据库中检索分析,建造模型。这些不是重复的任务,而是需要基于复杂的算法和机器学习做出判断,可应用于预测未来发展趋势、做出科学合理的决策。
项目实战:
https://www.yunduoketang.com/article/djsppt.html
https://www.yunduoketang.com/article/wlskpt.html
https://www.yunduoketang.com/article/wkrj.html
https://www.yunduoketang.com/newDetial?id=1279355
人工智能系统中的不确定性量化
译者|朱先忠审校|梁策孙淑娟摘要基于人工智能(AI)的系统前景广阔,且被越来越多地用于协助完成各种复杂任务。但由于存在不确定性的挑战,结果并不完全可靠。不确定性量化(UQ)在减少优化和决策过程中的不确定性方面起着关键作用,可用于解决科学、商业和工程领域的各种实际应用。本文简要介绍了不确定性的概念、来源、类型和测量方法,然后总结了使用贝叶斯技术的大量UQ方法,指出了现有文献中存在的问题和差距,并提出进一步的发展方向,并对打击人工智能金融犯罪的应用案例进行了概述。引言近年来,人们越来越需要使用基于人工智能的系统,这些系统本质上是主动系统,需要根据环境中的事件或变化自动采取行动。这些系统跨越许多领域,从活动数据库到驱动当今企业核心业务流程的应用程序。然而,在许多情况下,系统必须响应的事件不是由监控工具生成的,而是必须根据复杂的时态谓词从其他事件中推断出来的。机器学习(ML)模型根据其训练数据生成最优解。在许多应用中,这样的推理本质上是不确定的。然而,如果不考虑数据和模型参数中的不确定性,这种最佳解决方案在现实世界部署中仍然存在很高的失败风险。典型的基于人工智能的系统管道包括数据收集、数据预处理、选择模型从数据中学习、选择学习算法训练所需模型以及从所学习的模型中得出推论等环节。然而,这些步骤中的每一步都存在固有的不确定性。例如,数据不确定性可能源于无法可靠地收集或表示真实世界的数据。数据预处理中的缺陷——无论是在固化、清洗还是标记过程中——也会造成数据不确定性。由于模型仅作为现实世界的代理,而学习和推理算法依赖于各种简化假设,因此它们导致了建模和推理中的不确定性。人工智能系统做出的预测容易受到所有这些不确定性来源的影响,可靠的不确定性评估为人工智能系统的开发者和用户提供了重要的判断依据。例如,高数据不确定性可能意味着改进数据描述过程,而高模型不确定性可能意味着需要收集更多数据。对于用户来说,准确的不确定性,尤其是与有效的沟通策略相结合时,可以增添一个透明度和信任度的关键层,这对于更优的人工智能辅助决策至关重要。给予人工智能系统这种信任对于它们在医学、金融和社会科学等高风险应用中的可靠部署至关重要。人工智能系统中已经提出了许多改进UQ的方法,然而选择一种特定的UQ方法取决于许多因素:基础模型、机器学习任务的类型(回归、分类与分割)、数据的特征、机器学习模型的透明度和最终目标等等。如果使用不当,特定的UQ方法可能会产生较差的不确定性估计,并误导用户。此外,如果沟通不畅,即使是高度准确的不确定性估计也可能会产生误导。本文对不确定性的类型及其来源进行了扩展介绍,讨论了UQ方法,将不确定性建模形式化,并阐述了其在复杂系统中的概念。本文概述了ML中使用贝叶斯技术量化不确定性的不同方法。此外,在不同的机器学习任务中,如分类、回归和分割,不确定性测量的评估也受到关注。本文提供了UQ方法中的校准术语,填补了文献中的空白,展示了UQ在金融犯罪领域的实际应用,并为此类系统制定了通用评估框架。任意不确定性任意不确定性(AleatoricUncertainty,又称为“统计不确定性”),代表每次进行相同实验时不同的未知量。任意不确定性是指由于概率可变性而产生的固有不确定性。这种类型的不确定性是不可减少的,因为基本变量总是存在可变性。这些不确定性以概率分布为特征。例如,使用机械弓箭发射的一支箭在每次发射完全相同(相同的加速度、高度、方向和最终速度),由于箭杆的随机和复杂振动,不会影响目标上的同一点,无法充分确定这类知识以消除由此造成的碰撞点分散。认知不确定性认知不确定性(EpistemicUncertainty,又称“系统不确定性”)是指那些由于人们在原则上可以知道但在实践中却不知道的事情。认知不确定性是过程模型中的科学不确定性,这是因为数据和知识有限。认知不确定性以替代模型为特征。对于离散随机变量,认知不确定性采用替代概率分布建模。这种不确定性来源的一个例子是一项旨在测量地球表面附近重力加速度的实验。常用的9.8m/s²重力加速度忽略了空气阻力的影响,但我们可以测量物体的空气阻力并将其纳入实验,以减少重力加速度计算中产生的不确定性。任意性和认知不确定性相互作用任意不确定性和认知不确定性也可以在单个术语中同时发生——例如,当实验参数显示任意不确定性并且这些实验参数被输入计算机模拟时。如果用于不确定性量化,则使用替代模型,例如高斯过程或者多项式混沌展开(PolynomialChaosExpansion),是从计算机实验中得知的,这样的替代表现出认知不确定性,它依赖于实验参数的任意不确定性,或与之相互作用。这种不确定性不能再单独归类为任意性或认知性,而是一种更普遍的推理不确定性。在实际应用中,这两种不确定性都存在。不确定性量化旨在分别明确表示这两种类型的不确定性。任意不确定性的量化可能相对简单,其中传统(频繁)概率是最基本的形式。例如蒙特卡罗方法等经常被使用的技术。为了评估认知不确定性,需要努力理解对于系统、过程或机制相关知识的缺乏。认知不确定性通常是通过贝叶斯概率的视角来理解的,因为概率被解释为表明理性的人对某一特定主张的确定程度。模型与数据不确定性模型不确定性包括由模型缺陷引起的不确定性,这些缺陷可能是由于训练过程中使用了不充分的模型结构所导致的错误,或者是由于未知样本或训练数据集覆盖率差而导致的知识缺乏。与此相反,数据不确定性与直接源于数据的不确定性有关。数据不确定性是由在数据样本中表示真实世界并表示分布时的信息丢失引起的。模型不确定性包括由模型缺陷引起的不确定性,这些缺陷可能是由于训练过程中的错误、模型结构不足,或由于未知样本或训练数据集覆盖率差而导致的知识缺乏。与此相反,数据不确定性与直接源于数据的不确定性有关。数据不确定性是由在数据样本中表示真实世界和表示分布时的信息丢失引起的。例如,在回归任务中,输入和目标测量中的噪声会导致网络无法学会纠正的数据不确定性。在分类任务中,如果样本包含的信息不足以100%确定地识别一个类别,则会导致预测数据的不确定性。信息丢失是测量系统的结果,例如,因为使用某种具体分辨率的图像像素来表示真实世界的信息所导致,或通过标记过程中的错误所导致。虽然理论上可以通过改进体系结构、学习过程或训练数据集来减少模型的不确定性,但无法解释数据的不确定性。预测不确定性根据输入数据域,预测不确定性也可分为三大类:域内不确定性:表示与从假定等于训练数据分布的数据分布中提取的输入相关的不确定性。域内不确定性源于深度神经网络由于缺乏域内知识而无法解释域内样本。从建模者的角度来看,域内的不确定性是由设计错误(模型不确定性)和手头问题的复杂性(数据不确定性)引起的。根据域内不确定性的来源,可以通过提高训练数据(集)或训练过程的质量来减少不确定性。域转移不确定性:表示与从训练分布的转移版本中提取的输入相关的不确定性。这种分布变化是由于训练数据的覆盖率不足以及现实情况固有的可变性造成的。由于DNN无法在训练时解释基于样本的域转移样本,域转移可能会增加不确定性。可以对一些导致域转移不确定性的错误进行建模,从而可以减少相应的错误。域外不确定性:表示与来自未知数据子空间的输入相关的不确定性。未知数据的分布与训练分布大有差异。例如,当域转移不确定性描述诸如狗的模糊图像等现象时,域外不确定性就是学习猫和狗分类的网络被要求预测鸟的情况。域外不确定性的来源是深度神经网络(DNN)由于缺乏域外知识而无法解释域外样本。从建模者的角度来看,域外不确定性是由输入样本引起的,其中网络不打算对训练数据进行预测或者训练数据不足。图1:不确定性类型不确定性与可变性技术专家经常被要求估算不确定量的“范围”。重要的是,他们要区分是被要求提供可变性范围还是不确定性范围。同样,对于建模者来说,了解他们是否正在构建可变性或不确定性的模型以及它们之间的关系(如果有的话)也很重要。不确定性的来源参数不确定性:它来自于输入到数学模型中的模型参数,但其精确值对实验人员来说是未知的,在物理实验中无法控制或者其值无法通过统计方法精确推断。例如,落物实验中的局部自由落体加速度计算中就包含了参数不确定性。参数可变性:它来自模型输入变量的可变性。例如,数据中的尺寸可能与假设的尺寸不完全相同,这将导致在高维数据集上训练的模型的性能发生变化。结构不确定性:又名模型不足、模型偏差或模型差异,它源于对问题的基本物理或原理缺乏了解。考虑到模型几乎总是接近现实,这取决于数学模型在现实生活中描述真实系统的准确程度。例如,使用自由落体模型对下落物体的过程进行建模时,模型本身是不准确的,因为总是存在空气摩擦。在这种情况下,即使模型中没有未知参数,模型和真实物理之间仍然存在差异。当我们对模型输出不确定时,就会出现结构不确定性,因为我们对模型的功能形式尚不确定。算法不确定性:又名数值不确定性,或离散不确定性。这种类型来自每个计算机模型实现的数值误差和数值近似值。大多数模型太复杂,无法精确求解。例如,可以使用有限元法或有限差分法来近似解偏微分方程(这会引入数值误差)。实验不确定性:又名观测误差。它来自于实验测量的可变性。实验不确定性是不可避免的,可以通过对所有输入/变量使用完全相同的设置进行多次重复测量来发现此种不确定性。插值不确定性:这是因为缺乏从模型模拟和/或实验测量中收集的可用数据。对于没有模拟数据或实验测量的其他输入设置时,必须进行插值或外推,以便预测相应的响应数据。问题类型不确定性量化中有两类主要问题:一种是不确定性的正向传播(不确定性的各种来源通过模型传播,以预测系统响应中的整体不确定性),另一种是模型不确定性和参数不确定性的反向评估(使用测试数据同时校准模型参数)。不确定性的正向传播不确定性传播是对不确定性输入传播的系统输出中的不确定性进行量化。它着重于不确定性来源中列出的参数可变性对输出的影响。不确定性传播分析的目标可以是:评估输出的低阶矩,即均值和方差评估输出的可靠性评估输出的完整概率分布模型不确定性和参数不确定性的反向评估假如已经取得了系统的一些实验测量数据及其数学模型的一些计算机模拟结果,反向不确定性量化既估计实验和数学模型之间的差异(称为偏差校正),也估计模型中存在的未知参数值(称为参数校准或简单校准)。一般来说,这是一个比正向不确定性传播困难得多的问题,但因为它通常在模型更新过程中实现所以非常重要。反向不确定性量化有几种情况:仅偏差修正:偏差修正量化了模型的不足,即实验和数学模型之间的差异。仅参数校准:参数校准会估计数学模型中一个或多个未知参数的值。偏差修正和参数校准:考虑具有一个或多个未知参数的不准确模型,其模型更新公式将两者结合在一起:这是最全面的模型更新公式,包括所有可能的不确定性来源,需要尽最大努力解决。图2:不确定性量化中的问题类型数学表示正如我们前面所提及的(图1),预测不确定性由两部分组成:认知不确定性和任意不确定性,可以像下面这样写成这两部分的总和:认知不确定性可以表示为模型参数的概率分布。令:表示包含以下输入的训练数据集:与它们的相应分类:其中:C表示分类的数量。目的是优化生成期望的输出结果的以下函数的ω参数:为了实现这一点,使用贝叶斯方法定义了一个模型似然函数:对于分类,可使用下面的softmax似然函数:等式1对于回归,可以假设高斯似然:等式2上式中,τ表示模型精度。而后验分布:针对一个给定的数据集(在ω上的训练):通过应用Bayes定理,可以写出如下形式:等式3对于给定的样本x*,关于p(ω|x,y)的分类标签可以预测为:等式4这个过程被称为推理或边缘化。然而:不能用解析方法计算,但可以用变分参数来近似:其目的是近似一个分布,该分布接近由该模型获得的后验分布。因此,关于精度τ的Kullback-Leibler(KL)散度需要最小化。这两种分布之间的相似程度可以通过以下方式衡量:等式5预测分布可以通过最小化KL散度来近似,如下所示:等式6其中:代表目标表明。KL散度最小化也可以重新安排为证据下界(ELBO)最大化:等式7其中:通过最大化第一项,能够很好地描述数据,通过最小化第二项,能够尽可能接近前一项。这个过程被称为变分推理(VI)。Dropout变分推理是最常用方法之一,已在复杂模型中广泛用于近似推理。最小化目标如下:等式8其中N和P分别代表样本数和丢弃概率。要获得与数据相关的不确定性,上面等式2中的精度τ可表示为数据的函数。获得认知不确定性的一种方法是混合两种函数。其中,预测平均值函数是fθ(x),模型精度函数是gθ(x)。这样的话,似然函数可以写成:将先验分布置于模型的权重之上,然后计算给定数据样本的权重变化量。欧几里德距离损失函数可以调整如下:等式9预测方差可通过以下方式获得:等式10可选方法人们已经做了很多研究来解决不确定性量化问题,尽管其中大多数是处理不确定性传播的问题。在过去的一到二十年中,人们还开发了许多反向不确定性量化的方法,并已证明对大多数中小型问题有用。图3:不确定性量化的选择性方法正向传播基于模拟的方法:蒙特卡罗模拟、重要性抽样、自适应抽样等。基于代理的通用方法:在非侵入性方法中,可以使用一种学习代理模型来实现廉价且快速的近似代替实验或模拟之目的。基于代理的方法也可以以完全贝叶斯的方式来使用。当采样成本(例如计算成本高昂的模拟)过高时,这种方法会特别有效。基于局部展开的方法:泰勒级数、摄动法等。这些方法在处理相对较小的输入变量和不表现高度非线性的输出时具有优势。这些线性或线性化方法在不确定性传播有关文章中有详细介绍。基于函数展开的方法:Neumann展开、正交或Karhunen–Loeve展开(KLE),以及作为特例的多项式混沌展开(PCE)和小波展开。基于最可能点(MPP)的方法:一阶可靠性方法(FORM)和二阶可靠性方法(SORM)。基于数值积分的方法:全因子数值积分(FFNI)和降维(DR)。对于非概率方法,区间分析、模糊理论、可能性理论和证据理论是应用最广泛的方法之一。概率方法被认为是工程设计中最严格的不确定性分析方法,因为它与决策分析理论一致。它的基石是计算抽样统计的概率密度函数。对于可以通过高斯变量变换获得的随机变量,这点可以严格执行从而得到精确的置信区间。反向不确定性1.频率学派:参数估计的标准误差很容易获得,可以扩展为置信区间。2.贝叶斯学派:贝叶斯框架下存在几种反向不确定性量化方法。最复杂的方向是解决偏差校正和参数校准的问题。这些问题的挑战不仅包括模型不足和参数不确定性的影响,还包括缺乏来自计算机模拟和实验的数据。一种常见的情况是,在实验和模拟中输入环境不同。另一种常见情况是,从实验中得出的参数被输入到模拟中。对于计算成本较高的模拟,通常需要一个替代模型,例如高斯过程或多项式混沌展开,从而定义一个反向问题,以便找到最接近模拟的替代模型。3.模块化方法:反向不确定性量化的方法是模块化贝叶斯方法。模块化贝叶斯方法的名字来源于其中的四个模块的过程。除了当前可用的数据外,还应指定未知参数的先验分布。针对模型的高斯过程建模:为了解决缺乏仿真结果的问题,将计算机模型替换为高斯过程(GP)模型针对差异函数的高斯过程建模:类似地,对于第一个模块,用GP模型替换异函数未知参数的后验分布:贝叶斯定理用于计算未知参数的后验分布实验反应和差异函数的预测4.完全方法:完全贝叶斯方法不仅要分配未知参数的先验,还要分配其他超参数的先验。图4:使用贝叶斯技术的不确定性量化机器学习中的不确定性量化图5:机器学习中不确定性量化的分类评估分类分类任务中的测量数据不确定性:给定预测,概率向量表示分类分布,即它为每个类别分配一个概率,使其成为正确的预测。由于预测不是作为一个显式类别而是作为一个概率分布给出的,因此可以直接从预测中得出不确定性估计。一般来说,这种逐点预测可以被视为估计数据的不确定性。然而,模型对数据不确定性的估计受到模型不确定性的影响,必须单独考虑。为了评估预测数据不确定性的数量,可以应用最大分类概率或熵度量。最大概率表示确定性的直接表示,而熵表示随机变量中的平均信息水平。尽管如此,我们无法从一个单一的预测中分辨出影响这一特定预测的模型不确定性有多大。分类任务中的测量模型不确定性:学习模型参数的近似后验分布有助于获得更优的不确定性估计。有了这种后验分布,就有可能评估随机变量的变化,即不确定性。最常见的测量方法是互信息(MI)、预期Kullback-Leibler散度(EKL)和预测方差。基本上,所有这些度量都是计算随机输出和预期输出之间的预期差异。当有关模型参数的知识不会增加最终预测中的信息时,MI最小。因此,MI可以解释为模型不确定性的度量。Kullback-Leibler散度度量两个给定概率分布之间的散度。EKL可用于测量可能输出之间的(预期)差异,也可解释为对模型输出不确定性的测量,因此代表模型不确定性。即使对于分析描述的分布来说,参数不确定性在预测中的传播几乎在所有情况下也都是难以解决的;因此,必须用蒙特卡罗近似来近似。图6:模型的可视化和分类模型的分布不确定性测量分类任务中的分布不确定性:虽然这些不确定性度量被广泛用于捕捉来自贝叶斯神经网络的多个预测之间的可变性,但集成方法无法捕捉输入数据或分布外样本中的分布变化,这可能会导致推理过程存在一定偏见并产生虚假的置信结果。如果所有预测因子都将高概率质量归因于同一(错误)类别标签,这将导致估计值之间的低可变性。因此,系统似乎对其预测是确定的,而预测本身的不确定性也在下面进行评估。图7:模型的可视化和分类模型的分布不确定性完整数据集上的性能度量:上述度量用来评估单个预测的性能,其他度量则用于评估这些度量在一组样本上的使用情况。不确定性度量可用于区分正确分类和错误分类的样本,或域内样本和分布外样本。为此,样本分为两组,例如域内和分布外,或正确分类和错误分类。两种最常见的是接收器操作特性曲线(ReceiverOperatingCharacteristic,简称“ROC”)和精确率-召回率曲线(Precision-Recall,简称“PR”)。这两种方法都基于基础度量的不同阈值生成曲线。虽然ROC和PR曲线都给出了一个直观的概念,说明了基本度量在多大程度上适合于分离两个考虑过的测试用例,但它们并没有给出一个定性度量。为了达到这一点,可以评估曲线下的面积(AUC)。简要来看,AUC给出了一个概率值,即随机选择的阳性样本比随机选择的阴性样本导致更高的测量值。评估回归回归预测中的测量数据不确定性:与分类任务相比,回归任务只预测逐点估计,没有任何数据不确定性的暗示。处理这一问题的常用方法是,让网络预测概率分布的参数,例如,平均向量和正态分布不确定性的标准偏差,这样就直接给出了数据不确定性的度量。标准偏差的预测允许(未知)真实值在特定区域内的分析描述。以一定概率覆盖真值的区间(假设预测分布是正确的)是分位数函数,即累积概率函数的倒数。对于给定的概率值,分位数函数给出了一个边界。分位数假设某种概率分布,并将给定的预测解释为分布的预期值。与此相反,其他方法则是直接预测所谓的预测区间(PI),其中假设存在预测。这样的区间会导致不确定性以均匀分布的形式出现,而不会给出具体的预测。顾名思义,这种方法的确定性可以通过预测区间的大小直接衡量。平均预测区间宽度(MPIW)可用于评估模型的平均确定性。为了评估预测间隔的正确性,可以应用预测间隔覆盖概率(PICP)。PCIP代表落入预测区间的测试预测的百分比。回归预测中测量模型不确定性:模型不确定性主要由模型的结构、训练过程和训练数据中代表性不足的区域引起。因此,回归和分类任务之间的模型不确定性的原因和影响没有真正的区别;如此一来,回归任务中的模型不确定性可以像分类任务中已经描述的那样进行等效测量,例如在大多数情况下,通过近似平均预测和测量单个预测之间的差异来进行。图8:模型的可视化和回归模型的分布不确定性图9:模型的可视化和回归模型的分布不确定性评估分割任务中的不确定性:评估分割任务中的不确定性与评估分类问题非常相似。分割任务中的不确定性使用贝叶斯推理的近似方法估计。在分割上下文中,像素级分割中的不确定性使用置信区间、预测方差、预测熵或互信息(MI)来测量。结构估计中的不确定性是通过对所有像素不确定性估计进行平均得到的。体积不确定性的质量通过评估变异系数、平均Dice分数或联合上的交点来评估。这些指标以成对的方式测量多个估计值之间在面积重叠方面的一致性。理想情况下,错误分割会导致像素和结构不确定性增加。为了验证是否存在这种情况,应评估像素级的真阳性率,以及不同不确定度阈值下保留像素的假检测率和ROC曲线。校准如果推导出的预测置信度代表了实际正确性概率的良好近似值,则称预测值为校准良好。因此,为了使用不确定度量化方法,必须确保系统经过良好校准。对于回归任务,可以定义校准,预测的置信区间应与根据数据集经验计算的置信区间相匹配。通常,校准误差是由与模型不确定性相关的因素引起的。这一点从直觉上很容易理解,因为数据不确定性代表了潜在的不确定性,即输入x和目标y代表相同的真实世界信息。接下来,正确预测的数据不确定性将导致一个完美校准的系统。这一点很清楚,因为这些方法分别量化了模型和数据的不确定性,旨在减少预测中的模型不确定性。除了通过降低模型不确定性来改进校准的方法外,大量且不断增长的文献还研究了显式降低校准误差的方法。下节将介绍这些方法以及量化校准误差的措施。需要注意的是,这些方法不会减少模型的不确定性,而是将模型的不确定性传播到数据不确定性的表示上。例如,如果二元分类器被过度拟合,并以概率1将测试集的所有样本预测为A类别,而一半的测试样本实际上是B类别,则重新校准方法可能会将网络输出映射到0.5,以获得可靠的置信度。0.5的概率不等于数据不确定性,但表示传播到预测数据不确定性上的模型不确定性。校准方法根据应用步骤,校准方法可分为三大类:在训练阶段应用的规范方法:这些方法修改目标、优化和/或规范过程,以构建内在校准的系统和网络。在模型的训练过程之后应用的后处理方法:这些方法需要一个保留的校准数据集来调整预测分数以进行重新校准。需要注意的是,它们只能在假设遗漏验证集的分布等同于基于推理的分布的情况下才可以工作。因此,验证数据集的大小也会影响校准结果。神经网络不确定性估计方法:通过使用减少神经网络置信度预测中模型不确定性的方法,也会产生更好的校准预测值。这是因为剩余的预测数据不确定性更好地代表了预测的实际不确定性。例如,此类方法基于贝叶斯方法或深度集成(图4)。真实世界的应用NICEActimize是以色列一家为区域和全球金融机构以及政府监管机构提供多种金融犯罪、风险和合规解决方案的供应商,他们利用创新技术保护机构、消费者以及投资者的资产,能够识别金融犯罪、防止欺诈并保障监管合规。该公司能够提供实时、跨渠道的欺诈预防、反洗钱检测和交易监控解决方案,从而有助于解决支付欺诈、网络犯罪、制裁监控、市场滥用、客户尽职调查和内幕交易等问题。基于人工智能的系统和高级分析解决方案可以更早更快地发现异常行为,消除从盗窃、欺诈、监管处罚到制裁的财务损失。这样一来,有助于公司或组织减少各种损失、提高调查人员的工作效率,并改善法律合规和监督质量。随着基于人工智能的系统在金融犯罪中的使用增多,量化和处理不确定性变得越来越重要。一方面,不确定性量化在风险最小化方面发挥着重要作用,这是预防欺诈所必需的。另一方面,有一些具有挑战性的数据源为欺诈调查提供了补充,只是这些数据很难核实。这使得生成可信的“地面真相”成为一项非常具有挑战性的任务。Actimize公司的通用评估框架为了应对上述问题,Activize公司提出了一个评估协议,其中包含各种具体的基线数据集和评估指标,涵盖了所有类型的不确定性,有助于推动不确定性量化研究。此外,他们还考虑了风险规避和最坏情况下的评估问题。这种通用协议使数据科学家们能够轻松地将不同类型的方法与既定基准与真实世界的数据集进行比较。结论不确定性量化(UQ)是基于人工智能的系统和决策过程的关键部分之一,它在评估各种实际应用中的不确定性时变得越来越普遍。如今,不确定性已经成为传统机器和深度学习方法不可分割的一部分,因此本文也对传统机器学习和深度学习中最重要的UQ概念和方法进行了一个相对全面的概述。译者介绍朱先忠,51CTO社区编辑,51CTO专家博客、讲师,潍坊一所高校计算机教师,自由编程界老兵一枚。早期专注各种微软技术(编著成ASP.NETAJX、Cocos2d-X相关三本技术图书),近十多年投身于开源世界(熟悉流行全栈Web开发技术),了解基于OneNet/AliOS+Arduino/ESP32/树莓派等物联网开发技术与Scala+Hadoop+Spark+Flink等大数据开发技术。原文标题:UncertaintyQuantificationinArtificialIntelligence-basedSystems,作者:DannyButvinik现实版《少数派报告》让人工智能预测犯罪,没想象中那么完美
尽管其中所涉及的部分技术已经使用多年,但这个工程依然十分浩大。这一项目的初期投资为1000万美元,但有专家估计,3年后它的总造价将达到2.4亿美元。此外,TIA系统不出意外地遭到了上至美国国会下至民权组织的广泛非议。
目前,国外非常多的国家已经开始使用犯罪预测系统。据美国官方公开的数据,仅仅只是美国最少20个以上城市、1000个以上执法人员正在使用预测性警务系统。
报道称,美国孟菲斯市警察局启用BlueCRUSH预测型分析系统后,过去五年暴力犯罪率大幅下降。
美国马里兰州和宾夕法尼亚州也开始启用一种能极大降低凶杀犯罪率的犯罪预测软件,因为其能预测罪犯假释或者缓刑期间的犯罪可能性,这款软件还成为了法庭假释条款和审判的参考依据。
专家称预测犯罪“毫无用处”
尽管前景听起来很美好,但“预测犯罪”的准确性和有效性仍有待商榷。
近日,就有人工智能领域的知名专家说,预测性的监管工具不仅“毫无用处”,而且容易大大夸大暴力犯罪的可能性。
在本月早些时候发表的一封信中,来自麻省理工学院、哈佛大学、普林斯顿大学、纽约大学、加州大学伯克利分校和哥伦比亚大学的专家们就这一问题发表了看法,他们对这项技术的怀疑态度达到了前所未有的程度。
人工智能专家切尔西•巴拉巴斯(ChelseaBarabas)、卡蒂克•迪纳卡尔(KarthikDinakar)和科林•多伊尔(ColinDoyle)在《纽约时报》(NewYorkTimes)的一篇专栏文章中写道:“在预测暴力时,风险评估提供的是更神奇的思维,而不是有用的预测。”
预测性警务工具,或风险评估工具,是用来预测某人未来犯罪可能性的算法。
根据美国国家司法研究所(NationalInstituteofJustice)的数据,预测性警务是:“(利用)信息、地理空间技术和基于证据的干预模式的力量,以减少犯罪和改善公共安全。”
随着人工智能的迅速发展,这些工具已经开始进入法官和警察部门的日常程序,法官利用它们来决定该如何判决,警察部门则利用它们来分配资源等等。
它也被用来评估面临审判的人再次犯罪的可能性,以及他们是否应该被拘留。
其中,法官最常用的工具之一被称为公共安全评估(PSA),它和其他许多工具一样,根据犯罪历史和个人特征来计算。
根据计算结果,该工具可能会将一个人标记为“新的暴力犯罪活动”的候选者。
尽管该技术被定位为先发制人打击犯罪的一种方式,但专家表示,它的能力被大大夸大了。
研究人员写道,在预测未来的暴力事件时,算法风险评估被吹捧为比法官更客观、更准确。
“从政治角度看,这些工具已经成为保释改革的宠儿。但他们的成功建立在这样的希望之上:风险评估可以成为纠正法官错误直觉的宝贵途径。”
AI可能会造成“冤案”
专家们反对这种预测犯罪算法的理由之一是对其准确性的疑虑。
专家表示,这些工具往往高估了被指控者的暴力风险,而事实上,审判期间犯罪的可能性很小。
据报道,华盛顿特区94%的犯罪嫌疑人被释放,其中只有2%的人随后因暴力犯罪被捕。然而研究人员指出,在各州,有30%等待审判的人被拘留的情况并不罕见,这种比例的悬殊显然揭示了一个“过度监禁”的问题。
研究人员写道,(这些工具)给法官提供的建议让未来的暴力事件看起来比实际情况更可预测、更确定。但在这个过程中,使用这种AI风险评估工具可能会持续性地导致大规模监禁情况的出现,并让人们产生误解和恐惧。
专家们说:“如果这项技术真正准确,它应该能预测出几乎所有人都处于零风险状态,因为统计上的可能性很低。相反,PSA牺牲了准确性,只是为了在暴力可能性低、不确定或无法计算的人群中区分出有问题的人。”
而以此前提到的意在辨别恐怖分子的TIA系统为例,假设这个预言系统的准确性能达到99%,那么它理论上就能预言出恐怖分子群体中99%的未来罪犯,同时也会在无辜群众中错误将1%的人判定为未来恐怖分子。
假设在全美国3亿人口中有1000人是真正的“未来恐怖分子”,而剩下的299999000人都是清白的,那么理论上会有2999990人被错误地列入恐怖分子的行列。也就是说,这个系统将会逮捕将近300万无辜的人——几乎是那些真正罪犯人数的3000倍。
AI到底如何判定人“有罪”?
人工智能究竟如何预测犯罪?其实,其判断依据跟人类警察也大致相同。
富有多年工作经验的警察们往往能总结出自己的一套辨别犯罪分子的依据,而破案时警察们也经常需要一些基本经验判断,如什么区域、时间容易犯罪率高发,什么人物更有可能犯罪等。
这些归纳性的判断有其意义,但对于某个特定个体而言,用类似分析去判定其“有罪”显然对其不公平。
此外,算法的设计者也可能在算法中无意加入了自己的偏见,而机器学习算法的黑盒子属性让其设计者也不能肯定其判定逻辑是什么。
1980年代,美国军方使用机器学习算法训练机器分辨美苏两国的坦克,但后来却发现计算机并未真正认出两国坦克的设计不同,而是把像素更高的图片当作“美国坦克”,因为训练使用的资料中俄罗斯坦克的照片更模糊。
“新技术有为善和作恶的潜在力量。如果你的假设没有被仔细考证,那么机器学习技术只会带来更多的不公平和加速现有的不平等。”普林斯顿大学法学系教授AlexanderT.Todorov表示。
为了更好地预防犯罪,在近日对人工智能学家的采访中,研究人员建议减少对算法的依赖,将资源投入到更全面的措施中。
文章写道,政策解决方案不能局限于锁定“正确的”人。他们必须通过更广泛的社会政策和社区投资来解决公共安全问题。返回搜狐,查看更多