博舍

人工智能需要的数学基础 人工智能需要数学基础吗知乎文章下载

人工智能需要的数学基础

人工智能需要具备的数学基础有很多,如:

1、线性代数:本质是将具体的事物抽象为数学对象,并描述其静态或动态特性,在人工智能领域,计算机处理生活中的事物采用的就是将具体抽象化的方法。

2、概率论:概率论是对生活中无所不在的可行性的分析研究,在人工智能领域,概率论通过对生活中的可行性进行建模分析处理,进而做出判断或操作。

3、形式逻辑:理想的人工智能应该具有抽象意义的学习、推理和归纳的能力,这就需要一个认知的过程,如果我们将认知的过程定义为对符号的逻辑运算,那么形式逻辑就是人工智能的基础。

4、数理统计:数理统计着重研究的对象是未知分布的随机变量,是逆向的概率论,对于人工智能来说,能够对未知分布的随机变量进行研究分析,才是最重要的。

 

线性代数:如何将研究对象形式化?

概率论:如何描述统计规律?

数理统计:如何以小见大?

最优化理论:如何找到最优解?

信息论:如何定量度量不确定性?

形式逻辑:如何实现抽象推理?

 

 

知识点罗列:(https://www.mooc.cn/course/8367.html)

基础类

第1章高等数学1.1导数和偏导数1.2梯度向量1.3极值定理1.4Jacobbi矩阵1.5Hessian矩阵1.6泰勒展开公式1.7拉格朗日乘数法第2章线性代数2.1向量及其运算2.2范数2.3矩阵及其运算2.4逆矩阵2.5二次型2.6矩阵的正定性2.7矩阵的特征值与特征向量2.8矩阵的奇异值分解第3章概率论3.1概率、随机事件和随机变量3.2条件概率与贝叶斯公式3.3常用的概率分布3.4随机变量的均值和方差、协方差3.5最大似然估计第4章最优化3.1凸集、凸函数3.2凸优化问题的标准形式3.3线性规划问题

优化论初步类

第一章优化迭代法统一论1.0本微专业概述1.1线性回归建模1.2无约束优化梯度分析法(上)1.3无约束优化梯度分析法(下)1.4无约束迭代法1.5线性回归求解1.6案例分析

第二章深度学习反向传播2.1回归与分类、神经网络2.2BP算法(上)2.3BP算法(下)2.4计算图

 

优化论进阶类

第一章凸优化基础1.1一般优化问题1.2凸集和凸函数基础(上)1.3凸集和凸函数基础(下)1.4凸优化问题1.5案例分析

第二章凸优化进阶之对偶理论2.1凸优化问题2.2对偶(上)2.3对偶(下)2.4问题案例

第三章SVM3.1问题案例3.2SVM建模3.3SVM求解3.4SVM扩展,附案例

数据降维的艺术第一章矩阵分析上篇1.1矩阵与张量1.2可逆矩阵1.3线性相关1.4子空间1.5范数1.6特殊矩阵和特征分解案例:PCA数据降维

第二章矩阵分析下篇2.1SVD2.2SVD与特征分解关系2.3图像压缩2.4伪逆2.5迹与行列式案例:SVD对图像进行压缩

统计推断的魅力

第一章概率统计上篇1.1事件1.2随机变量1.3概率与条件概率1.4贝叶斯定理1.5朴素贝叶斯1.6期望、方差、协方差1.7最大似然、最大后验案例:垃圾邮件过滤第二章概率统计中篇2.1常见分布总结2.2最大似然与贝叶斯的关系2.3熵与互信息案例:最大似然估计第三章概率统计下篇3.1以GMM为例的统计建模3.2EM算法案例:GMM实践

人工智能的数学基础

人工智能的基础是数学,这一点已经是确定无疑的共识了。

但“数学”二字所包含的内涵与外延太广,到底其中的哪些内容和当前的人工智能技术直接相关呢?

今天我们就来看看入门人工智能所需要的数学知识。

人工智能必备高等数学知识点清单

AI技术岗所要求的高等数学知识,大致可以分为四个方面:微积分、概率统计、线性代数,和最优化理论。

每个分领域都至少是一本书(也可以是一摞书)。我们在这里暂且抽取和机器学习、深度学习相关的最基础部分,给大家做一下聚焦:

【微积分】

基础概念(极限、可微与可导、全导数与偏导数):只要学微积分,就必须要明白的概念,否则后面什么都无法继续学习。

函数求导:求导是梯度的基础,而梯度是AI算法的基础,因此求导非常重要!必须要搞清楚概念,并学会常见函数的导函数求法。

链式法则:符合函数求导法则,反向传播算法的理论基础。

泰勒公式和费马引理:这两者也是梯度下降法的基础组成,重要程度与求导相同。

微分方程及其求解:很重要,是部分机器学习模型求解的必备知识。

拉格朗日乘子法和对偶学习:理解SVM/SVR的理论基础。SVM/SVR作为机器学习模型的常用“中坚力量”,其重要程度不言而喻。

【概率统计】

简单统计量(个数、最大值、最小值、中位数、均值、方差)及其物理意义:概率统计的概念基础。

随机和抽样:随机——概率统计成立的基础;抽样——统计的方法。

频率和概率,以及概率的基本概念:搞清什么是概率,它和频率的区别与联系。

几种常见的概率分布及公式(平均分布、二项分布、正态分布……)

参数估计:只知道大致的分布,不知道具体的参数怎么办?没关系,我们可以根据估计一下。其中最重要的是极大似然估计。

中心极限定理:如果不知道某事物的概率分布该怎么办?没关系,就当它符合正态分布好了。可是为什么能这样近似呢?因为我们有中心极限定理呀。

假设验证:到底假设得对不对呢?我们根据样本来验证一下。

贝叶斯公式:太重要啦!是它使得我们可以根据先验概率来预测后验概率。而朴素贝叶斯公式自己就是朴素贝叶斯模型本身啊。

回归分析:想想那么多名字里有“回归”的模型吧!

状态转移网络:概率链、隐马尔可夫模型和条件随机场。

【线性代数】

向量与标量:用向量和标量表示事物特征的差别是什么?

向量空间,向量性质及向量的几何意义:所谓高维低维指的是什么?同一个向量能否存在于不同的向量空间里?向量的移动、转向和拉伸是如何做到的?

线性函数:什么是线性函数,它具备怎样的性质?

矩阵和矩阵运算:矩阵出现的目的是什么?掌握矩阵的基础运算(与常数/向量/矩阵的加法和乘法)。

特殊矩阵(方阵、实对称矩阵、(半)正定/负定矩阵等)及其性质:根据不同的性质,我们可以划分出哪些特殊矩阵,它们都有哪些特殊性质?

特征值和特征向量:定义、性质,以及特征值求解。

用矩阵求解微分方程。

正交:什么是正交?函数的正交,向量的正交,和超平面的正交分别是如何形式化表达的,又具备怎样的物理意义。

【最优化方法】

凸函数与极值:搞清楚什么是凸函数,凸函数与极值的关系,极值和最值的关系等。

注意:国内不同教科书对于“凸”的定义存在不一致的情况,有些书上把其他书上说的“凸函数”叫做“凹函数”。

直观而言,我们一向说的“凸函数”是那类一维自变量情况下看起来像个“U”,二维自变量下像个碗的那种函数。

最优化:什么是最优化问题?什么是最优化方法?无限制条件和有限制条件下的最优化方法基本原理分别是什么?

梯度下降法:最基础最常用的最优化方法,以及其他若干最优化方法的基础,务必全面掌握。

其他最优化算法:了解其他一些常用最优化方法,例如,牛顿法、共轭梯度法、线性搜索算法、模拟退火算法、遗传算法等。

人工智能背后的数学大神们

上述知识点,看起来好像有点吓人哦,不像是“我能记得住”的样子。

有没有办法能够轻松愉快不累且高效地掌握人工智能(机器学习/深度学习)领域要用到的数学知识呢?

这里推荐一种笔者在探索中逐步发现的,简单直接又有些趣味的方法:以数学家为主线学习高等数学知识——也就是,“以人为轴”学AI数学。

我们先来看看下面这些画像吧: 

你能认出几个?

他们分别是(从左到右从上到下依次):牛顿、高斯、贝叶斯、费马、泰勒、拉格朗日、拉普拉斯、傅立叶,和伯努利。

说实话,现在全球数以千万计的AI技术人员真应该把这些大佬供起来,说咱们的饭碗都是他们赏的也不为过。

牛顿大神发明了微积分;

辅之以费马引理、泰勒公式,奠定了如今一切AI最优化算法工程实现的理论基础。

拉格朗日乘子法为限定条件下多元函数的最优化问题提供了解法。

数学王子高斯在概率论和线性代数领域的非凡贡献不胜枚举,仅仅高斯分布一项就堪称概率论之抗鼎模型。

贝叶斯让我们可以用既往经验预测未来。

伯努利家族不仅在概率论领域贡献颇丰,就连他家二弟卖给洛必达的“洛必达法则”亦是求解具有不定型的极限的不二法门。

拉普拉斯算子于微积分和线性代数而言都是非常重要的基石。

傅立叶变换在时域信号和频域信号之间的桥梁作用成就了整个语音领域。

当然,还有下面这位:

 

莱布尼茨与牛顿分别独立发明了微积分,他提出的符号系统一直沿用至今。他同样是西方二进制算数体系的提出者和线性代数的重要奠基人。

当然,无论微积分、概率统计还是线性代数,都不是在一日之内形成的学科,都经历了数百年乃至上千年大量人类顶级头脑的思考和探索,对其做出贡献的数学家灿若繁星。

对照我们亟待掌握的知识点,以这些理论的提出者为基点,沿着数学史学习之,并同步了解数学发展的进程。顺便还可以以大神们之间的交往和恩怨等八卦作为润滑剂。

如此一路学来,既多了许多趣味,又能追本溯源,了解到这些理论提出的现实背景(例如:物理学的发展及其对数学工具的需求)。

在学理论的同时了解这一理论最初的作用域和当时解决的实际问题,对于我们理解其中各类概念的物理意义有着极大的帮助。

“众智汇”愿景

尽职尽才,允公允能 —— 本社群不定期举行线上分享,组织群友分享知识、经验、资源,以达到让我们每个人的职业生涯得到最大程度的发展的目的。

欢迎扫面下列二维码关注“悦思悦读”公众微信号

人工智能:智乎哉奢求精确之误

       本篇文章是博主在人工智能等领域学习时,用于个人学习、研究或者欣赏使用,并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记,若有不当和侵权之处,指出后将会立即改正,还望谅解。文章分类在学习摘录和笔记专栏:

        学习摘录和笔记(5)---《人工智能:智乎哉?奢求精确之误》

人工智能:智乎哉?奢求精确之误

原文/论文出处:

题目:《与师生谈人工智能1:智乎哉?》《与师生谈人工智能2:奢求精确之误》

作者:李晓榕 

时间:2021-08-24

来源:人机与认知实验室

人工智能产品:

        目前大量将面世的科技新产品到底并非都是人工智能产品,主要靠的是信息技术、自动化技术等,人工智能未必是其主体、灵魂或关键。

        但是人工智能包括信息技术、自动化技术等几乎所有技术,因为智能需要它们。

        人的学习无需如此海量的事例,因为人会归纳,而机器不会。简单地说,深度学习就是深层人工神经网络模型针对特定任务的大数据函数拟合培训,其数学本质是数据拟合。学成后,给定输入时,输出结果就像插值结果。

不应该奢求对于“智能”有一个精确的定义

        以人为例,不必认定人在某一方面不同于其他动物,我们可以承认人的多元本质;

       更进一步,意义和价值越大越丰富,往往就越难精确化清晰化,精确度清晰度也越低。所以,模糊理论之父扎德说:随着复杂度的增加,精确之言变得没有意义,有意义之言变得不精确。

       像一个不谙逻辑的美妙少女一样,生活之所以美好而使我们乐在其中,正因其丰富朦胧、流变多样、缺乏逻辑和确定性,假如完全精确、尊崇逻辑,没有不确定性,生活又有什么意义、价值和乐趣?

-------人类的进步不应局限于某一精确地定义,模糊、多元产生的争议与思考或许就是人类进步的源泉,科技的发展不应被固定在定义之中。

人的意识行为:

        以前大家普遍认为物质和精神是客观和主观的二元对立概念,科学是从物质角度看待事物的,后来认为人的大脑是分子层面的电信号网络,但是后面发现人的意识层面或许是处于量子层面的,这就结束到现在科学的盲区了,目前新兴的科目量子生物学正在往这一方面攻关,而就目前的研究成果来看,意识并不能完美的从科学角度解释。

        但是最近随着量子物理的发展,许多理论和实验结果极大的挑战了这种常规认知,目前科学正在试图用量子物理的原理解释意识的形成机制。如果我们承认意识是随着进化逐渐发展出来的,那理论上就可以重构意识产生机制,尤其现在AI技术的大发展,有可能我们有生之年就能看到意识觉醒的机器人,那可能是我们人类的又一次大进化,但是事物具有两面性,对于人类是利大于弊还是弊大于利,有待未来论述。

   文章若有不当和不正确之处,还望理解与指出。由于部分文字、图片等来源于互联网,无法核实真实出处,如涉及相关争议,请联系博主删除。如有错误、疑问和侵权,欢迎评论留言联系作者,或者关注VX公众号:Rain21321,联系作者。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇