深度学习知识点总结：深度学习常用公式总结
深度学习知识点总结
专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略BagofFreebies(BoF)等。
本章介绍深度学习中的常用公式
目录2.1常用公式2.1.1卷积计算方式2.1.2常用导数计算公式2.1.3常用公式2.1常用公式2.1.1卷积计算方式bs:batchsize in_c:输入通道 h/w:输入尺寸 k:卷积核数 p:padding s:步长 out_c:输出通道
2.1.2常用导数计算公式2.1.3常用公式Sigmoid.取值范围：(-∞,+∞)，值域：(0,1)。属于激活函数。
计算one-hot中的二分类，可用于单标签二分类任务和多标签多分类任务中，模型预测的每个值指的是某个类别的概率，各个预测结果之间互不干扰。
例如某个模型输出：[[-0.3,0.1,0.6]]，sigmoid计算后：[[0.4256,0.5250,0.6457]]
可以把sigmoid的计算结果看成是对某个类别的预测概率，值越趋近于1越说明属于该类别的概率大。
Sigmoid计算应用于BCELoss中。
Softplus
取值范围：(-∞,+∞)，值域：(0,+∞)，属于激活函数。
Softmax取值范围：(-∞,+∞)，值域：(0,1)。
也称之为归一化指数函数。一般用于单标签分类任务中，模型预测的结果中，只取预测结果最大的那一个，各个预测值之间相互影响，所有预测值相加为1。
例如某个模型输出：[[-0.3,0.1,0.6]]，Softmax计算后：[[0.2020,0.3013,0.4967]]
预测的结果中哪个值大，代表属于该类别的概率大。
LogSoftmax把公式展开计算如下，其中M为x中最大的值，具体如下：
log(x)
人工智能导论知识点整理笔记一
第一章绪论1.1人工智能的基本概念1.1.1智能的概念（1）知识阈值理论
知识阈值理论把智能定义为：智能就是在巨大的搜索空间中迅速找到一个满意解的能力。
智能是知识与智力的总和。其中，知识是一切智能行为的基础，而智力是获取知识并应用知识求解问题的能力。
1.1.2智能的特征具有感知能力
感知能力是指通过视觉、听觉、触觉、嗅觉、味觉等感觉器官感知外部世界的能力。
具有记忆与思维能力
具有学习能力
具有行为能力
1.1.2人工智能图灵测试是衡量机器智能的准则。
人工智能是一门研究如何构造智能机器（智能计算机）或智能系统，使它能模拟、延伸、扩展人类智能的学科。
1.2人工智能的发展简史1.2.1孕育美国艾奥瓦州立大学的阿塔纳索夫教授和他的研究生贝瑞在1937年至1941年间开发的世界上第一台电子计算机”阿塔纳索夫—贝瑞计算机(Atanasoff-Berrycomputer,ABC)”为人工智能的研究奠定了物质基础。
1.2.2形成1956年夏季，由麦卡锡、明斯基、香农共同发起，邀请莫尔、塞缪尔、塞尔夫里奇等人在美国达特茅斯学院召开了一次为时两个月的学术研讨会，讨论关于机器智能的问题。它标志着人工智能作为一门新兴学科正式诞生了。
在专家系统方面，美国斯坦福大学的费根鲍姆领导的研究小组自1965年开始专家系统DENDRAL的研究，1968年完成并投入使用。
在人工智能语言方面，1960年麦卡锡研制出了人工智能语言LISP，成为建造专家系统的重要工具。
1.2.3发展1997年5月3日至11日，深蓝再次挑战卡斯帕罗夫。深蓝以3.5:2.5的总比分赢得了这场“人机大战”的胜利。
2017年5月23-27日，在乌镇，AlphaGoMaster以3:0轻松击败围棋排名世界第一的柯洁。
1.2.4大数据驱动人工智能发展期人工智能大体可分为专用人工智能和通用人工智能。
1.3人工智能研究的基本内容知识表示机器感知机器思维机器学习机器行为1.4人工智能主要研究领域自动定理证明博弈模式识别机器视觉自然语言理解智能信息检索数据挖掘与知识发现专家系统自动程序设计机器人组合优化问题人工神经网络分布式人工智能与多智能体智能控制智能仿真智能CAD智能CAI智能管理与智能决策智能多媒体系统智能操作系统智能计算机系统智能通信智能网络系统人工生命第二章知识表示与知识图谱2.1知识与知识表示的概念2.1.1知识的概念一般来说，把有关信息关联在一起所形成的信息结构称为知识。
2.1.2知识的特性相对正确性不确定性由随机性引起的不确定性由模糊性引起的不确定性由经验引起的不确定性由不完全性引起的不确定性可表示性与可利用性2.1.3知识的表示知识表示就是将人类知识形式化或者模型化。
2.2一阶谓词逻辑表示法2.2.1命题定义：命题是一个非真即假的陈述句。
2.2.2谓词谓词的一般形式是：P(x1,x2,…xN)
其中，P是谓词名，x1,x2,…,xN是个体。
谓词中包含的个体数目称为谓词的元数。P(x)是一元谓词，P(x,y)是二元谓词，P(x1,x2,…,xN)是N元谓词。
在谓词中，个体可以是常量，也可以是变元，还可以是一个函数。
在谓词P(x1,x2,…,xN)中，若x(i=1,…,N)都是个体常量、变元或函数，称它为一阶谓词。
2.2.3谓词公式连接词（连词）
￢：称为”否定”或者”非”。它表示否定位于它后面的命题。
∨：称为”析取”。它表示被它连接的两个命题具有”或”关系。
∧：称为”合取”。它表示它连接的两个命题具有”与”关系。
→：称为”蕴涵”或者”条件”。P→Q表示”P蕴涵Q”，即表示”如果P，则Q”。其中，P称为条件的前件，Q称为条件的后件。
注意：只有前项为真，后项为假时，蕴涵才为假，其余均为真。
↔：称为”等价”或”双条件”。P↔Q表示”P当且仅当Q”。
谓词逻辑真值表PQ¬PP∨QP∧QP→QP↔QTTFTTTTTFFTFFFFTTTFTFFFTFFTT量词
全称量词(∀x)：表示”对个体域中的所有（或任一个）个体x”。
存在量词(∃x)：表示”在个体域中存在个体x”。
全称量词和存在量词可以出现在同一个命题中。例如，设谓词F(x,y)表示x与y是朋友，则：
(∀x)(∃y)F(x,y)表示对于个体域中的任何个体x都存在个体y，x与y是朋友。
(∃x)(∀y)F(x,y)表示在个体域中存在个体x，与个体域中的任何个体y都是朋友。
(∃x)(∃y)F(x,y)表示在个体域中存在个体x与个体y，x与y是朋友。
(∀x)(∀y)F(x,y)表示对于个体域中的任何两个个体x和y，x与y都是朋友。
当全称量词和存在量词出现在同一个命题中时，这时量词的次序将影响命题的意思。例如：
(∀x)(∃y)(Employee(x)→Manager(y,x))表示”每个雇员都有一个经理”；
(∃y)(∀x)(Employee(x)→Manager(y,x))表示”有一个人是所有雇员的经理”。
(∀x)(∃y)Love(x,y)表示”每个人都有喜欢的人”;
(∃y)(∀x)Love(x,y)表示”有的人大家都喜欢他”。
谓词公式
单个谓词是谓词公式，称为原子谓词公式。
在谓词公式中，连接词的优先级别从高到低排列是：￢，∧，∨，→，↔
量词的辖域
位于量词后面的单个谓词或者用括弧括起来的谓词公式称为量词的辖域，辖域内与量词中同名的变元称为约束变元，不受约束的变元称为自由变元。
2.2.4谓词公式的性质可满足性和不可满足性：对于谓词公式P，如果至少存在一个解释使得公式P在此解释下的真值为T，则称公式P是可满足的，否则，则称公式P是不可满足的。
2.2.5一阶谓词逻辑知识表示方法用谓词公式表示知识的一般步骤为：
定义谓词及个体，确定每个谓词及个体的确切定义。根据要表达的事物或概念，为谓词中的变元赋以特定的值。根据语义用适当的连接符号将各个谓词连接起来，形成谓词公式。2.2.6一阶谓词逻辑表示法的特点一阶谓词逻辑表示法的优点：
自然性精确性严密性容易实现2.3产生式表示法2.3.1产生式确定性规则知识的产生式表示
IFPTHENQ或者P→Q
不确定性规则知识的产生式表示
IFPTHENQ（置信度）或者P→Q(置信度)
产生式与谓词逻辑中的蕴涵式的基本形式相同，但蕴含式只是产生式的一种特殊情况，理由有如下两点：
除逻辑蕴涵外，产生式还包括各种操作、规则、变换、算子、函数等。蕴含式只能表示确定性知识，其真值或者为真，或者为假，而产生式不仅可以表示确定性的知识，而且还可以表示不确定性知识。2.3.2产生式系统一般来说，一个产生式系统由规则库、控制系统（推理机）、综合数据库三部分组成。
2.3.3产生式表示法的特点产生式表示法的主要优点自然性模块性有效性清晰性产生式表示法的主要缺点效率不高不能表达具有结构性的知识产生式表示法适合表示的知识由许多相对独立的知识元组成的领域知识，彼此间关系不密切，不存在结构关系，如化学反应方面的知识。具有经验性的不确定性的知识，而且相关领域中对这些知识没有严格、统一的理论、如医疗诊断、故障诊断等方面的知识。领域问题的求解过程可被表示为一系列相对独立的操作，而且每个操作可被表示为一条或多条产生式规则。2.4框架表示法2.4.1框架的一般结构框架是一种描述所论对象（一个事物、事件或概念）属性的数据结构。
2.4.2框架表示法的特点结构性继承性自然性第三章确定性推理方法3.1推理的基本概念3.1.1推理方式及其分类确定性推理、不确定性推理
所谓确定性推理是指推理时所用的知识与证据都是确定的，推出的结论也是确定的，其真值或者为真或者为假，没有第三种情况出现。
所谓不确定性推理是指推理时所用的知识与证据不都是确定的，推出的结论也是不确定的。
启发式推理、非启发式推理
如果推理过程中运用与推理有关的启发式知识，则称为启发式推理，否则称为非启发式推理。
3.2谓词公式化为子句集的方法原子谓词公式及其否定，统称为文字。
任何文字的析取式称为子句。任何文字本身也是子句。
由于空子句不含有文字，它不能被任何解释满足，所以，空子句是永假的、不可满足的。
谓词公式化为子句集的步骤：
消去谓词公式中的”→”和”↔”符号把否定符号移到紧靠谓词的位置上变量标准化消去存在量词化为前束形化为Skolem标准形略去全称量词消去合取词，把母式用子句集表示子句变量标准化，即使每个子句中的变量符号不同3.3归结反演归结反演的一般步骤是：
将已知前提表示为谓词公式F；将待证明的结论表示为谓词公式Q，并否定得到￢Q；把谓词公式集{F，￢Q}化为子句集S；应用归结原理对子句集S中的子句进行归结，并把每次归结得到的归结式都并入到S中。如此反复进行，若出现了空子句，则停止归结，此时就证明了Q为真。3.4应用归结原理求解问题应用归结原理求解问题的步骤：
把已知前提用谓词公式表示出来，并且化为相应的子句集，设该子句集的名字为S；把待求解的问题也用谓词公式表示出来，然后把它否定并与答案谓词ANSWER构成析取式，ANSWER是一个为了求解问题而专设的谓词，其变元必须与问题公式的变元完全一致；把2中得到的析取式化为子句集，并把该子句集并入到子句集S中，得到子句集S’；对S’应用归结原理进行归结；若得到归结式ANSWER，则答案就在ANSWER中。第四章不确定性推理方法4.1不确定性推理的概念不确定性推理是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。
不确定性的表示与度量不确定性匹配算法与阈值组合证据不确定性的算法不确定性的传递算法结论不确定性的合成4.2可信度方法知识不确定性的表示
在C-F模型中，知识是用产生式规则表示的，其一般形式为：
IFETHENH(CF(H,E))
其中，CF(H,E)是该条知识的可信度，称为可信度因子。
CF(H,E)反映了前提条件与结论的联系强度。CF(H,E)的值越大，就越支持结论H为真。
CF(H,E)在[-1,1]上取值，CF(H,E)的值要求领域专家直接给出。其原则是：若由于相应证据的出现增加结论H为真的可信度，则取CF(H,E)>0，证据的出现越是支持H为真，就使CF(H,E)的值越大；反之，取CF(H,E)
《人工智能及其应用》课程学习知识总结
1.人工智能的三大学派？分别代表了什么观点？符号主义：又称为功能模拟学派，主要观点认为智能活动的基础是物理符号系统，思维过程是符号模式的处理过程。（a）立足于逻辑运算和符号操作，适合模拟人的逻辑思维过程，解决需要逻辑推理的复杂问题。（b）知识可用显示的符号表示，在已知基本规则的情况下，无需输入大量的细节知识。（c）便于模块化，当个别事实发生变化时，易于修改。（d）能与传统的符号数据库进行连接。（e）可对推理结论进行解释，便于对各种可能性进行选择。连接主义：又称为结构模拟学派，是基于神经网络及网络间的连接机制和学习算法的人工智能学派。主要观点认为大脑是一切智能活动的基础，因而从大脑神经元及其连接机制出发进行研究，渴望揭示人类智能的奥秘，从而真正实现人类智能在机器上的模拟，其特点：（a）通过神经元之间的并行协作实现信息处理，处理过程具有并行性，动态性，全局性。（b）可以实现联想的功能，便于对噪声的信息进行处理。（c）可以通过对于神经元之间连接强度的调整实现学习和分类等。（d）适合模拟人类的形象思维过程。（e）求解问题时，可以较快的得到一个近似解。行为主义：又称模拟学派、进化主义或控制论学派，认为智能行为的基础是“感知行为”的反应机制。基于智能控制系统的理论、方法和技术，研究拟人的智能控制行为。其特点：（a）知识和形式表达和模型化方法是人工智能的重要障碍之一。（b）智能取决于感知和行动，应直接利用机器对机器环境作用后，以环境对作用的响应为原型。（c）智能行为只能体现在世界中，通过与周围环境交互而表现出来。（d）人工智能可以像人类智能一样逐步进化，分阶段发展和增强。符号主义：又称为功能模拟学派，主要观点认为智能活动的基础是物理符号系统，思维过程是符号模式的处理过程。连接主义：又称为结构模拟学派，是基于神经网络及网络间的连接机制和学习算法的人工智能学派。主要观点认为大脑是一切智能活动的基础，因而从大脑神经元及其连接机制出发进行研究，渴望揭示人类智能的奥秘，从而真正实现人类智能在机器上的模拟。行为主义：又称模拟学派、进化主义或控制论学派，认为智能行为的基础是“感知行为”的反应机制。基于智能控制系统的理论、方法和技术，研究拟人的智能控制行为。2.知识表示方法都有哪些技术？分别简要介绍？(1)状态空间法是基于解答空间的问题表示和求解方法，是以状态和操作符为基础的。需要扩展过多的节点，容易出现“组合爆炸”，因而只适用于表示比较简单的问题。(2)问题归约法是从目标（要解决的问题）出发逆向推理，建立子问题以及子问题的子问题，直至最后把初始问题归约为一个平凡的本原问题集合。状态空间法是问题归纳法的一种特例。这些本原问题的解可以直接得到，从而解决了初始问题，用与或图来有效地说明问题归约法的求解途径。(3)谓语逻辑法是采用谓词合式公式和一阶谓词演算把要解决的问题变为一个有待证明的问题，然后采用消解定理和消解反演来证明一个新语句是从已知的正确语句导出的，从而证明这个新语句也是正确的。(4)语义网络法是用“节点”代替概念，用节点间的“连接弧”代替概念之间的关系。语义网络表示法的优点：结构性、联想性、自然性。3.图搜索策略的一般步骤？(1)建立一个只含有起始节点S的搜索图G，把S放到一个叫做OPEN的未扩展节点表中。(2)建立一个叫做CLOSED的已扩展节点表，其初始为空表.(3)LOOP：若OPEN表是空表，则失败退出。(4)选择OPEN表上的第一个节点，把它从OPEN表移出并放进CLOSED表中。称此节点为节点n(5)若n为一目标节点，则有解并成功退出，此解是追踪图G中沿着指针从n到S这条路径而得到的(指针将在第7步中设置)(6)扩展节点n，同时生成不是n的祖先的那些后继节点的集合M。把M的这些成员作为n的后继节点添入图G中。(7)对那些未曾在G中出现过的M成员设置一个通向n的指针。把M的这些成员加进OPEN表。对已经在OPEN或CLOSED表上的每一个M成员，确定是否需更改通到n的指针方向。对已在CLOSED表上的每个M成员，确定是否需要更改图G中通向它的每个后裔节点的指针方向。(8)按某一任意方式或按某个探试值，重排OPEN表。(9)GOLOOP。4.遗传算法的步骤(1)初始化群体;(2)计算群体上每个个体的适应度值;(3)按由个体适应度值所决定的某个规则选择将进入下一代的个体;(4)按概率Pc进行交叉操作;(5)按概率Pc进行突变操作;(6)若没有满足某种停止条件，则转第(2)步，否则进入下一步。(7)输出群体中适应度值最优的染色体作为问题的满意解或最优解。5.消解原理的应用例子—储蓄问题前提：每个储蓄钱的人都获得利息。结论：如果没有利息，那么就没有人去储蓄钱
6.基于可信度的不确定性表示组合证据的不确定性算法：
(1)合取证据当组合证据为多个单一证据的合取时，对于多个证据合取的可信度，取其可信度最小的那个证据的值作为组合证据的可信度。E=E1ANDE2AND…ANDEn，若已知CF(E1),CF(E2),…,CF(En),则有：CF(E)=min{CF(E1),CF(E2),…,CF(En)}(2)析取证据当组合证据是多个单一证据的析取时，对于多个证据的析取的可信度，取其可信度最大的那个证据的值作为组合证据的可信度。E=E1ORE2OR…OREn，若已知CF(E1),CF(E2),…,CF(En),则有：CF(E)=max{CF(E1),CF(E2),…,CF(En)}不确定性的传递算法就是根据证据和规则的可信度求其结论的可信度。若已知规则为IFETHENH(CF(H,E))且证据E的可信度为CF(E)，则结论H的可信度CF(H)为CF(H)=CF(H,E)max{0，CF(E)}当CF(E)>0，即证据以某种程度为真，则CF(H)=CF(H,E)CF(E)。若CF(E)=1，即证据为真，则CF(H)=CF(H,E)。当CF(E)0.1,0.5}=－0.15从而CF1,2（E1）=（0.49－0.15）/(1－min(|0.49|,|－0.15|))=0.34/0.85=0.4由r1可得：CF1（H）=0.4×0.8=0.32由r2可得：CF2（H）=0.8×0.9=0.72从而CF1,2（H）=0.32+0.72-0.32×0.72=0.8096这就是最终求得的H的可信度。7.决策树学习算法ID3ID3算法思想基本的ID3学习算法是通过自顶向下构造决策树来完成：1、按照某标准选取一个属性，以该属性作为根节点，以这个属性的全部不同取值作为根节点的分枝，向下增长树，同时按这个属性的不同取值将实例集划分为子集，与相应的分支节点相关联。2、考察所得的每一个子类，看其中的所有实例的目标值是否完全相同：3、如果完全相同，则以这个相同的目标值作为相应分枝路径末端的叶子节点；4、否则，选取一个不同于祖先节点的属性，5、重复上面过程，直到每个子集中的全部实例的目标值完全相同，得到所有的叶子节点为止具体过程：
步1创建树的Root节点；步2如果Exampls都为正，那么返回label=+的单节点树Root；步3如果Exampls都为反，那么返回label=一的单节点树Root；步4如果Attributes为空，则返回单节点树Root,label=Examples中最普遍的Target-attribute值，否则（1）A