人工智能实训笔记DAY1
人工智能实训笔记DAY1开发环境与工具AnancondaJupyter数据分析概述什么是数据分析为什么学习数据分析数据分析实现流程数据分析重要工具numpy模块Pandas模块简单实例开发环境与工具Ananconda：一个基于数据分析和机器学习的集成环境。在该环境下就可以直接进行数据分析和机器学习的代码开发。Jupyter：可视化的编码工具。就是一个基于浏览器的超级终端，可以编写、执行程序。AnancondaAnanconda是一个基于数据分析和机器学习的集成环境。在该环境下就可以直接进行数据分析和机器学习的代码开发。
JupyterJupyter是一个可视化的编码工具，是基于浏览器的超级终端，可以编写、执行程序。
jupyter工具的使用环境的启动：在终端（cmd）输入指令jupyternotebook，按下回车，即可启动Ananconda服务，打开你默认的浏览器。new->python3，新建一个基于Ananconda的源文件（.ipynb），在该源文件下即可进行相关代码的编写和运行。cell分为两种模式code：可以编写python代码，点击run即可执行。markdown：基于markdown相关指令指定笔记样式，也兼容html。操作快捷键新建cell：a，b删除cell：dd，x运行cell：shift+enter重新编辑cell：选中cell双击切换cell模式：code->md：mmd->code：y智能补全or提示：tab打开帮助文档：shift+tabtips：jupyternotebook指定对应的终端目录，就是启动Ananconda后对应的根目录。数据分析概述什么是数据分析略
为什么学习数据分析略
数据分析实现流程略
数据分析重要工具numpy模块numpy（NumericalPython）是Python语言中做科学计算的基础库，多用于在大型、多维数组上执行的数值运算。
numpy的创建使用np.array()使用plt创建，plt.imread()使用np的routines的函数创建，np.linspace()，np.random.xxx()数据的索引和切片操作（重点）索引取单行：arr[index]取多行：arr[[index1,index2,…]]取单值：arr[index,col]取多值：arr[[index1,index2,…],col]切片：切行：arr[index1:index2]切列：arr[:,col1:col2]行倒置：arr[::-1]列倒置：arr[:,::-1]元素倒置：arr[::-1,::-1]变形reshape()：将x维度的数组变换成y维度的数组，注意变形前后数组的容量不可以发生变化。级联操作将多个numpy数组进行横向或纵向的拼接。axis轴向0：列1：行np.concatenate((arr1,arr2,…),axis=0/1)tips：数组的维度不一致一定不可以级联，但是维度一致，行列不一致也可以适当级联。常用的相关操作sum()，求和max()，min()，求最值amin()，amax()，求指定轴的最值cos()，sin()，tan()mean()，求均值median()，求中位数（中值）std()，求标准差var()，求方差ptp()，求最大值与最小值的差around(arr,decimals)，函数返回指定数字的四舍五入值矩阵相关矩阵库numpy.matlibnumpy.matlib.indentity()，返回给定大小的单位矩阵。矩阵转置：T矩阵相乘：numpy.dot(arr1,arr2,out=None)Pandas模块numpy主要帮助我们处理数值型数据，而pandas就可以帮我们处理除了数值型的其他数据。常用的两个类：Series，DataFrame。
SeriesSeries是类似于一维数组的数据结构，由一组数据values（ndarray类型）和相关的数据索引标签index两部分组成。Series的创建由列表或numpy数组创建由字典创建Series的索引和切片隐式索引：默认形式的索引显式索引：自定义的索引，可以通过index参数设置显式索引Series的常用属性shape，size，index，valuesSeries的常用方法查看头尾元素：head()，tail()去重：unique()，nunique()判空：isnull()，notnull()算术运算：add()，sub()，mul()，div()tips：索引一致的元素进行运算，否则补空。DataFrameDataFrame是一个表格型的数据结构。由行索引index，列索引columns和值values组成。DataFrame的创建由nparray创建由字典创建索引行索引：df[‘col’]列索引：df.iloc[index]元素索引：df.iloc[index,col]切片行切片：df[index1:index2]列切片：df.iloc[:,col1:col2]时间数据类型的转换pd.to_datetime(col)将某一列设置为行索引df.set_index()持久化存储：df.to_xxx()加载数据：pd.read_xxx()数据的重新取样：resample(rule)//rule就是取样的条件将元素整体上下移动：shift(xor-x)基于pandas的数据清洗清洗空值（缺失值）两种丢失数据Nonenp.nan(NaN)tips:数据分析中的空值是float类型，而None是对象类型，对象类型的空值不可以直接参与运算，而nan可以直接参与运算。处理空值操作：isnull，notnull，any，all，dropna，fillna清洗重复值drop_duplicated()清洗异常值首先根据条件判断异常删除异常数据简单实例基于DataFrame基础操作进行股票分析需求：
使用tushare包获取某股票的历史行情数据。输出该股票所有收盘比开盘上涨3%以上的日期。输出该股票所有开盘比前日收盘跌幅超过2%的日期。假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到今天为止，我的收益如何？人工智能课程实训方案
第一章发展背景当今，世界无时无刻不在发生着变化。对于技术领域而言，普遍存在的一个巨大变化就是为大数据（Bigdata）打开了大门。随着国家大数据战略推进实施以及配套政策的贯彻落实，大数据产业发展环境进一步优化，社会经济各领域对大数据服务需求进一步增强，大数据的新技术、新业态、新模式不断涌现，产业规模持续保持高速增长态势。并且，随着高校获准开设“数据科学与大数据技术”专业，大数据需要的复合型人才将源源不断形成。加之海外和传统行业跨界人才不断加入大数据行业，大数据产业将迎来创新发展。大数据时代的来临加快了人工智能应用的发展，随着大数据的应用，以及计算机算力的大幅提升，深度学习进一步提升和完善的需要得到了满足，数据驱动的人工智能时代已经到来，人工智能发展进入新阶段。当前，新一代人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升，数据科学与人工智能的结合越来越紧密。大数据及人工智能成为国际竞争的新焦点，是引领未来的战略性技术，世界主要发达国家把大数据、人工智能的发展作为提升国家竞争力、维护国家安全的重大战略，加紧出台规划和政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。当前，我国国家安全和国际竞争形势更加复杂，必须放眼全球，把大数据及人工智能发展放在国家战略层面系统布局、主动谋划，牢牢把握新阶段大数据及人工智能国际竞争的战略主动，打造竞争新优势、开拓发展新空间，有效保障国家安全。
第二章方案平台优势2.1.方案优势基于云模式的智慧教育人工智能教学实训平台的设计全面落实“产、学、用、监、评”一体化的思想和模式，从教学、实践、使用、监控、评估等多方面注重专业人才和特色人才的培养。学生可以通过在教学平台的学习熟练掌握人工智能的基础知识,通过掌握的知识在人工智能课程实验中进行动手实践。本实训系统平台方案融合操作系统、数据库、编程语言、Python数据处理、人工智能等课程，人工智能领域涉及深度学习、机器学习、深度学习、自然语言处理、计算机视觉等诸多方面，课程类型包括基础实训、关键技术掌握、应用创新等等各层次实践教学。从面向人工智能行业的需求、促进学生职业发展的角度，规划建设基于云模式的人工智能教学实训平台，真正在产业、学校及实际项目中相互配合，发挥优势，形成生产、学习、实践、运用、监控、评估的系统运作模式，从而建设大数据及人工智能特色专业。利用虚拟化教学资源，搭建实训实战平台，将理论学习、实践教学和大数据及人工智能搭建、挖掘、存储、分析实战融为一体，从易到难、循序渐进，逐步提升学生的学习技能和实践水平，提高“学”的质量和成效。定制专业化技能评估与教学监控功能，将学生的学习情况、专业喜好、适用岗位形成报告模版。秉承着“精准、先进、创新”的原则，实时监控学生操作，分析学习情况，评估学生知识水平，从而减轻学校及教师的压力。2.2.系统优势人工智能教学实训平台基于开源的Docker环境，构建硬件虚拟化设备，并基于同样开源的Kubernetes架构，实现GPU集群设备的自动管理和调度，以Yarn为核心，构建了资源管理系统，实现计算任务的智能调度与冲突协调。一个基础平台的生命力，有赖于系统的基础支撑能力与对外服务能力。在面向人工智能计算需求的建设开发上，必须要考虑如何开发组织系统对外服务的能力。而人工智能研发需求的两个基本要素就是计算和数据。因此，本系统也着眼于组建基础计算能力和基础数据处理能力。在计算能力建设中，系统将传统人工智能计算方法与计算模型、当前流行的人工智能计算模型与框架，完美地融入了整个系统的计算模块中，并且与底层的硬件管理与计算资源的调度，完美地结合在一起。在数据能力的建设中，系统将自建一套以非结构化数据的标记清洗，结构化数据的清洗为主要内容的数据处理系统。在系统底层硬件管理上，支持CPU、GPU、FPGA、ASIC等通用或专用计算硬件，实现对主流计算硬件的即插即用。在计算集群的设置上，往往也是分布式的，计算集群可以分布在不同机房中，不受空间限制，是人工智能教学实训平台在底层硬件管理上的特点。在系统最核心的调度算法上，通过系统自身构建的智能化调度策略，针对不同的计算框架和机器学习方法，系统自动分配相应的计算资源，包括处理器数量、内存数量，使计算请求与计算资源的使用达到最优匹配，提高计算资源的利用效率，降低单位时间的运行成本。同时，当用户发起计算请求时，系统会根据用户距离计算中心的“距离”,自动将用户的请求适配到距离用户最近的计算集群上，以便用户可以更快速地获取计算结果，提升用户的计算体验。在教学管理方面，平台自带人工智能课程推荐功能，可为学生提供个性化课程推荐及AI课程助手，助力学生定向就业。还可以通过大数据分析，自动生成学业报告，为学生就业提供桥梁，并作为教师教学的得力助手，为高校的学生能力培养及教师的工作提供强有力的支持。
第三章教学实训平台人工智能教学实训平台的建设采用B/S架构，用户通过浏览器进行访问，且支持内网与外网同时访问。平台的管理功能是针对前端系统设置的对应的管理功能，便于教学过程中对前端系统的自定义管理。系统课程学习模式包括实验平台、项目路径和职业路径，满足不同场景的教学需求。在教学管理方面，平台自带人工智能课程推荐功能，可为学生提供个性化课程推荐及AI课程助手，助力学生定向就业。还可以通过大数据分析，自动生成学业报告，为学生就业提供桥梁，并作为教师教学的得力助手，为高校的学生能力培养及教师的工作提供强有力的支持。实训平台采用私有云模式，所有课程均在云端进行，自主研发设计的教学平台可将硬件资源进行集中调度分配，可管理大规模CPU、GPU、FPGA等高性能分布式计算集群，利用容器技术对计算资源进行虚拟化，以智能调度的方式对外提供计算服务，并依托开源分布式计算框架和深度学习框架，支持训练、推理，支持CNN、RNN等各种类型的网络模型，支持Xgboost等传统机器学习模型，适合大数据、人工智能、深度计算；课程内容涵盖操作系统、编程语言、Python数据处理、机器学习、数据分析、数据挖掘、深度学习、计算机视觉、自然语言处理等诸多方面，课程类型包括基础实训、关键技术掌握、应用创新等，是一个综合性的学习研究平台；平台配合专用的资源监控系统、课程监控系统，可实时的监控整个平台的硬件资源负载以及学生学习的状态，可帮助教师合理的安排课程及对应资源。3.1.学习模式3.1.1.实验平台该模式以知识体系为核心，将人工智能内容按照不同类型的知识模块进行分类。体系下包含了：操作系统、编程语言、Python数据处理、机器学习、数据分析、数据挖掘、深度学习、计算机视觉、自然语言处理等诸多方面，该模式围绕一个内容展开了多方面知识的学习，与现在教育方式一致，保留了师生们传统的学习授课方法。不仅如此，为满足学校的已有的课程教学资源，老师可以自定义实验内容及实验镜像，将文本类、实操类、视频类课程上传到教学平台上满足教学需求。
实验平台3.2.练习算法3.2.1.算法集算法集提供了一个环境，用户可以在里面写代码、运行代码、查看结果，并在其中可视化数据，并与平台中的数据集功能进行交互式使用，可直接调用平台当中的数据集用于算法在实际数据中的实践测试。鉴于这些优点，它能帮助他们便捷地执行各种端到端任务，如数据清洗、统计建模、构建/训练机器学习模型等。算法集的一个特色是允许把代码写入独立的cell中，然后单独执行。这样做意味着用户可以在测试项目时单独测试特定代码块，无需从头开始执行代码。虽然其他的IDE环境（如RStudio）也提供了这种功能，但就个人使用情况来看，算法集的单元结构是设计的最好的。算法集的优势还体现在灵活性和交互性上，除了最基础的Python，它还允许用户在上面运行R语言。由于它比IDE平台更具交互性，教师也更乐于在各种教程中用它来展示代码。
3.2.2.数据集数据集功能提供数量众多的数据集，包括互联网、零售、电商、医疗等相关数据集，数据集中的数据可直接与算法集中的算法进行交互使用，为算法提供所需数据的调用支撑。教师可根据数据集的内容、格式、数量等为学生设定开放式课题，使用真实的数据集进行大数据、人工智能项目案例处理分析，深度理解掌握如何处理这些数据，例如，教师给定一份数据让学生进行预测实验，学生需设计算法进行清洗与预测等。平台提供开放式上传功能，支持用户将自己的数据上传至平台当中，并可设定是否与他人共用，可帮助用户解决数据存放管理问题，实现用户数据的开放式共享。
3.3.在线考试3.3.1.理论考核理论考核采用在线考核模式，将单选题、多选题、判断题、填空题、简答题添加在试卷上，每一道题的题目、正选、分值等内容可由管理员自行设置，简答题题采用关键词进行自动判分，同时也可以由教师手动判分。
理论考核3.3.2.实践测评实践测评考核模式是以实验操作过程为考核点，也称之为实操题考核模式，由教师在管理端设置考核步骤、分值权重，平台提供配套的实验考试环境。学生在实际操作过程中遇到的考核点，需要根据实际结果去填写，到最后统一汇总分数。该模式突破了传统的考核模式，通过实操的方式来加深印象，巩固知识。
实践测评3.4.智能教务3.4.1.教学进度分析课程实验具有核全局开关功能，打开全局考核后，进行所有实验时都必须完成实验当中设定的每一步考核才能查看下一步。接着，系统不仅自动检测到正在进行实验，也可以手动设定实验状态分析（也可以手动设置分析目标）。查看分析结果时可查看每个班级的学生在进行每个实验时完成度，查看每个实验的每个步骤的通过率、完成率、完成进度、实验总结信息等。教学进度分析功能可通过智能化的手段，有效帮助教师分析并掌握整个班级的学习情况，根据学生完成实验的进度过程进行授课，选择重点难点部分进行针对性讲解，有效降低教师授课压力，高效完成授课任务。
教学分析3.4.2.教学计划管理管理员在后台可以一次性布置全部的教学计划，规定上课时间与学习课程，随后学生通过在前端查看，即可了解到每一天的课程安排。
3.4.3.实验报告管理教师通过此功能查看学生的实验报告，支持预览和批阅等功能，后台自动统计学生学习数据，展示出每个步骤的学习通过时间、成绩正确率、班级排名等信息，并将实验数据与学生的实验报告有机结合，形成完成的实验报告。此功能相较于传统的实验报告，增加了学生的学习数据统计功能，可大大的减轻教师的负担，同时为教师了解班级整体的学习状况提供的有力的支持。
3.5.平台管理3.5.1.用户管理为满足教师方便的管理班级学院，平台提供用户组织管理功能。其中用户管理显示平台用户的信息列表，管理端可对平台用户信息进行编辑与删除，包含根据组织、专业、班级、姓名等信息进行用户模糊筛选，便于管理平台用户；角色管理显示平台现有角色，用户可编辑新的角色并赋予角色权限；组织结构管理显示平台现有的组织机构，管理端可以也可根据层级分步添加组织、学院、系别、专业、班级，对同级别下的机构进行排序。
3.5.2.资源管理用户可以在此查看版本信息、用户数量、实验数量，资源监控及用户虚拟机监控。同时后台资源监控中心可查看平台的用户数量、实验数量、职业路径数量、项目路径数量、算法集数量、数据集数量、用户分布、活跃用户等数据；实时的CPU、内存、硬盘、实例的使用情况和该时刻学生实验进行的状态；可对虚拟机进行监控所处的实验环境、创建位置、用户姓名、创建时间时间以及开启和关闭的状态。该功能的实现可便捷精准的反应出学生的问题所在，可对实验平台进行实时状态的查看，又同时提高了老师的教学质量和效率。
3.5.3.系统管理邮件系统配置是为了减轻管理端的任务负担，配置好邮件系统之后，学生在忘记登陆密码之后可以通过邮件找回密码。
第四章红亚教学资源4.1.人工智能基础课程资源4.1.1.Linux基础Linux系统是开源软件，其可靠性得到肯定，是当今举世瞩目、发展最快、应用最广的主流软件之一。在服务器平台、嵌入式系统和云计算系统所运行的操作系统中，Linux占很大比重。大数据主流框架Hadoop、Spark都架设在Linux系统上，所以现在学习和应用Linux成为众多用户和学生的首选。Linux基础Linux基础Linux系统概述Linux简介Linux应用领域Linux优势字符操作环境使用Shell字符编辑器VILinux文件系统Linux文件ext3文件系统安装和卸载文件系统进程管理Linux进程概述进程控制命令常用命令介绍目录操作文件操作磁盘操作文本编辑帮助命令用户管理Linux用户账户概述管理用户和群组命令行配置用户管理器配置系统监控与备份显示系统进程查看硬件信息查看日志文件数据备份与恢复软件包管理RPM概述RPM包的命令介绍查看软件包（检查软件包签名）软件包管理工具管理网络服务守护进程服务配置FTP服务配置邮件服务器Apache服务器
4.1.2.编程基础编程基础包含Python基础、R语言基础、Scala基础和Java基础四大模块共计82个实验项目。针对每一个所讲解的知识点都进行了深入分析，并使用生动形象的情境化举例，将原本复杂的、难于理解的知识点和问题进行简化，针对每个知识点，精心设计了相应的问题，让学习者不但能掌握和理解这些知识点，并且还可以清楚地知道在实际工作中如何去运用。编程基础Python基础Python基础Python介绍Python开发环境搭建Python基本数据类型Python变量Python基本输入输出Python模块Python运算符与表达式Python选择与循环结构Python序列操作Python列表常用方法Python元组Python列表解析式与生成器表达式Python字符编码Python字符串基本操作Python字符串格式化Python字符串方法Python正则表达式与re模块Python字典创建与使用Python字典方法Python集合创建与使用Python集合常用运算Python文件基本概念Python打开与关闭文件Python文件对象基本方法Python数据序列化与反序列化Python文件与文件夹基本操作Python函数的定义和调用Python函数参数Python变量作用域Python函数返回值Python函数嵌套定义、闭包、装饰器Python类的定义和使用Python构造方法与析构方法Python成员访问权限Python继承Python异常概念与常见表现形式Python常见异常处理结构Python的raise语句R语言基础R语言基础R语言开发环境搭建R语言对象与属性R语言向量R语言矩阵和数组R语言列表R语言数据框R语言构建子集lapply函数apply函数mapply函数split函数tapply函数R语言重复值处理R语言排序Scala基础Scala基础Scala开发环境搭建Scala控制结构和函数Scala数组相关操作Scala映射与元组Scala类与对象Scala包管理Scala继承Scala文件和正则表达式Scala特质Scala运算符(原本为scala操作符)Scala高阶函数Scala集合Scala模式匹配和样例类Scala类型参数Scala高级类型Scala隐式转换和隐式参数Java基础Java基础Java开发环境搭建Java的类和对象Java标识符、关键字与运算符Java基本数据类型Java流程控制Java继承与多态Java抽象类与接口Java内部类Java异常处理Java集合类Java基础类库Java泛型Java的输入与输出Java数据库操作
4.1.3.数学基础数字在数学体系中稳固的位置，而大数据技术也和数学紧紧地结合在一起。数学基础共计信息论、线性代数、概率论与数理统计、数值计算和最优化方法五大模块30个教学项目。大数据技术本身是一门交叉性学科，统计方法为核心，所以学习数学基础就显得尤为重要。数学基础信息论信息论熵联合熵条件熵相对熵互信息最大熵模型线性代数线性代数标量向量张量范数矩阵特征分解几种常用距离计算概率论与数理统计概率论与数理统计随机变量概率分布贝叶斯公式期望方差协方差常见分布函数最大似然估计数值计算数值计算数值计算概述上溢和下溢计算复杂性与NP问题最优化方法最优化方法最优化理论概述最优化问题的数学描述凸集与凸集分离方法梯度下降算法启发式优化方法牛顿法和拟牛顿法
4.1.4.数据库基础数据库已是当今信息社会须臾不可脱离的重要工具，数据库的教学也就成为计算机科学与技术专业的一门必修课程。在大数据技术中，数据仓库的搭建离不开传统数据库的支持，所以，学习数据库基础是为大数据的存储做准备。数据库基础excelExcleExcel函数与公式Excel数据统计与汇总VBA程序基础VBA数据类型VBA流程控制VBA综合应用mysqlMysqlMySQL简介与安装MySQL创建连接MySQL操作数据库MySQL操作数据表MySQL操作数据MySQL条件限定与正则表达式MySQL表的连接MySQL排序、分组与过滤MySQL结果合并MySQL函数MySQL导入与导出oracleOracleOracle安装与卸载Oracle数据类型（文本）表的创建与管理简单查询单行函数分组统计查询多表查询SybasePowerDesigner设计工具mongodbMongoDBMongoDB简介与安装MongoDB创建连接MongoDB操作数据库MongoDB操作集合MongoDB操作文档MongoDB条件操作符与正则表达式MongoDB之Limit与Skip方法MongoDB排序与聚合Redis+MemcacheRedis+MemcacheRedis简介、安装与配置Redis命令（包括Redis键）Redis数据类型Redis基数统计Redis服务器与连接memcached简介与安装memcached连接memcached存储memcached查找memcached统计SQLiteSQLiteSQLite简介与安装SQLite操作数据库SQLite操作数据表SQLite操作数据SQLite条件限定与通配符SQLite表的连接SQLite排序、分组与过滤SQLite结果合并SQLite之Explain细节描述SQLite函数
4.1.5.Python数据处理随着大数据疯狂的浪潮，新生代的工具Python得到了前所未有的爆发。简洁、开源是这款工具吸引了众多客户的原因。通过Python的实训练习，掌握数据采集、数据分析、模型调优等技术，实现人工智能与Python的完美融合。
Python基础知识Python基础简介Python语言概述为何学习Python语言Python主要应用领域Python开发环境搭建初识PythonPython基本数据类型Python变量Python基本输入输出Python模块Python运算符与表达式Python选择与循环结构Python猜数字游戏列表与元组Python序列操作Python列表常用方法Python元组Python列表解析式与生成器表达式字符串与正则表达式Python字符编码Python字符串基本操作Python字符串格式化Python字符串方法Python正则表达式与re模块字典Python字典创建与使用Python字典方法集合Python集合创建与使用Python集合常用运算文件操作Python文件基本概念Python打开与关闭文件Python文件对象基本方法Python数据序列化与反序列化Python文件与文件夹基本操作函数Python函数的定义和调用Python函数参数Python变量作用域Python函数返回值Python函数嵌套定义、闭包、装饰器面向对象Python类的定义和使用Python构造方法与析构方法Python成员访问权限Python继承异常处理结构Python异常概念与常见表现形式Python常见异常处理结构Python的raise语句
Python数据采集爬虫初识爬虫简介爬虫应用场景爬虫基本工作原理网络请求基础TCP/IP协议HTTP请求格式HTTP常用请求头响应状态码浏览器发送HTTP请求的过程cookie和session使用Python发送网络请求Requests模块介绍使用Requests发送post请求使用Requests发送get请求使用Requests发送带Header请求使用Requests发送带参数请求Python爬虫实战XPATH介绍及节点选择LXML介绍及使用对抗反爬虫措施网站数据爬取实验IP代理数据爬取
Python数据分析分类与预测决策树K近邻分类算法支持向量机Python随机森林Logistic回归分析人工智能网络常用聚类分析算法K-Means聚类算法系统聚类算法DBSCAN聚类算法关联规则算法Apriori算法简介Apriori算法应用协同过滤算法基于用户的协同过滤算法基于物品的协同过滤算法时间序列数据分析时间序列预处理平稳时间序列分析非平稳时间序列分析Python主要时序模式算法离群点检测方法离群点检测概述基于密度的离群点检测方法基于聚类的离群点检测方法基于距离的离群点检测方法数据降维数据降维概述常用降维方法-1.机器学习简介常用降维方法-2.机器学习数学预备知识常用降维方法-3.常用降维方法的目的常用降维方法-4.常用降维方法解读模型调优与实战模型评估与调优模型评估和调优的意义评估指标模型调优建议与注意事项数据分析与挖掘实战电子商务的智能推荐财政收入分析电商产品评价分析电力窃漏识别分析电器使用情况分析
4.2.人工智能课程资源4.2.1.机器学习机器学习是人工智能中发展最快的分支之一，是人工智能的主要技术途径。在本课程体系中，机器学习处于基础地位，是学好后续课程的基础。本课程讲授机器学习的基本原理和方法，涵盖了线性回归实验分析、Python从零实现线性回归方程、机器学习模型评估方法对比分析、逻辑回归实验分析等课程的主要方法。机器学习线性回归线性回归实验分析Python从零实现线性回归方程机器学习模型评估方法对比分析逻辑回归逻辑回归实验分析Python从零实现逻辑回归方程项目实战-信用卡交易数据欺诈检测决策树与集成实例决策树算法实验分析Python从零实现决策树模型集成算法实验分析集成模型搭建实例项目实战-基于随机森林的气温预测贝叶斯算法Python从零实现贝叶斯算法项目实战-基于贝叶斯的新闻数据分类贝叶斯优化及其工具包使用实战贝叶斯分析实例聚类算法分析Python从零实现Kmeans算法聚类算法实验分析支持向量机基于SVM的简易人脸识别案例支持向量机实验分析降维算法线性判别分析实验主成分分析提升算法Xgboost建模调参实战xgboost-gbdt-lightgbm算法对比分析项目实战-使用lightgbm进行饭店流量预测隐马尔科夫模型HMM实现中文分词机器学习综合项目制作自己常用工具包特征工程试验分析项目实战-从零开始打造音乐推荐系统推荐系统实验分析关联规则工具包实战Python从零实现关联规则科比职业生涯数据分析建模Python时间序列分析实战ARIMA模型实战项目实战-人口普查数据集项目实战-收入预测模型学习曲线分析基于统计分析的电影推荐项目实战-贷款申请最大利润分析NLP-文本特征方法对比项目实战-用户流失预警机器学习项目建模模板
4.2.2.数据分析数据分析指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。本课程涵盖了数据分析的主要知识内容。
数据分析统计分析方法假设检验分析相关分析方差分析科学计算库-Numpy数据分析处理库-Pandas可视化库-Matplotlib可视化库-Seaborn数据降维常用策略数据降维分析鸢尾花数据集分析数据预处理与缺失值分析数据科学你得知道的几种分布实例商品可视化展示与文本处理数据分析经典案例多变量分析实例纽约出租车运行情况分析建模基于统计分析的电影推荐任务商品订单数据集分析KIVA贷款数据分析汽车价格回归分析手写字体识别对比分析员工离职预测基于NLP的股价预测借贷公司数据分析
4.2.3.数据挖掘数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。本课程涵盖了数据挖掘的主要知识内容。数据挖掘数据挖掘经典实例解读数据特征预处理实验文本特征处理方法对比项目实战-爱彼迎数据集分析与建模项目实战-基于相似度的酒店推荐系统项目实战-商品销售额回归分析项目实战-绝地求生数据集探索分析与建模项目实战-银行客户还款可能性预测图像特征聚类分析实践竞赛优胜解决方案项目实战-快手短视频用户活跃度分析项目实战-工业化工生产预测项目实战-智慧城市-道路通行时间预测特征工程建模可解释工具包项目实战-医学糖尿病数据命名实体识别贷款平台风控模型-特征工程项目实战-新闻关键词抽取模型数据特征常用构建方法项目实战-用电敏感客户分类项目实战-京东购买意向预测项目实战-泰坦尼克号获救预测数据挖掘常用策略实战用户画像分析数据特征常用构建方法集成策略实例模型解释方法实战kaggle数据科学调查分析项目实战-房价预测项目实战-fbprophet时间序列预测自然语言处理常用工具包实战Pandas数据处理实战
4.2.4.深度学习深度学习是人工智能第三次浪潮的核心技术，广泛应用于图像识别、语音识别、机器翻译、医疗影像处理、自然语言处理、人机博弈等众多领域，使得这些领域取得了突破性进展。本课程是AI课程系列中的核心，讲授深度学习的原理、技巧和前沿技术。
深度学习神经网络算法神经网络算法实验分析word2vec词向量模型实验基于word2vec的文本分类实战维基百科数据集训练词向量模型Python从零实现神经网络PyTorch框架与实战PyTorch框架基本处理操作神经网络实战分类与回归任务图像识别核心模块实战解读迁移学习的作用与应用实例递归神经网络与词向量原理解读新闻数据集文本分类实战对抗生成网络架构原理与实战解析Keras框架与实战搭建神经网络模型再战卷积神经网络基于keras的LSTM时间序列预测任务多标签与多输出任务实战keras文本分类实战Keras实战对抗生成网络数据增强实战迁移学习与Resnet残差网络Keras框架实战模板总结Tensorflow框架与实战tensorflow安装与简介搭建神经网络进行分类与回归任务猫狗识别实战图像数据增强实例训练策略-迁移学习实战基于TensorFlow实现word2vec基于RNN模型进行文本分类任务tfrecord制作数据源将CNN网络应用于文本分类实战TF2时间序列预测Tensorboard可视化模块Tensorflow基础操作致敬经典：Alexnet网络实战Tensorflow卷积神经网络实战CNN文本分类任务验证码识别
4.2.5.自然语言处理自然语言处理和理解是智能的核心之一，在深度学习时代，自然语言理解取得了很大的进展。本课程讲授自然语言理解领域的基本概念、原理和方法，以及最新的一些技术进展。自然语言处理自然语言处理基础自然语言处理必备工具包实战-1自然语言处理必备工具包实战-2自然语言处理必备工具包实战-3NLP-文本相似度计算实例自然语言处理综合项目实现word2vec词向量模型项目实战-问答机器人项目实战-构建自己的输入法项目实战-NMT机器翻译框架项目实战-LSTM时间序列预测任务项目实战-地址邮编多序列任务
4.2.6.计算机视觉计算机视觉研究从图像中理解现实世界的技术，是人工智能的主要研究方向之一。本课程讲授计算机视觉的核心原理和方法，涵盖了主要的经典算法原理和最新的前沿成果。计算机视觉OpenCV图像处理基础Opencv图像基本操作Opencv的DNN模块分析常用图像处理策略图像阈值与平滑处理图像金字塔与轮廓检测直方图与傅里叶变换图像计算实例图像形态学操作实例图像梯度计算实例边缘检测实战图像特征-harris实例图像特征-sift实例背景建模实例光流估计实例计算机视觉综合项目项目实战-人脸检测数据与网络制作项目实战-实现人脸检测项目实战-关键点检测网络训练项目实战-关键点定位模型实现项目实战-信用卡数字识别项目实战-文档扫描OCR识别案例实战-全景图像拼接项目实战-停车场车位识别项目实战-答题卡识别判卷项目实战-目标追踪项目实战-图像风格转换（style-transfer）项目实战-图像缺失自动补全项目实战-超分辨率重构项目实战-疲劳检测第五章数据安全科研保障箱数据安全科研实验箱是在建立在学生具备完善的数据安全基础知识的层面上的，在学生掌握了一定的数据安全攻击防御学科知识的同时，亦可进行学科性的知识拓展研究；在一定程度上可延伸学生的学习和知识掌握能力；同时更加全面的提高了学生的综合知识能力。数据安全科研实验实验箱集成了四种处理器，包括A8处理器、M4处理器、Z32处理器、FPGA编程板，可通过编程实现如下科研项目：SM2密码算法与实现、12684液晶屏串行显示实验、SLE4428逻辑加密卡实验、SM3密码杂凑算法程序设计。