博舍

人工智能(1):机器学习工作流程 人工智能机器人下载软件安装教程

人工智能(1):机器学习工作流程

1什么是机器学习

机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。

2机器学习工作流程

机器学习工作流程总结

1获取数据

2数据基本处理

3特征工程

4机器学习(模型训练)

5模型评估

结果达到要求,上线服务没有达到要求,重新上面步骤

2.1获取到的数据集介绍

数据简介

在数据集中一般:

        一行数据我们称为一个样本

        一列数据我们成为一个特征

        有些数据有目标值(标签值),有些数据没有目标值(如上表中,电影类型就是这个数据集的目标值)

 

数据类型构成:

        数据类型一:特征值+目标值(目标值是连续的和离散的)如上图

        数据类型二:只有特征值,没有目标值,如下图

 

数据分割:

        机器学习一般的数据集会划分为两个部分:

                训练数据:用于训练,构建模型

                测试数据:在模型检验时使用,用于评估模型是否有效

        划分比例:

                训练集:70%80%75%

                测试集:30%20%25%

2.2数据基本处理

即对数据进行缺失值、去除异常值等处理

2.3特征工程

2.3.1什么是特征工程

特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。

意义:会直接影响机器学习的效果

2.3.2为什么需要特征工程(FeatureEngineering)

机器学习领域的大神AndrewNg(吴恩达)老师说“Comingupwithfeaturesisdifficult,time-consuming,requiresexpertknowledge.“Appliedmachinelearning”isbasicallyfeatureengineering.”

注:业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。

2.3.3特征工程包含内容

特征提取特征预处理特征降维

2.3.4各概念具体解释

特征提取

将任意数据(如文本或图像)转换为可用于机器学习的数字特征

特征预处理

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

 

特征降维

指在某些限定条件下,降低随机变量(特征)个数,得到一组“不相关”主变量的过程

2.4机器学习

选择合适的算法对模型进行训练(后续详细讲解)

2.5模型评估

对训练好的模型进行评估(后续详细讲解)

3小结

机器学习定义【掌握】

机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测

机器学习工作流程总结【掌握】

1获取数据

2数据基本处理

3特征工程

4机器学习(模型训练)

5模型评估

结果达到要求,上线服务没有达到要求,重新上面步骤

获取到的数据集介绍【掌握】

数据集中一行数据一般称为一个样本,一列数据一般称为一个特征。数据集的构成:

        由特征值+目标值(部分数据集没有)构成

为了模型的训练和测试,把数据集分为:

        训练数据(70%-80%)和测试数据(20%-30%)

特征工程包含内容【了解】

特征提取特征预处理特征降维

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇