人工智能(1):机器学习工作流程
1什么是机器学习机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。
2机器学习工作流程机器学习工作流程总结
1获取数据
2数据基本处理
3特征工程
4机器学习(模型训练)
5模型评估
结果达到要求,上线服务没有达到要求,重新上面步骤2.1获取到的数据集介绍
数据简介在数据集中一般:
一行数据我们称为一个样本
一列数据我们成为一个特征
有些数据有目标值(标签值),有些数据没有目标值(如上表中,电影类型就是这个数据集的目标值)
数据类型构成:
数据类型一:特征值+目标值(目标值是连续的和离散的)如上图
数据类型二:只有特征值,没有目标值,如下图
数据分割:
机器学习一般的数据集会划分为两个部分:
训练数据:用于训练,构建模型
测试数据:在模型检验时使用,用于评估模型是否有效
划分比例:
训练集:70%80%75%
测试集:30%20%25%
2.2数据基本处理
即对数据进行缺失值、去除异常值等处理
2.3特征工程
2.3.1什么是特征工程
特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。
意义:会直接影响机器学习的效果
2.3.2为什么需要特征工程(FeatureEngineering)
机器学习领域的大神AndrewNg(吴恩达)老师说“Comingupwithfeaturesisdifficult,time-consuming,requiresexpertknowledge.“Appliedmachinelearning”isbasicallyfeatureengineering.”
注:业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。
2.3.3特征工程包含内容
特征提取特征预处理特征降维2.3.4各概念具体解释
特征提取将任意数据(如文本或图像)转换为可用于机器学习的数字特征
特征预处理通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
特征降维
指在某些限定条件下,降低随机变量(特征)个数,得到一组“不相关”主变量的过程
2.4机器学习
选择合适的算法对模型进行训练(后续详细讲解)
2.5模型评估
对训练好的模型进行评估(后续详细讲解)
3小结机器学习定义【掌握】
机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测机器学习工作流程总结【掌握】
1获取数据
2数据基本处理
3特征工程
4机器学习(模型训练)
5模型评估
结果达到要求,上线服务没有达到要求,重新上面步骤获取到的数据集介绍【掌握】
数据集中一行数据一般称为一个样本,一列数据一般称为一个特征。数据集的构成:由特征值+目标值(部分数据集没有)构成
为了模型的训练和测试,把数据集分为:训练数据(70%-80%)和测试数据(20%-30%)
特征工程包含内容【了解】
特征提取特征预处理特征降维