AI与大数据的关系
最近在忙着专业分流的事情，自己纠结的专业主要就是人工智能和大数据，找了很多资料，终于整理出二者的关系。
原文地址：https://www.sohu.com/a/224177824_764294
更专业一些的分析可以看这篇文章：https://blog.csdn.net/zl1zl2zl3/article/details/79811905
近几年随着AlphaGO的骄人战绩，人工智能和大数据备受追捧，热度空前。而在实际接触中，大家对人工智能和大数据的认知普遍是“只知其名不知其意”，因此对企业而言，猎头的推荐也往往与岗位匹配度不高。那么被人们认为高深莫测的AI和大数据的关系究竟是怎样的? 下图清晰表达了其逻辑及关联性。
上图中主要是三大块内容，分别是大数据，AI技术和解决问题，他们的关系如下：
-大数据层-
主要分为数据采集、数据存储及数据访问三个步骤。
•数据采集
主要通过智能手环、智能手表、智能手机等各类智能硬件，重力传感器、温度传感器、湿度传感器等各类传感器以及摄像头、话筒等多种手段来采集各种所需数据。
•数据存储
主要是将采集数据存储到数据库中。大数据的存储方式与传统的数据存储有很大不同。主要体现在存储格式、存储结构、以及分布式存储等方面。而分布式存储、共享存储则是数据存储中重要的核心技术。
•数据访问
主要解决如何让AI技术层能够快速的获取所需数据。该层是大数据技术与AI技术的重要承接层，其最核心的技术为负载均衡。该技术解决了数据访问中的大数据并发、网络负荷过重等问题。
-AI技术层-
分为基础算法、AI算法、AI框架和AI技术四个步骤，目的是获取数据之后，利用人工智能的算法和技术对数据进行分析。
•基础算法层
基础算法层主要包含高等数学、矩阵分析、数值分析、概率统计分析等，是AI算法的奠基层。而AI算法来自于基础算法的支撑。我们对基础算法理解越深刻，对AI算法理解的也会更透彻。好像盖大楼的地基，地基打的越深，大楼才能盖的越高。
•AI算法层
AI算法层是在基础算法层之上构建的解决人类问题的人工智能算法层。
人类遇到的问题通常是由单一问题合并组成的复杂问题，解决问题的路径为将复杂问题拆解成多个单一问题后逐一进行解决。AI算法层即解决单一问题的通用方法层。比如拍照计算食物热量实际上包含食物识别、体积计算、质量计算、热量计算等四个子问题，而四个子问题则由各自组成的通用方法来解决。经过长达半个多世纪的发展，AI算法层已经研究出了一些通用方法即算法，包含分类算法、聚类算法、回归算法、优化算法、降维算法、深度学习算法等等。
•AI框架层
AI框架主要是对AI算法层的单个算法进行重新封装，它定义了很多类、方法、接口，使用者只需要调整相关参数即可实现算法，而不需要将算法完全实现出来，这样节省了大量的时间，使得应用算法来解决问题的AI研发人员更加专注于解决问题本身。目前常见的分类、聚类等传统的人工智能算法框架有SkLearn、Pandas等等，深度学习框架有Tensorflow、Caffe、Torch、PaddlePaddle。
•AI技术层
AI技术层主要是针对利用AI算法解决专业领域问题而提出的专用方法和算法。这种算法不具有通用性，是为解决某个领域的问题而定制研发的方法。目前AI技术主要包含自然语言处理(NLP)、机器视觉、语音识别、知识图谱、数据挖掘、分析决策。大家耳熟能详的技术都出自该层，也是AI技术层的最顶层。
•自然语言处理(NLP)
自然语言处理领域主要是语义识别，开放域对话聊天，基于任务的对话，自动翻译(例如中翻英，英翻中)等。
•机器视觉
机器视觉主要分为图像识别(识别图像或视频中的物体是什么)，图像跟踪(视频中跟踪某个物体)，三维重建(通过2D图片进行3D物体的构建)。
•语音识别
该技术通俗的讲就是对人说的话转化成文字。
•知识图谱
该技术是用来构建知识的网状结构，将一个个看似没有关系的知识点，通过该技术建立他们之间的关联关系，比如包含关系、并列关系、最终构建各个领域的知识网。然后再根据这个知识网解决用户的问答、推荐、预测、推理等问题。
•数据挖掘
数据挖掘主要是对数据进行分类、聚类、预测等处理。
•分析决策
主要是做策略制定，通过多维度收集的数据进行某个领域的决策并给出答案。
-解决问题-
基于大数据与AI技术的结合，能够真正实现为人类解决各种各样的问题。将这些问题进行归类汇总成几大类问题，常见的有聚类、分类、预测、推荐等问题。
•分类问题
分类问题主要是判别某个物体属于哪个类别，比如橘子属于水果类、白菜属于蔬菜类。分类又分为二分类、多分类问题;二分类即是与不是的问题，比如这个物体不是香蕉，这个物体是香蕉;多分类问题，比如多种食物，一种食物是蔬菜，一种食物是水果，一种食物是肉。
•聚类问题
聚类问题主要是将一批数据自动分成几类，比如说网站的用户群，自动分为活跃用户群、忠诚用户群、沉默用户群，这种用户群的确定是通过人工智能算法算的，而不是通过人工筛选的。
•预测问题
预测问题主要是对某个趋势进行预测，比如房价趋势预测、网站的流量预测等等。
•推荐问题
推荐问题主要是推荐同类偏好。比如A用户喜欢旅游，且是户外爱好者，而户外爱好者除了喜欢旅游，还喜欢户外装备，那就可以向A用户推荐户外装备，这就是典型的网站推荐逻辑。
云计算、大数据和人工智能的关系
1、云计算是通过互联网提供全球用户计算力、存储服务，为互联网信息处理提供硬件基础。
2、大数据运用日趋成熟的云计算技术从浩瀚的互联网信息海洋中获得有价值的信息进行信息归纳、检索、整合，为互联网信息处理提供软件基础。
3、他们的关系：
云计算是基础，没有云计算，无法实现大数据存储与计算
大数据是应用，没有大数据，云计算就缺少了目标与价值
4、两者都需要人工智能的参与，人工智能是互联网信息系统有序化后的一种商业应用。这才是：云计算与大数据真正的出口！
5、而商业智能中的智能从何而来？方法之一就是通过大数据这个工具来对大量数据进行处理，从而得出一些关联性的结论，从这些关联性中来获得答案，因此，大数据是商业智能的一种工具。而大数据要分析大量的数据，这对于系统的计算能力和处理能力要求是非常高的，传统的方式是需要一个超级计算机来进行处理，但这样就导致了计算能力空的时候闲着、忙的时候又不够的问题，而云计算的弹性扩展和水平扩展的模式很适合计算能力按需调用，因此，云计算为大数据提供了计算能力和资源等物质基础。
6、演进路径：云计算---》大数据---》人工智能
如果有人只谈人工智能，而不谈云计算与大数据，要不是技术骗子、要不是不懂装懂的傻子
不知道这三者的关系是否谈明白了。
简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化后在进行分配使用。
可以说，大数据相当于海量数据的“数据库”，通观大数据领域的发展我们也可以看出，当前的大数据发展一直在向着近似于传统数据库体验的方向发展，一句话就是，传统数据库给大数据的发展提供了足够大的空间。
大数据的总体架构包括三层：数据存储，数据处理和数据分析。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。
而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合，这让大数据产生最终价值。
不看现在云计算发展情况，未来的趋势是：云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话：“动一下鼠标就可以在妙极操作PB级别的数据”，确实让人兴奋不能止。
1，大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
2，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。
扩展资料：大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。
云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。
大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。
大数据的趋势：
趋势一：数据的资源化
何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。
趋势二：与云计算的深度结合
大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。
趋势三：科学理论的突破
随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。