大数据与人工智能密不可分 大数据的发展离不开人工智能的助力 人工智能是离不开大数据

大数据与人工智能密不可分 大数据的发展离不开人工智能的助力

关于数据

这些年人类生产的数据呈爆发式增长，从十几年前移动智能设备的兴起，到如今人们身上穿戴的各种传感器设备，都在24小时不断产生大量数据。这些数据包括文本、语音、图像、视频等等。

大数据

大数据这个词最早出现在20世纪90年代，当时只是用来描述数据量很大，但并没有给出明确的定义和概念意思。出现后没有受到多少人的关注，直到2012年后大数据得到了各行各业的关注重视，很多学科和行业都会涉及大数据，大数据一时风光无两。

在技术方面，大数据包含的数据量一般都超出了单台计算机的内存容量，甚至大成百上千倍，所以在技术上就必须要有专门处理海量数据的工具。谷歌提出的MapReduc可以说是这方面的开山之作，以至于后来有了开源的Hadoop，属于经典的大数据处理工具。

大数据最早在大型互联网和电商领域公司发展起来，2008年左右，这些公司收集到的数据大到传统技术手段已经无法处理，很难满足业务的发展，于是大数据相关的理念和技术被相继提出来。2010年随着Web2.0的到来以及智能终端的普及，产生的数据量更进一步猛增，此时大数据已经融入人类社会生活。2012年大数据成为全球最热门领域之一，国内外很多公司都提出大数据相关战略。2015年大数据正式进入国家发展战略，此后一直发展快速。

大数据

大数据的核心工作就是预测，通过数学模型算法与海量数据从而达到预测事务发生的可能性。

大数据特征

大容量，数据量超级大。

多种类，数据类型包括结构化数据、半结构化数据和非结构化数据。

真实性，大数据应具有真实性，否则没有价值。

时效性，大数据一般具有时效性。

数据工程

当我们收集到数据后为了能产生业务收益，我们会以工程化角度进行数据处理、分析得到有价值的信息，这个过程就是数据工程。数据工程一般流程为：

数据获取，从不同数据源收集数据获取数据到统一装置中。

数据存储，借助存储介质将收集到的数据持久化保存，比如硬盘。

数据清洗，将不符合规范的数据进行特定处理，使得数据达到准确完整一致等要求。

数据建模，定义满足业务所需要的数据要求的过程，一般需要业务建模师参与。

数据处理，对数据的采集、存储、检索、加工、变换、传输等操作，从海量数据中抽取提取有价值的数据。

数据分析，使用数据挖掘技术从海量数据中获取有价值的信息。

数据可视化，将数据以直观的可视化方式展示给用户。

人工智能

1956年人工智能在达特茅斯正式被提出，它研究的事如何制造智能机器或模拟人类智能行为。人工智能学科介绍和发展可以参考前面的《一文了解人工智能——学科介绍、发展史、三大学派》文章。

AI主要领域

模式识别，通过计算机对数据样本进行特征提取从而学习到模型，然后根据模型进行判别。

机器学习，让机器具有学习的能力，使机器具有智能，涉及认知科学、神经心理学、逻辑学等。

机器翻译，通过计算机将某种自然语言转换成另一种自然语言，它是计算语言学的一个分支，涉及到语言学、计算机、认知科学、信息论等学科。

自然语言处理，让机器能理解自然语言，能够像人类一样生成和理解自然语言。

计算机视觉，使计算机能通过图像来认知环境信息的能力，比如识别环境找那个物体的形状、位置、姿势、运动等，进一步还需要对其进行理解。

专家系统，一种具有名特定领域大量知识和经验的系统，就像人类某方面的专家具有丰富的专业知识和经验，能够快速解决相应领域的问题。

大数据与AI

大数据与人工智能是密不可分的，大数据的发展离不开人工智能，没有人工智能的加持大数据就无法拥有智能。而人工智能的发展又离不开数据的支持，它需要海量数据作为思考决策的基矗一般认为人工智能三大基础是数据、算法和算力，算力则是另外一个维度的基础了，如果没有硬件的迅猛发展以及并行运算等就不会有这一轮的人工智能浪潮。因为算法就算再好，如果没有算力加持，它也是没有实际应用价值的算法。

机器学习vs人工智能

总体上来说，机器学习属于人工智能的子集，是实现人工智能的一种方式。而谈到机器学习就必会牵涉到近些年大火的深度学习，深度学习又是机器学习的子集。所以它们的关系就像是俄罗斯套娃，一层套一层。

机器学习

机器学习的起点是研究如何不使用明确的指令编码完成某任务，而是让机器从数据中学习从而获得相应能力。机器学习从已知的数据特征出发，利用概率统计等数学方法来得到某种规律，然后利用该规律完成某个预测任务。如果用一句话来简单描述就是：使用某个数据特征的数学表达式来表征某个事物。

机器学习的正式定义为：“对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序从经验E中学习。”。

机器学习

机器学习关注的是如何通过编程让机器自己从以往的数据样本里面学习某些规律，从而能够对未来进行预测或决策，即实现一个可以根据经验（数据）并以某种规范为指导来进行自我优化的任务执行程序。比如我们收集很多猫和狗的不同照片，机器根据这些照片自己学习到规律，从而实现了猫和狗的识别能力。

脑科学助力人工智能，离不开大数据

2019独角兽企业重金招聘Python工程师标准>>>

小白鼠在听音乐时，大脑活动是什么样的？在17日举办的以“大数据应用与创新”为主题的中国科技传播论坛上，音乐响起，大屏幕中清醒小白鼠在听音乐时的全脑神经网络活动清晰展现：闪烁的钙成像信号不仅呈现了单神经元活动，也蕴含了跨脑区的信息传递、变换信息。

   清华大学自动化系教授、中国工程院院士戴琼海介绍，随着卷积神经网络和深度学习的快速发展，人工智能的发展态势已经超越了预期，但人工智能距离人的智能尚有难以逾越的差距，只有通过建立脑科学与人工智能的桥梁，才能产生质的飞跃。

   “我们现在还不知道上百亿的神经元如何进行有效的信息处理。”戴琼海说，人工智能和脑科学的发展至今无法关联。通过研制介观尺度观测技术和仪器，探索大脑神经元结构与功能统一的感知与计算机制，建立大脑的动态连接图，把神经科学实验与理论、模型、统计学等进行有效整合，是科学家们亟待研究的重要课题。

   戴琼海说，脑科学要作用于人工智能，首先要进行脑成像研究，建立起大脑神经元的动态连接图。通过计算成像获取海量神经元的结构和动态功能整合数据，将神经科学和数据科学相结合，揭示大脑的认知模型，从而推动人工智能的跨越式发展。

   “大脑皮层有上百亿个神经元，每个神经元又包含千余个信息收发分支，迫切需要宽视场高分辨率的动态观测技术和仪器，而高分辨率和宽视场之间存在着固有矛盾。”戴琼海指出了当前显微成像的核心难题。

   “看得大了，就看不清十微米尺度的神经元；看得细了，就看不全厘米尺度的小鼠全脑；看得慢了，就无法捕获神经元间的动态信息收发过程。”戴琼海介绍，此外，目前国际上已报道的神经成像技术均具有较低的数据通量，无法进行介观尺度下高分辨率信息的高速获取。换言之，即使看得大了、细了，还需要把海量信息采集、记录下来。

   戴琼海介绍，目前我国的“多维多尺度高分辨率计算摄像仪器”研制已取得了阶段性成果。自主研发的宽视场高分辨计算摄像仪器从理论创新、技术突破、工程实践三个层面率先突破了传统显微成像中大视场与高分辨率之间的固有矛盾和低数据通量的瓶颈制约难题，实现了兼顾“全局形态”和“细节特征”的多尺度观测。

   目前，该仪器已成功应用于脑科学及肿瘤学等生物医学研究，在国际上首次进行了清醒动物中全脑神经网络的单细胞分辨率功能成像、神经—血管耦合机制下结构信息与功能信息的统一观测、脑组织的免疫保护机理研究与心血管药物的在体筛选等多项突破性实验

（更多点击：自主创新）（链接：http://www.chuangxin360.com）

人工智能的发展离不开大数据

在过去15年中，科技飞速发展所带来的改变已经渗透到我们每个人的生活中。随着全球互联网的开放以及经济的发展，高科技产品应用变得尤为广泛，甚至我们的爷爷奶奶和孩子们每天使用的都是智能产品。

在我们现在的日常生活中，原先只在科幻电影里出现过的东西，如今正逐渐走入现实。机器通过深度学习，软件和程序能变得更聪明;硬件和机械通过相互交流，可以实现自我改进。30多年前，人工智能（ArtificialIntelligence，AI）还是我在大学实验室鼓捣的学术课题;而如今，在不知不觉中人工智能已经融入现实世界，潜移默化地改变着我们商业模式和日常生活。

人工智能到底如何在影响我们的生活？试着回忆一下你上一次在电商网站上，是否经推荐点击了酷炫新产品？上一次在出入境时，是否经人脸识别摄像头辨认你的身份？在客户投诉中心发表你的抱怨之后立刻收到企业的客服聊天或邮件，实际上是客服机器人在和你对话。在上述这些熟悉的场景中，人工智能已经开始在我们日常生活中、无声无息的取代了一些你甚至还没察觉到的角色。

说起国内的人工智能公司，关注人脸识别这个领域的人首先想到的应该都是商汤科技。在去年7月份的时候，商汤科技宣布B轮融资4.1亿美元，估值超过15亿美元，这是截至目前为止全球人工智能市场单轮最高融资，这家创业公司在两年内跻身独角兽阵营。据商汤科技联合创始人、副总裁徐冰在光大控股举办的“投资年会2017”上透露，目前已启动C轮融资，新一轮融资计划将于今年12月完成。

商汤科技，作为国内人工智能领域的巨头公司，其开拓的AI技术领域都主要集中在智慧金融、安防、手机智能等领域；而在视频电商领域国内另一家人工智能公司Video++则将AI技术应用到了视频领域，通过为流量平台提供视频AI、视频电商、视频互娱广告等系统应用。

“人工智能既要技术也离不开大数据，做一个比喻，人工智能技术是一把刀，数据就是磨刀石。对于初创企业来说，他们缺乏大量且及时更新的数据，能否获得成功，主要就是看谁的磨刀石更好。”而Video++就是以视觉识别和大数据为基础，来实现广告自动投放和电商自动投放，打破传统视频商业模式。

“互联网视频”在未来的三年将进化为“视频互联网”：在视频中将形成一个互联网服务入口。视频已成为流量入口，观众在感兴趣时，可以主动地在视频中进行互动娱乐、购买商品、视频游戏、搜索精准画面。根据eMarketer公开资料显示，截至2020年，互联网上平均92%的流量都将来自于视频，当视频拥有这么大流量的时候，视频互联网内部的生态操作系统便显得非常重要，Video++现在在做的事情就是解决这一痛点。

业内人士认为，新型智能的原生互动视频广告将逐渐替代贴片广告的市场，压缩广告时长，增加广告效率，成为视频营销新挑战。视频人工智能技术将运用视觉识别把视频内容碎片化、片段化，挖掘出来的场景不仅可以投放广告，还可以与电商、游戏进行链接。

当您观看《爸爸去哪儿5》的时候，你会发现每当出现萌娃洗手的画面，就会出现舒肤佳的互动广告，点开之后就会看到相关的促销信息。还有在《明星大侦探》及悬疑类剧集中，每当情节陷入胶着、迷雾重重，画面上就会出现某品牌请你猜猜谁是凶手的互动投票，猜中的人会得到小礼物或者解锁隐藏剧情。这些都是Video++在视频里做的互动娱乐，Video++通过视频AI技术把品牌广告与内容的结合更紧密。

所以，未来的视频用户不仅会在观看视频的过程中看到精准的满足自己需求的广告推送，还可以直接在视频内完成购买，可见AI技术的应用领域将更加贴近生活。