大数据行业调研报告（最新版）
大数据行业调研报告一、行业概述二、大数据的认识 2.1大数据含义 2.2大数据特点三、大数据发展历程四、就业分析 4.1就业前景 4.2就业职位五、大数据威胁分析六、未来发展趋势七、总结一、行业概述 随着物联网、云计算等技术不断融入我们的生活，数据容量不断扩张，互联网作为信息传播和再生的平台，“信息泛滥”、“数据爆炸”等现象不绝于耳；信息冗余、信息真假、信息安全、信息处理及信息统一等问题随着大数据给人们带来价值的同时也造成了一系列问题。 人们需要有效地解决海量数据的利用问题，从中提取有价值的信息，也认识到海量数据具有研究价值和经济利益；根据海量的数据规模实时分析并迅速反馈结果，从结果中精准提取出隐含在其中有价值的信息，再将挖掘所得到的信息转化成有组织的知识以模型等方式表示出来，从而将分析模型应用到现实生活中，提高生产效率、优化营销方案等。二、大数据的认识2.1大数据含义 大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2.2大数据特点（1）Volume（巨大的海量数据）：数据量大，包括采集、存储和计算的量都特别大，起始计量单位至少是P（1000T）。（2）Variety（非结构化数据多样性）：种类和来源多样化，包括结构化、半结构化和非结构化数据，如网络日志、音频、视频及地理位置信息等，多类型的数据对数据的处理功能提出了更高的要求。（3）Value（数据的价值性）：数据价值密度相对较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是首要解决的问题。（4）Velocity（数据增长速度快）：数据增长速度快，处理速度也快，时效性要求高。（5）Vercity（数据的真实性）：数据的准确性和可依赖度，即数据的质量。三、大数据发展历程（1）萌芽阶段：20世纪90年代到21世纪，随着数据挖掘理论和数据库技术的成熟，一些商业智能工具和知识管理技术开始被应用。（2）突破阶段：2003年-2006年，社交网络的流行导致大量非结构化数据涌现，传统处理方式难以应对，数据处理系统、数据库架构重新构建。（3）成熟阶段：2006年-2009年，大数据形成并行计算、分布式系统及开源分布式架构，这期间大数据的焦点是性能。（4）应用阶段：2009年至今，大数据基础技术成熟之后，学术界及企业级纷纷转向应用研究，2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会各个领域渗透；大数据技术彻底被社会各领域大规模应用。 大数据产业进入高质量发展阶段，2018年，政府及各个行业非结构化数据呈爆发式增长，对数据资产运营与管理的复杂度要求更高；社会经济各领域对大数据服务的需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，多个大数据产业集群将崛起，大数据产业将进入高质量发展的新阶段。四、就业分析4.1就业前景 现代时代是大数据时代，也是人才稀缺的时代。由于中国人才缺口较大，大数据迅速成为行业和市场的热点，更多的企业无论是对人才的招聘还是在培训都成了刚需，这促使大数据人才的薪资在同岗位中是最高的；大数据的就业领域很宽广，不管是科技领域，还是食品产业，零售业等，都需要大数据人才进行大数据的处理，以提供更好的用户体验，以及优化库存，降低成本，预测需求。4.2就业职位（1）Hadoop开发工程师 负责大数据平台需求分析，设计及代码编写，软件架构看护；负责大数据Hadoop平台长期技术演进分析及落地，提升解决方案竞争力；负责在网大数据管理平台的维护；负责Hadoop内核问题分析，定位，修改及开源社区的动态跟踪。（2）数据分析师 数据分析师是数据师的一种，指的是不同行业中，专门从事行业数据搜索、整理、分析，并依据数据做出行业研究、评估和预测的专业人员；深入了解业务和项目，构建业务分析维度和逻辑；根据业务的需要，进行数据报表开发，提供业务的数据报表；整理项目中所需的项目文档，结合业务需求及时更新、完善数据，优化已有报表，提升数据质量。（3）数据挖掘工程师 做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等；具有丰富的数据加工处理经验，对数据处理、数据清洗、数据建模、数据分析等有深刻认识和实战经验。（4）大数据可视化工程师 Web数据可视化技术的研究与开发，数据相关性分析与根因分析，大数据PaaS平台的开发、部署、运维和实施，支持客户需求分析和数据分析。从百度迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是必不可缺少的。五、大数据威胁分析 首先，网络基础设施及基础软硬件系统受制于人。大数据平台依托于互联网面向政府、企业及广大公众提供服务，但我国互联网从基础设施层面即已存在不可控因素。另外，我国对大数据平台的基础软硬件系统也未完全实现自主控制。在能源、金融、电信等重要信息系统的核心软硬件实施上，服务器、数据库等相关产品皆由国外企业占据市场垄断地位。 其次，网站及应用漏洞、后门层出不穷。据我国安全企业网站安全检测服务统计，我国高达60%的网站存在安全漏洞和后门。可以说，网站及应用系统的漏洞是大数据平台面临的最大威胁之一。而我国的各类大数据行业应用，广泛采用了各种第三方数据库、中间件，但此类系统的安全状况不容乐观，广泛存在漏洞。更为堪忧的是，各类网站漏洞修复的情沉难以令人满意。 第三，系统问题之外，网络攻击手段更加丰富。其中，终端恶意软件、恶意代码是黑客或敌对势力攻击大数据平台、窃取数据的主要手段之一。目前网络攻击越来越多地是从终端发起的，终端渗透攻击也已成为国家间网络战的主要方式。另外，针对大数据平台的高级持续性威胁(简称APT)攻击非常常见。APT攻击非常具有破坏性，是未来网络战的主要手段，也是对我国网络空间安全危害最大的一种攻击方式。近年来，具备国家和组织背景的APT攻击日益增多，毫无疑问，大数据平台也将成为APT攻击的主要目标。六、未来发展趋势 大数据技术目前正处在落地应用的初期，从大数据自身发展和行业发展的趋势来看，大数据未来的前景非常好，具体原因有以下几点： 第一：大数据自身能够创造出更多的价值。大数据相关技术紧紧围绕数据价值化展开，数据价值化将开辟出广大的市场空间，重点在于数据本身将为整个信息化社会赋能。随着大数据的落地应用，大数据的价值将逐渐得到体现。目前在互联网领域，大数据技术已经得到了较为广泛的应用。 第二：大数据推动科技领域的发展。大数据的发展正在推动科技领域的发展进程，大数据的影响不仅仅体现在互联网领域，也体现在金融、教育、医疗等诸多领域。在人工智能研发领域，大数据也起到了重要的作用，尤其在机器学习、计算机视觉和自然语言处理等方面，大数据正在成为智能化社会的基础。 第三：大数据产业链逐渐形成。经过近些年的发展，大数据已经初步形成了一个较为完整的产业链，包括数据采集、整理、传输、存储、分析、呈现和应用，众多企业开始参与到大数据产业链中，并形成了一定的产业规模，相信随着大数据的不断发展，相关产业规模会进一步扩大。 第四：产业互联网将推动大数据落地。当前互联网正在经历从消费互联网向产业互联网过渡，产业互联网将利用大数据、物联网、人工智能等技术来赋能广大的传统产业，可以说产业互联网的发展空间非常大，而大数据则是产业互联网发展的一个重点，大数据能否落地到传统行业，关乎产业互联网的发展进程，所以在产业互联网阶段，大数据逐渐落地。七、总结 现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据设计领域广泛，在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。社会经济各领域对大数据服务的需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，多个大数据产业集群将崛起，大数据产业将进入高质量发展的新阶段。但在高科技领域，人才稀少，高薪资，吸引许多其他行业骨干人才；由于大数据涉及各个领域，需招收大量工作人员，这也给应届毕业生提供了就职的岗位。
人工智能
博主github：https://github.com/MichaelBeechan博主CSDN：https://blog.csdn.net/u011344545
============================================概念篇：https://blog.csdn.net/u011344545/article/details/89525801技术篇：https://blog.csdn.net/u011344545/article/details/89526149人才篇：https://blog.csdn.net/u011344545/article/details/89556941应用篇：https://blog.csdn.net/u011344545/article/details/89574915下载链接：https://download.csdn.net/download/u011344545/11147085
============================================清华AMiner团队AMiner.org
从知识产业角度来看，自然语言处理软件占有重要的地位，专家系统、数据库、知识库，计算机辅助设计系统（CAD）、计算机辅助教学系统（Cal）、计算机辅助决策系统、办公室自动化管理系统、智能机器人等，全都需要自然语言做人机界面。长远看来，具有篇章理解能力的自然语言理解系统可用于机器自动翻译、情报检索、自动标引及自动文摘等领域，有着广阔的应用前景。随着自然语言处理研究的不断深入和发展，应用领域越来越广。文本方面的应用主要有：基于自然语言理解的智能搜索引擎和智能检索、智能机器翻译、自动摘要与文本综合、文本分类与文件整理、智能自动作文系统、自动判卷系统、信息过滤与垃圾邮件处理、文学研究与古文研究、语法校对、文本数据挖掘与智能决策以及基于自然语言的计算机程序设计等。语音方面的应用主要有：机器同声传译、智能远程教学与答疑、语音控制、智能客户服务、机器聊天与智能参谋、智能交通信息服务（ATIS）、智能解说与体育新闻实时解说、语音挖掘与多媒体挖掘、多媒体信息提取与文本转化以及对残疾人智能帮助系统等。此外,建立在自然语言处理技术基础之上的心理学、认知学、哲学、混沌学说的共同发展，将使人们对智能的起源问题有新的认识。如果把计算机网络和未来的网格看作是由机器组成的机器社会，那么一种属于机器的智能可能会因为人类的参与以及机器社会中各元素的相互作用而自然诞生。这样，机器必将能够通过“图灵测试”，达到“会思考”的层次。而有关智能机器的研究也会诞生一系列新的领域，比如，机器心理学和机器认知学等。其中，机器心理学主要研究机器的心理反应和意图。美国圣迭戈神经科学研究所研制的机器人DarwinVII，能够根据其感知对外部事物进行分类，并根据经验和知识采取相应的对策。然而，机器心理学的研究不能局限于此，人们还需要对机器的意识、知觉、思想、情感、情绪、创造力、机器社会、机器交流等方面进行研究，而这一切还需要计算机科学、心理学、神经科学的同步发展。我们选取一些自然语言处理应用较为频繁的场景进行介绍。
1、知识图谱知识图谱能够描述复杂的关联关系，它的应用极为广泛，最为人所知的就是被用在搜索引擎中丰富搜索结果，并为搜索结果提供结构化结果体现关联，这也是google提出知识图谱的初衷。同时微软小冰、苹果siri等聊天机器人中也加入了知识图谱的应用，IBMWatson是问答系统中应用知识图谱较为典型的例子。按照应用方式，可以将知识图谱的应用分为语义搜索、知识问答、以及基于知识的大数据分析和决策等。语义搜索利用建立大队莫知识库对搜索关键词和文档内容进行语义标注，改善搜索结果，如谷歌、百度等在搜索结果中嵌入知识图谱。知识问答是基于知识库的问答，通过对提问句子的语义分析，再将其解析为结构化的询问，在已有的知识库中获取答案。在大数据的分析和决策方面，知识图谱起到了辅助作用，典型应用是美国Netflix公司利用其订阅用户的注册信息以及观看行为构建的知识图谱反映出英剧版《纸牌屋》很受欢迎，于是拍摄了美剧《纸牌屋》，大受追捧。
2、机器翻译机器翻译是自然语言处理最为人知的应用场景，一般是将机器翻译作为某个应用的组成部分，例如跨语言的搜索引流等。目前以IBM、谷歌、微软为代表的国外科研机构和企业均相继成立机器翻译团队，专门从事智能翻译研究。如IBM于2009年9月推出ViaVoiceTranslator机器翻译软件，为自动化翻译奠定了基础；2011年开始，伴随着语音识别、机器翻译技术、DNN（深度神经网络）技术的快速发展和经济全球化的需求，口语自动翻译研究成为当今信息处理领域新的研究热点；Google于2011年1月正式在其Android系统上推出了升级版的机器翻译服务；微软的Skype于2014年12月宣布推出实时机器翻译的预览版、支持英语和西班牙语的实时翻译，并宣布支持40多种语言的文本实时翻译功能。尤其值得之注意的是，在“一带一路”这一发展背景下，合作沟通会涉及60多个国家、53种语言，此时机器翻译的技术应用显得尤为重要，语言的畅通是“一带一路”战略得以实施的重要基础。而机器翻译涉及到语义分析、上下文环境等诸多挑战，其发展道路还有很长一段路要走。
3、聊天机器人聊天机器人是指能通过聊天app、聊天窗口或语音唤醒app进行交流的计算机程序，是被用来解决客户问题的智能数字化助手，其特点是成本低、高效且持续工作。例如siri，小娜等对话机器人是一个应用场景。除此之外，聊天机器人在一些电商网站有着很实用的价值，可以充当客服角色，例如京东客服jimi，有很多基本的问题，其实并不需要真的联系人工客服来解决。通过应用智能问答系统，可以排除掉大量的用户问题，比如商品的质量投诉、商品的基本信息查询等程式化问题，在这些特定的场景中，特别是会被问到高度可预测的问题中，利用聊天机器人可以节省大量的人工成本。
4、文本分类文本分类是指根据文档的内容或者属性，将大量的文档归到一个或多个类别的过程。这一技术的关键问题是如何构建一个分类函数或分类模型，并利用这一分类模型将未知文档映射到给定的类别空间。按照其领域分类不同的期刊、新闻报道，甚至多文档分类也是可能的。文本分类的一个重要应用之处是垃圾电子邮件检测，除此之外，腾讯、新浪、搜狐之类的门户网站每天产生的信息分繁杂多，依靠人工整理分类是一项耗时巨大的工作且很不现实，此时文本分类技术的应用就显得极为重要。
5、搜索引擎自然语言处理技术例如词义消歧、句法分析、指代消解等技术在搜索引擎中常常被使用。搜索引擎的职责不单单是帮助用户找到答案，还能帮助用户找到所求，连接人与实体世界的服务。搜索引擎最基本的模式是自动化地聚合足够多的内容，对之进行解析、处理和组织，响应用户的搜索请求找到对应结果返回。每一个环节，都需要用到自然语言处理。用百度举例，比如用户可以搜“天气”、“日历”、“机票”及“汇率”这样的模糊需求，会直接在搜索结果呈现结果。用户还可以搜索“范冰冰演过的电视剧”这样的复杂问题，百度都可以准确地回答。一方面，有了自然语言处理技术才使得搜索引擎能够快速精准的返回用户的搜索结果，几乎所有的自然语言处理技术都在搜索引擎中有应用的影子；另一方面，搜索引擎（例如谷歌商业帝国和百度巨头）在商业上的成功，也促进了自然语言处理技术的进步。
6、推荐系统第一个推荐系统是1992年Goldberg提出的Tapestry，这是一个个性化邮件推荐系统，第一次提出了协同过滤的思想，利用用户的标注和行为信息对邮件进行重排序。推荐系统依赖数据、算法、人机交互等环节的相互配合，应用了数据挖掘技术、信息检索技术以及计算统计学等技术使用推荐系统的目的是联系用户和信息，帮助用户发现对自己有价值的信息，同时让信息能够展示在对它感兴趣的用户面前，精准推荐，用来解决信息过载和用户无明确需求的问题。推荐系统在音乐电影的推荐、电子商务产品推荐、个性化阅读、社交网络好友推荐等场景发挥着重要的作用，美国Netflix2/3的电影是因为被推荐而观看，Googlenews利用推荐系统提升了38%的点击率，Amazon的销售中推荐占比高达35%。
7、发展趋势随着深度学习时代的来临，神经网络成为一种强大的机器学习工具，自然语言处理取得了许多突破性发展，情绪分析、自动问答、机器翻译等领域都飞速发展。下图分别是AMiner计算出的自然语言处理近期热点和全球热点。通过对1994-2017年间自然语言处理领域有关论文的挖掘，总结出二十多年来，自然语言处理的领域关键词主要集中在计算机语言、神经网络、情感分析、机器翻译、词义消歧、信息提取、知识库和文本分析等领域。旨在基于历史的科研成果数据的基础上，对自然语言处理热度甚至发展趋势进行研究。图中，每个彩色分支表示一个关键词领域，其宽度表示该关键词的研究热度，各关键词在每一年份（纵轴）的位置是按照这一时间点上所有关键词的热度高低进行排序。图14显示，情绪分析、词义消歧、知识库和计算机语言学将是最近的热点发展趋势。图15显示词义消歧、词义理解、计算机语言学、信息检索和信息提取将是自然语言处理全球热点。
参考文献［1］中文信息处理发展报告2016［2］李涓子，侯磊知识图谱研究综述.[J]山西大学学报2017［3］冯志伟.机器翻译研究.[M].北京：中国对外翻译出版社.2004［4］冯志伟.自然语言处理的形式模型[M].北京：中国科学技术大学出版社2010［5］吴军，数学之美[M].北京：人民邮电出版社2012［6］2006-2020年国家信息化发展战略[Z]中共中央办公厅、国务院办公厅2006［7］刘奕群，马少平，洪涛等搜索引擎技术基础[M]北京：清华大学出版社2010［8］韩家炜等，数据挖掘：概念与技术[M]北京：机械工业出版社2012