熟悉大数据存储基础（实验报告）
【实验与思考】实验目的（1）熟悉大数据存储基础（2）熟悉大数据技术的基本概念（3）熟悉开源技术及其商业支援熟悉分布式系统，了解hadoop分布式处理技术（4）熟悉大数据的数据处理基础知识，了解大数据存储的技术路线2.工具/准备工作开始本实验之前，请认真阅读课程的相关内容。准备一台带有浏览器，能够访问因特网的计算机。3.实验内容与步骤请查阅相关文献资料，为“大数据”给出一个权威性的定义。答："大数据"是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产这个定义来源于：GartnerGroup第一家信息技术研究和分析的公司4.请具体描述大数据的3V答：①Volume（数量）：是大数据的首要特征，数据体量巨大。当今世界需要进行及时处理以提取有用信息的数据数量级已经从TB级别，跃升到PB甚至EB级别②Variety（种类）：数据类型繁多。大数据的挑战不仅是数据量的大，也体现在数据类型的多样化。除了前文提到的网络日志、地理位置信息等具有固定结构的数据之外，还有视频、图片等非结构化数据③Velocity（速度）：处理速度快。信息的价值在于及时，超过特定时限的信息就失去了使用的价值。请查阅相关文献资料，简述“促进大数据发展”的主要因素答：：数据可视化使数据解读到了一种更加通俗易懂的阶段，使数据的接收和理解变得更加快速和简单：数据集成治理后使得原来零散无用的数据变得有价值，利用互联网络技术还能进行实时统计分析：人工智能算法可以对数据进行深度挖掘和分析，可以产生更优的解决方案和让原来无解的问题得到解决（4）请仔细阅读本章课文，熟悉大数据的基本概念，了解分布式系统，熟悉大数据的数据处理基础，在此基础上，撰写一篇500字的小论文，讨论Hadoop对于分布式数据处理的意义。通过添加简单的服务器实现可扩展性，如果分布式处理的HDFS容量或资源用完，可以通过添加更多服务器来提高容量和处理性能。添加服务器不需要停止Hadoop集群。可以在服务继续的情况下进行操作。此外，可以在不影响应用程序或基础架构设计的情况下获得新的可扩展性。与传统RDBMS和DWH的根本区别在于，在HDFS中存储数据时不需要模式定义。因此，可以减少预先设计的麻烦。在Hadoop中，存储在HDFS中的数据在每次处理时都被赋予了意义，因此可以暂时存储它，并在确定处理策略时定义如何处理数据。通过添加简单的服务器实现可扩展性如果分布式处理的HDFS容量或资源用完，可以通过添加更多服务器来提高容量和处理性能。添加服务器不需要停止Hadoop集群。可以在服务继续的情况下进行操作。此外，可以在不影响应用程序或基础架构设计的情况下获得新的可扩展性。实验总结这个实验让我更加了解了大数据所给我们生活各个方面的重要意义，让我们的计算机处理数据更加便捷快速。了解了hadoop开源式的一种对大规模数据进行分布式处理的技术试验评价（教师）
大数据技术专业实习实训总结
#自我介绍我是一名大一学生，专业是:数据科学与大数据技术。目前学过的知识点有:C++,python,HDFS,MapReduce,Hadoop，Java等。虽然学过的知识点很多，但是没有对他有更深的了解认识，应用也不是很熟练。但是来日方长，要想成为一名合格的程序员，未来继续努力!!!#对大数据的简单认识在我接触这门课程之前，我以为它是一门以理论为基础的学科，只有主干课程，但当我真正入门之后，我才发现原来它是一门有多分支学科的专业，它涉及宽广，对我们的生活有很大的影响。它的的本质不是传统的数据统计带来的简单的因果关系，而是数据的相关关系。在大数据时代，所有的生意都是数据生意。他在金融，教育，政府公共安全，交通规划，清洁能源等多领域有充分的应用。#有关大数据创意的举例假如我们打算驾驶汽车去工作，我们需要一条最近的路程，那么它就会为我们筛选出一条最优路径，大大节约我们的时间。它也会为我们播报当天的天气情况，提醒我们是否适合外出，减少事故的发生。当我们行驶在路上时，它也会为我们实时播放当前的路况，比如前方是否有堵塞，人流是否聚集，道路是否平坦等等。有时路上会有限速的情况，我们也能准确的不超速。然后我们就能安全到达地方了。在这个例子中，大数据能通过GPS精准定位和以往数据的分析，提前预测用户出行热门路线，动态调节供需平衡，实现车辆合理投放和智能调度。通过实时监控运行数据，大数据能改善用户使用行为，实现整车和动力电池的智能健康管理。#本次大数据认知实习的收获与感想在这次实习认知中，通过老师的讲解，让我对大数据这门课程有了更深的了解，也学会了Java,Hadoop,HDFS,Spark等工具的使用，让我对大数据有了不同的认识。我的感想是:我们已进入了一个大数据时代，大数据广泛应用我们的日常生活中，学好这门课程，我相信对我们有很大的作用。当然，在这次实训中，我也知道了要学好大数据，不仅仅要学会老师讲的内容，还要有自主学习的精神，要靠自己去学习有关他的课本之外的知识。