数据时代来临 人工智能如何驱动存储发展
近年来，数字化转型成为企业业务升级必备手段，其实，“数字化转型”概念提出的十年之期，随着5G、大数据、云计算、人工智能、物联网等核心技术已在各行各业开花结果，边缘计算、机器学习、数字孪生等更新的技术层出不穷，重塑商业模式，颠覆生活体验，加速万物智能。追本溯源，一切变革源于数据亦由数据推动。日前，IDC的一项报告显示：2021年全球大数据市场的IT总投资规模为2176.1亿美元，到2026年，这项数据将增至4491.1亿美元，五年预测期内(2021-2026)实现约15.6%的复合增长率。大数据市场的高速成长，客观地反映出企业用户对于数据关注点的进步：他们正在从以往的数据收集、存储与管理，转向对于数据的分析和价值的发掘，从而实现让数据真正发挥价值，用虚拟的数字来优化真实现实的目的，最终完成其“数字”应用的完整流程。万物智能时代新趋势数字化转型进入2.0时代，企业投入不断增加，期待单点技术聚合成体系并发挥集成效应，进一步增加利润、激发创新、提高员工生产力，提高运营效率并改善客户体验。尽管AI时刻在推动存储发展，但是想要进一步激活存储潜力，仍需要解决AI场景下，存储容易面临的挑战：海量小文件，由于训练任务需要的文件数量都在几亿到十几亿的量级，所以存储需要能承载几十亿甚至上百亿的文件数量。同时，由于很多训练模型都是依赖于图片、音频片段、视频片段文件，而这些文件基本上都是在几KB到几MB之间。读多写少，在大部分场景中，训练任务只读取文件，中间很少产生中间数据，即使产生了少量的中间数据，也是会选择写在本地，很少选择写回存储集群。目录热点，由于训练时，业务部门的数据组织方式不可控，很有可能用户会将大量文件存放在同一个目录，容易导致多个计算节点在训练过程中，会同时读取这一批数据，这个目录所在的元数据节点就会成为热点。“工欲善其事，必先利其器”，要想发挥出 AI 人工智能技术的最大威力，解决存储挑战就成为企业构建强有力的 IT 基础设施的重要一环。如果没有高性能的存储，就会导致整个系统性能出现延迟的情况。因此 AI 对存储性能的要求是很苛刻的，企业希望存储系统能满足高吞吐量和低延时的需求，让更多的数据能更及时地传输和执行，那么对于这个愿望应该如何实现呢？AI驱动存储发展众所周知，大数据、AI、ML等概念都不是最近出现的，只是当时在数字时代，算力的局限不仅限制了数据的产生，也限制了AI和ML真正价值的发挥。直到云计算让算力不再具有任何上限，用户对于数据的获取也开始变得更加广泛，AI和ML才真正成为了最有效的数据分析工具。在企业为AI平台选择存储设备之前，必须首先考虑以下几点：1.成本AI数据存储设备的价格对企业来说是一个关键因素。显然，高管层和那些参与采购决策的人会希望存储尽可能具有成本效益，在许多情况下，这将影响组织的产品选择和策略。2.可伸缩性如上文所说，在创建机器学习或AI模型的过程中，收集、存储和处理大量数据是非常必要的。机器学习算法要求源数据呈指数增长，才能实现精度的线性提高。创建可靠而准确的机器学习模型可能需要数百TB甚至PB的数据，而且这只会随着时间的推移而增加。存储成本的变化引入了分层存储或使用多种类型的存储来存储数据的概念。例如，对象存储是存储大量不活跃的AI数据的良好目标。当需要处理数据时，可以将数据移动到对象存储中的高性能文件存储集群或节点上，一旦处理完成，就可以将数据移动回来。3.性能AI数据的存储性能有三个方面。首先，可能也是最重要的是延迟，也就是软件处理每个I/O请求的速度。低延迟很重要，因为改善延迟对创建机器学习或AI模型所需的时间有直接影响。复杂的模型开发可能需要数周或数月的时间。通过缩短这个开发周期，组织可以更快地创建和细化模型。在检查延迟能力时，由于对象访问的流特性，对象将引用时间存储为第一个字节，而不是单个I/O请求的延迟。机器学习数据可以由大量的小文件组成。在这个领域，文件服务器可以提供比对象存储更好的性能。这里需要问AI存储方案供应商的一个关键问题是，在大文件类型和小文件类型上，他们的产品的性能特征会如何变化。4.可用性和耐久性机器学习和AI模型可以长时间连续运行。通过训练开发算法可能需要几天或几周的时间。在此期间，存储系统必须保持启动并持续可用。这意味着任何升级、技术替换或系统扩展都需要在不停机的情况下进行。在大型系统中，组件故障是常见的。这意味着任何用于AI工作的平台都应该能够从设备(如硬盘或SSD)和节点或服务器故障中恢复。对象存储使用擦除编码在许多节点上广泛分布数据，并最小化组件故障的影响。有一些擦除编码技术可以用在横向扩展文件系统，以提供同等水平的弹性。擦除编码方案的效率非常重要，因为它直接关系到读写I/O的性能，特别是对于小文件而言。由于多数大规模对象存储都太大，无法定期备份，因此可靠地擦除编码成为AI存储平台的一个基本特性。5.公有云开发机器学习和AI算法需要高性能存储和高性能计算。许多AI系统都是基于GPU的，比如Nvidia DGX，它可以用于开发精确算法所涉及的许多复杂数学计算。公有云服务提供商已经开始提供GPU加速的虚拟实例，可用于机器学习。在公有云中运行机器学习工具降低了构建机器学习开发基础设施的资本成本，同时提供了扩展开发机器学习模型所需的基础设施的能力。6.集成在本文中，我们将机器学习和AI的数据存储与计算分开来看。构建AI数据存储可能很困难，因为必须考虑存储网络和调优存储以及与机器学习应用程序协同工作的其他因素。产品的预打包使供应商能够在将产品交付给客户之前测试和优化其产品。如今，有一些存储产品结合了流行的AI软件、计算(如通用CPU和GPU)、网络和存储，以交付一个AI就绪的平台，许多详细的调优工作是在部署这些系统之前完成的。尽管成本可能是个问题，但对许多客户来说，预先打包的系统可以降低采用AI存储的障碍。写在最后当前，AI的发展正在加速推动技术设施的进步，数据类型和数据存储需求也在产生变化，或许很难预测未来的存储技术究竟是怎么样的，但是我们可以肯定的是，未来AI将持续驱动存储发展。随着科技的进步，AI作为新一轮产业变革的核心驱动力，将催生新技术、新产品、新产业、新业态、新模式，实现社会生产力的整体提升。人工智能如何提升大数据存储与管理效率
随着大数据的大量来源以及企业可用数据量的增加，存储容量规划已成为存储管理员的问题。据估计，每天产生2.5万亿字节的数据。现在，如果以神经元计算的话，那就是相当于2.5亿个人类大脑的海量数据。而且，相同的估计表明，全球总数据的90％是从2016年到2018年生成的。
[[356380]]
可以简单地说，每天生成越来越多的数据，这正增加了存储工作负载的规模和复杂性。但是，人工智能可以拯救存储管理员，帮助他们高效地存储和管理数据。通过使用AI数据存储，供应商和企业可以将存储管理提升到一个新的水平。而且，存储管理员可以找到他们目前正在努力管理的指标的解决方案。
存储管理员需要努力的主要指标
存储管理员在管理存储问题时面临一些挑战。而且，如果他们克服了这些挑战，将帮助他们在数据存储的各个方面之间找到适当的平衡，例如在哪里分配工作负载，如何分配工作负载以及如何优化堆栈等等。
一般而言，吞吐量是指处理某事物的速率。在网络级别，吞吐量的度量单位是Mbps（兆位/秒），而在存储级别，吞吐量的度量单位是MB/秒（兆字节/秒）。由于一个字节等于八兆位，因此生产率在存储级别上提高了。并且，变得难以管理提高的生产率。
延时
延迟是服务器完成请求所花费的时间。关于存储，这是指满足单个存储块的请求所花费的时间。存储块或块存储是将数据存储在卷中的块。纯延迟不受吞吐量影响，但是如果单个块请求很大，则应用延迟可能会随着吞吐量的增加而偏离。
IOPS（每秒输入/输出操作）
IOPS是指存储堆栈每秒可以处理的离散读写任务的数量。存储堆栈是一种允许过程调用的数据结构。这意味着将多个过程彼此存储在堆栈中，然后在调用和返回的基础上一个接一个地执行所有过程。例如，如果一个过程被调用，它将被执行，然后返回，以便在堆栈中调用下一个过程。而且，在谈论IOPS时，基础输入/输出任务可以达到存储系统的堆栈限制。例如，读取一个大文件和多个小文件可能会对IOPS产生影响。由于读取单个大文件仅需要执行一个读取任务，因此可以以较高的速度执行它，而另一方面，读取多个文件的速度非常慢，因为需要执行许多读取任务。
AI数据存储如何解决存储问题
企业管理员和存储供应商处理各种各样的存储类型。而且，它们还满足不同输入/输出服务的指标。大型文件共享应用可能需要适当的吞吐量，但也必须允许延迟损失，因为大型而复杂的应用可能会对延迟产生不利影响。另一方面，电子邮件服务器可能需要大量存储，低延迟和良好的吞吐量，但它可能不需要非常苛刻的IOPS配置文件。并且，存储管理员应该决定应该为哪些存储分配什么资源。因此，在组织中运行着成千上万的服务时，对基础存储的管理超过了人们进行明智更改的能力。而且，这就是AI算法派上用场的地方。
人工智能支持的存储管理和计划
AI可以监控存储以检测多种工作负载的模式和性能。这里的工作负载是由各种输入/输出特征或应用任务生成的数据流。通过检测这些工作负载模式，AI可以帮助存储管理员洞悉哪些工作负载可能使他们面临最大化存储阵列的风险。此外，存储监视还可以帮助了解是否有任何额外的工作负载可以放入阵列中。而且，如果添加到阵列中，那么工作负载将造成多少中断。
例如，假设一家企业正在向流程中添加电子邮件服务器。在这种情况下，人工智能系统可以帮助预测存储阵列将能够满足该服务器的存储需求还是将其最大化。借助此类技术，存储管理员可以主动获取有关如何将不同的工作负载分配给不同的存储堆栈并最大程度地减少延迟的信息。因此，将AI集成到存储阵列，存储供应商和组织中可以优化存储堆栈。
除了监视存储活动外，存储管理员还需要检查和分析存储系统要使用的应用的编码和错误。这有助于他们更好地了解如何围绕应用的需求设计存储体系结构。他们通过了解应用的输入/输出模式来做到这一点。用于执行此操作的最常见技术是捕获应用的跟踪。
Strace是Linux的用户空间实用程序，可用于诊断、调试和获取有关输入和输出功能的指令。但是，由于复杂的应用可以具有多个输入/输出功能，因此这对人类来说可能是一个挑战。另一方面，ML算法可以轻松地提取和分析大量数据，并解决许多存储问题，最好是通过查看存储系统本身来解决。此外，通过使用大量数据训练算法，以了解特定堆栈或整个应用如何收集和存储数据，它们可以帮助实现对该特定应用存储活动的实时观察，以防止堆栈最大化并改善存储容量。
AI数据存储可满足客户需求
遥测数据是自动记录和无线传输来自远程或不可访问来源的数据。遥测以下列方式起作用：传感器在源处测量数据，它们将其转换为电压，然后将其与定时数据合并为单个数据流，该数据流将传输到远程接收器。接收后，可以根据用户要求对数据进行处理。
AI的计算机视觉技术可以扫描遥测数据，以保护存储阵列免受漏洞侵害。当使用有关漏洞的历史数据进行训练时，机器学习算法可以将来自各种应用程序的传入数据与历史数据进行匹配，以发现漏洞的可能性。因此，借助AI的预测分析，存储供应商可以着眼于在遇到客户之前防止存储问题。
AI数据存储仍处于起步阶段，但已经显示出了惊人的结果。而且，因此云供应商和其他存储管理员正在对AI进行越来越多的投资，以使用超融合存储系统进行存储维护。采用主流AI数据存储肯定会帮助企业控制上述所有指标，并为其客户提供更好的服务。