QingStor用自己的方式定义下一代文件存储

作者:李丽  来源:计世网

在继对象存储、NeonSAN之后，青云旗下软件定义存储产品品牌QingStor今天又推出了可供用户按需使用、弹性扩容、智能管理的分布式文件存储。这种弹性使用的文件存储，以网络挂载的方式让传统应用突破单机的容量限制和性能限制。

在Gartner的市场分析报告中我们也看到文件存储在当前市场需求中占据主流，媒体领域、高性能计算领域，都非常需要文件存储，文件存储市场应用场景非常广泛。

回顾文件存储的发展趋势，你会发现，十几年前，市场上主要的文件存储类型多是使用硬件方案，而硬件方案的缺点在于控制器决定了系统的性能上限和容量上限，其资源难以被多系统共享，扩展性差、成本高。之后便出现了分布式文件系统。

青云QingCloud存储高级技术专家宁安分析说，这个时期的分布式文件系统又分为两种架构：一种是以Hadoop HDFS和LusterFS为代表的集中式索引架构，这种架构的缺点在于文件数量会受到单节点和索引节点容量限制；二是全对等Hash架构，完全抛弃单独的索引节点，其代表是GLuster和Ceph，这种架构的问题在于扩展扩容不方便，一致性较差。

如何做到架构创新

还是一贯的特立独行，还是一样的自主创新路线。QingStor又一次以自己的方式定义了下一代分布式文件存储。

在青云看来，下一代文件存储应该具备的特质包括：首先，全面支持云应用，无缝兼容传统应用；第二，按需使用，弹性扩容；第三，智能管理与运维，避免人工运维带来的很多成本问题；第四，高可用，72小时可用。

那么QingStor文件存储如何做到架构创新，从而避免以前的那些问题呢？

首先，基于分布式块存储NeonSAN。这是一个具有高性能、强一致的块存储，没有本地文件系统，有分布式网关和NeonSAN两个节点。

第二，无限水平扩展。通过目录和文件分离存储的架构，元数据层存储所有索引目录，可以定位文件具体位置；另一个组件是控制层，负责下层块设备的空间分配和事务管理。

第三，并行处理架构。所有的网关节点和NeonSAN节点是全互联的关系，每个节点之间都可以相互访问，且是通过最短路径。集群内数据复制与业务访问分离，分别通过不同的网络，因此在数据迁移和扩容时，不会对业务有任何影响。

青云的创新点在于QingStor文件存储底层基于分布式块存储。目前市场上还没有一家企业采用这种方案。青云可以做到让企业在访问块存储时没有本地文件系统存在，这是青云完全自研的分布式文件存储格式。QingStor采用了分布式网关创新架构，其意义就在于，维护了一致目录文件定位的索引。其三副本机制，每个节点是强一致的，其意义在于用户可以对分布式网关做无限扩容，比如一分二，二分三。

QingStor分布式文件存储的企业级特性

我们知道，迁移数据会带来成本高、不稳定性等等问题，所以QingStor软件定义存储产品线的核心设计理念就是在扩容时尽量不让用户迁移数据。QingStor产品家族的存储产品都有独立的索引设计，并不是通过Hash算法算出具体位置，所以节点变化不会直接影响已有数据的存储位置。企业完全可以做到不想数据迁移就不迁移，而新扩容节点时，新数据会进去，原有数据还在原来位置。

如果企业觉得老存储设备的数据太冷，想提高老设备的利用率，则可以把冷数据迁到新地方，老设备可以继续读写，这也是QingStor文件存的灵活性体现。在现有云平台上，新数据可以通过分配策略尽量分配到新集群，通过比较长的时间调整，达到均衡状态。

综合来看， QingStor文件存储能做到安全可靠、强一致、高可用，并且具有超高性能、弹性可调，并且对成本做出了优化。

安全可靠是对企业来看至关重要，因此在掉电安全方面，青云采用了非覆盖写入的机制，也就是说每修改一个数据块都会新分配一个空间，写入后再释放原有的空间，从而达到数据在任何时候（如宕机等异常情况），都可以访问原有数据，对数据做回滚；而在数据加密方面，则可以做到在块设备层面支持数据加密；在隔离性方面，配合云平台SDN网络提供多租户隔离。如此以来，既便是客户在不同的VPC网络里，有很多VM（虚拟主机）或容器，QingStor分布式文件存储可以通过不同的VPC通道访问其所拥有的虚拟存储空间。

典型应用场景

之前青云发布NeonSAN时就谈到NeonSAN可以给超融合带来全新的分布式块存储底层，如果从这个角度来看，文件存储基于NeonSAN来做，实际上是帮助NeonSAN扩大应用场景，也扩大了超融合的使用场景。为云而生的文件存储，实际上是云应用与文件存储对接，更好地兼容云应用。

虽然支撑青云超融合系统的是NeonSAN，但是块存储的优势可以直接体现在超融合的能力上。今天青云在NeonSAN上叠加文件存储，则扩展了更多应用场景和使用场景。在NeonSAN体系里除了传统应用对接的场景，还可以适用于高存储计算、图像处理、卫星图片等场景。同样，在数据处理方面，如果没有文件存储，企业依然需要部署HDFS在超融合的虚机上，性能表现上就会差很多，大数据分析效率也没有文件存储高。

QingStor文件存储支持三种访问方式：一是传统NFS协议；二是Windows平台上很流行的Samba协议；三是通过FUSE模块直接进行加载的方式。

为适应场景的多种性，并让企业传统业务不需要通过任何修改就能使用文件存储，所以QingStor文件存储原生支持Hadoop、Spark等流行的大数据分析应用；在制造领域，用户可以利用QingStor文件存储做计算机辅助工业设计；对于广电行业，可以利用QingStor文件存储做非线性编辑；在3D渲染领域，如电影制作、特效制作。

QingStor文件存储可以与青云云业务无缝整合，作为Anybox企业云盘后端，能够被IaaS平台上的虚机和容器用做共享存储，并且支持QingCloud AppCenter应用。