协议互通诞生的背景
近年来,随着云计算、大数据、人工智能等技术的飞速发展,同以往单一的结构化存储相比,非结构化文件存储和对象存储能存储丰富多样的数据类型。同时,由于各种非结构化数据利用技术的进步,传统的数据处理过程正在被重构,一次数据处理会涉及到文件、对象、大数据等多种格式的数据。同时,企业存储从数据处理成本和效率上,也希望能借助实现文件格式的数据、大数据格式的数据和对象格式的数据的互通,即文件、大数据、对象协议互通通过数据零拷贝并减少数据冗余,实现真正意义上的降本增效。
协议互通典型场景举例:自动驾驶
协议互通使用场景广泛, 以自动驾驶场景为例,路测返回的原始数据是文件格式,需要先转换为HDFS格式,才能利用大数据集群做预处理。预处理后的数据载转换为文件格式,导入到AI训练集群和验证仿真集群进行训练和验证。再将验证结果数据转换为HDFS格式,导入到大数据集群做结果分析。通过分析结果去对自动驾驶算法并进行部署,过程中涉及到多种数据格式的转换和多集群之间的数据导入导出。
其他泛制造行业数据处理存在类似的数据格式转换和数据导入导出的需求。通过协议互通,可以有效地数据格式转换的工作,并减少导入导出,数据冗余度,实现真正意义上的降本提效。
什么是协议互通
统一资源模型:统一硬件资源池 + 统一命名空间,文件、对象、大数据使用统一的资源模型;统一命名空间:针对同一份数据,可以同时支持应用使用文件、对象、大数据协议访问的能力。
XGFS 协议互通
XGFS(XSKY星辰天合文件存储,简称XGFS) 基于文件语义之上实现 NFS、S3 和 HDFS 等协议,使不同生态的计算应用真正可以运行在一套存储集群之上,并且数据层面可实现 “零拷贝”,并且所有协议都可以同时写同一个目录。
XGFS 协议三通实现原理
分布式全协议存储系统 XGFS,支持单一命名空间百 PB 容量、百亿文件数,同时可以做到多协议互通。XGFS 通过自研分布式网关集群,除了支持 POSIX、SMB/CIFS、FTP 和 NFS 协议以外,还新增了对 S3 协议和原生 HDFS 协议的支持。利用 XGFS 全协议互通能力,可以面向新型互联网业务、大数据业务和 AI 业务等复杂、复合型业务场景,构建“生产和发布基于一个数据集”的全新工作流。
如上图所示,XGFS 对上层将提供统一的元数据管理模块和数据存储池,通过分布式网关集群,统一对上层提供各种协议服务和XGFS的其他特性。在分布式网关集群中,统一语义层将提供统一的用户、权限、命名空间和 XCACHE 读缓存。网关集群将 NFS、HDFS、S3 协议操作经过转换,在统一语义层进行用户认证和鉴权,不同协议共享同一套用户、权限、命名空间和统一的读加速缓存,实现协议互通。
例如,在 XGFS 界面创建一个本地用户后,可以配置开启S3协议访问权限,也可将同一文件目录通过不同的文件协议共享出去供不同的上层应用访问,且每个协议均可访问其他协议上传的文件。例如在 S3Browser 上可以看到桶中由 HDFS、CIFS 或 NFS 协议写入的文件。
XCACHE ——多协议共享读缓存加速
XGFS支持对文件系统中任意目录开启读缓存加速,读缓存将缓存文件的数据和元数据,支持在文件网关或专用客户端上开启读缓存加速。数据读缓存支持多种预读策略自适应:顺序、跨步。数据读缓存支持基于高低水位的回收策略。用户可根据实际需求进行调整,同时支持目录预取策略(全预取、基于filename、mtime)。
如通过在统一语义层增加XCache内存缓存,能够缓存访问过的文件元数据和数据,前端协议下发读操作时如命中缓存可直接返回客户端,无需再访问后端元数据集群和数据集群。支持目录树缓存,针对客户端的路径读取请求,能提前并批量的将文件列表加载到XCache目录树缓存中,加速客户端的目录文件list操作。例如,当 NFS 协议操作访问过某一文件的数据后,该文件的元数据、数据、文件目录将会保存到统一语义层的内存缓存中,后续其他协议类的操作需要读取该文件数据时,可直接命中缓存返回,无需再访问元数据集群和数据集群,减少访问路径,提高数据读取效率,为不同协议的数据读取操作提速。
协议三通带来的客户价值
简化数据管理
XGFS 分布式存储系将提供统一命名空间,支持百 PB 容量,百亿文件数。简化存储的规划、配置、运维,运维管理团队不需要为不同的应用维护各种协议的存储系统,运维工作量。
加速数据流动
针对不同的协议应用,提供统一的数据存储池,多样性数据就地分析,数据零拷贝,数据分析效率将大幅度。
另外,XGFS 在统一语义层实现了XCACHE缓存加速技术,不同协议使用相同的缓存,将有效数据读处理的性能。
节省存储资源
通过共用硬件资源池,存储资源利用率,同时,避免数据拷贝产生的冗余副本,提高磁盘使用率,实现端到端地节省存储资源。
更好的支持信创场景
XGFS 通过全用户态网关架构的实现,可以更好的兼容信创场景。
在计算应用生态越来越多样化的今天,对存储产品的协议互通能力有了越来越高的要求。XGFS 作为一款真正实现多协议互通的存储产品,不同协议之间的语义转换更加完善,而且支持多协议同时写入,应用场景更加广泛。
XGFS不仅可以帮助客户应多复杂多变的业务场景,还能通过数据跨协议 “零拷贝” 实现降本增效的目标,从容应对数据爆炸带来的挑战。
服务服务区域:
西南星辰天合 XSKY 软件定义存储 SDS
四川星辰天合 XSKY 重庆星辰天合 XSKY 贵州星辰天合 XSKY 云南星辰天合 XSKY 西藏自治区星辰天合 XSKY
四川星辰天合 XSKY:德阳星辰天合 XSKY 绵阳星辰天合 XSKY 攀枝花星辰天合 XSKY 西昌星辰天合 XSKY 雅安星辰天合 XSKY 内江星辰天合 XSKY 资阳星辰天合 XSKY 南充星辰天合 XSKY 眉山星辰天合 XSKY 乐山星辰天合 XSKY 自贡星辰天合 XSKY 泸州星辰天合 XSKY 广元星辰天合 XSKY 遂宁星辰天合 XSKY 宜宾星辰天合 XSKY 广安星辰天合 XSKY 达州星辰天合 XSKY 雅安星辰天合 XSKY 巴中星辰天合 XSKY 资阳星辰天合 XSKY 攀枝花星辰天合 XSKY 凉山彝族自治州星辰天合 XSKY 甘孜藏族自治州星辰天合 XSKY 阿坝藏族羌族自治州星辰天合 XSKY
贵州星辰天合 XSKY:贵阳星辰天合 XSKY 六盘水星辰天合 XSKY 遵义星辰天合 XSKY 安顺星辰天合 XSKY 铜仁星辰天合 XSKY 毕节星辰天合 XSKY 黔南星辰天合 XSKY 黔西南星辰天合 XSKY 贵州黔东南星辰天合 XSKY
重庆星辰天合 XSKY 合川星辰天合 XSKY 南川星辰天合 XSKY 潼南星辰天合 XSKY 铜梁星辰天合 XSKY 长寿星辰天合 XSKY 璧山星辰天合 XSKY 荣昌星辰天合 XSKY 綦江星辰天合 XSKY 大足星辰天合 XSKY 武隆星辰天合 XSKY 垫江星辰天合 XSKY 奉节星辰天合 XSKY
昆明星辰天合 XSKY 曲靖星辰天合 XSKY 玉溪星辰天合 XSKY 保山星辰天合 XSKY 昭通星辰天合 XSKY 丽江星辰天合 XSKY 普洱星辰天合 XSKY 临沧星辰天合 XSKY 文山壮族苗族自治州(文山星辰天合 XSKY) 红河哈尼族彝族自治州(红河星辰天合 XSKY) 西双版纳傣族自治州 (西双版纳星辰天合 XSKY) 楚雄彝族自治州(楚雄星辰天合 XSKY) 大理白族自治州(大理星辰天合 XSKY) 德宏傣族景颇族自治州(德宏星辰天合 XSKY) 怒江傈僳族自治州(怒江星辰天合 XSKY) 迪庆藏族自治州(迪庆星辰天合 XSKY)
贵州星辰天合 XSKY 贵阳星辰天合 XSKY 遵义星辰天合 XSKY 安顺星辰天合 XSKY 毕节星辰天合 XSKY 铜仁星辰天合 XSKY 黔东南星辰天合 XSKY 黔西南星辰天合 XSKY 黔南星辰天合 XSKY 六盘水星辰天合 XSKY 贵安星辰天合 XSKY 凯里星辰天合 XSKY 都匀星辰天合 XSKY 兴义星辰天合 XSKY
星辰天合 XSKY 系列产品和型号
SDS软件 XCBS云后端存储 XEBS块存储 XUDS非结构化数据存储 XEOS对象存储 XGFS文件存储XEDP 统数据平台SDS 体化产品XSCALER EXPRESS 2000 XSCALER EXPRESS 2100/3100XP 系列备份体机XH 系列超融合体机 XSCALER 3000XSCALER 5000星飞 XINFINI 全闪系列数据管理软件 X3DS立体数据管理系统 XSKY S3 ConsoleXSKY CloudAI 信创产品天合翔宇 宇系列信创体机。
详细解决方案请咨询:
成都科汇科技有限公司
地址:成都市人民南路四段1号时代数码大厦
电话:400-028-1235
手机:180 8195 0517(微信同号)