Transwarp Distributed File System 星环分布式文件系统
发布时间:2024-08-04 09:52:20 浏览:220
TDFS 是星环科技推出的一个云原生,兼容 Hadoop 及更多生态,支持对象存储、文件系统,致力于打造高性能、强一致的分布式存储系统,充分具备高扩展、高可用、安全可靠等特性。通过 TDFS,用户可以实现多副本分区容错、“无限”扩容、备份数据迁移恢复等重点功能,满足用户海量数据存储需求的同时充分利用资源,发挥资源灵活性,降低分析资源成本。
核心能力
海量存储
TDFS提供无上限文件元数据存储,无单点瓶颈。充分满足客户海量大数据存储与分析的需求的同时可以有效提高资源利用率,确保数据高可用。
安全可靠
基于分布式架构技术,TDFS提供数据多副本冗余存储,确保数据的持久性以及服务的可用性,不受临时故障的影响从而实现异地容灾、资源隔离。
数据管理
TDFS提供文件目录结构,支持数据批量导入和导出的时候以文件形式进行数据交换。
高并发
TDFS有着类似传统文件系统的树形目录结构,支持用户快速的进行创建目录、目录存取,检索、查看目录下的统计信息及进行权限管理等操作。此外,TDFS有着更高的并发度,单个存储对象的操作也更快。
兼容生态
基于分布式存储架构,TDFS 在通信协议上兼容 HDFS 协议,可直接替换 NameNode,融入 Hadoop 社区,0 成本对接Hadoop生态系统及星环自研上游组件。
应用场景
数据湖
统一的存储池,存储任意规模的结构化、半结构化、非结构化数据。
数据仓库
为数仓提供高性能、高可靠、低时延、低成本的海量存储系统。
湖仓一体化
结合分布式文件及对象存储系统两个系统的特性,支持大多数存储场景。
数据迁移
数据快速、平滑、安全地迁移数据及对象存储至TDFS。