TFS(Taobao File System)
TFS是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化了文件的访问流程,一定程度上为TFS提供了良好的读写性能。
分布式文件系统:通过计算机网络与节点相连,基于客户机/服务器模式。
非结构化数据:不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片等等。
小文件:通常文件大小不超过1M。
扁平化的数据组织结构:较少层次结构。
NameServer主要功能是: 管理维护Block和!DataServer相关信息。
DataServer主要功能是: 负责实际数据的存储和读写。
TFS使用
Nginx-tfs nginx-tfs 是 Nginx 的扩展模块用于访问淘宝的 TFS 文件系统。这个模块实现了TFS的客户端,为TFS提供了RESTful API。
JAVA/C++ TFS客户端配置编程语言使用的API,通过使用代码操作tfs。tfs不支持文件系统绑定到服务器中。
原文:http://pencild.blog.51cto.com/3947107/1441051