# FastDFS系统架构和功能原理 ## 1. 架构详解 ![img_1](https://img.zhaojq.top/20260727091807184.png "img_1") - storage server 存储服务器（又称存储节点或数据服务器），文件和文件属性（metadata）都保存到存储服务器上。Storageserver直接利用OS的文件系统调用管理文件。 Storageserver（后简称storage）以组（卷，group或volume）为单位组织，一个group内包含多台storage机器，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。 以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storageserver数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内的其它机器，使得恢复时间会很长。 group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。 storage接受到写文件请求时，会根据配置好的规则，选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，默认每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。 - group 组，也可称为卷。同组内服务器上的文件是完全相同的，同一组内的storageserver之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行。 - tracker server 跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。因为不记录文件索引信息，所以占用的内存量很少。 Tracker是FastDFS的协调者，负责管理所有的storageserver和group，每个storage在启动后会连接 Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storageserverlist]的映射表。 Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为trackercluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。 - client 客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete 等，以客户端库的方式提供给用户使用。 ## 2. 设计理念 - 轻量级 FastDFS 服务端只有两个角色： Tracker server 和 Storage server > Tracker server 在内存中记录 分组 和 Storage server 的状态等信息，不记录文件索引信息，占用的内存量很少。另外，客户端（应用）和 Storage server 访问 Tracker server 时， Tracker server 扫描内存中的分组和 Storage server 状态信息，然后给出应答。由此可以看出 Tracker server 非常轻量化，不会成为系统瓶颈。 > FastDFS 中的 Storage server 直接利用 OS 的文件系统存储文件。 FastDFS 不会对文件进行分块存储，客户端上传的文件和 Storage server 上的文件一一对应。对于互联网应用，文件分块存储没有多大的必要。它既没有带来多大的好处，又增加了系统的复杂性。 FastDFS 不对文件进行分块存储，与支持文件分块存储的 DFS 相比，更加简洁高效，并且完全能满足绝大多数互联网应用的实际需要。 > 在 FastDFS 中，客户端上传文件时，文件 ID 不是由客户端指定，而是由 Storage server 生成后返回给客户端的。文件 ID 中包含了 组名 、 文件相对路径 和 文件名 ， Storage server 可以根据文件 ID 直接定位到文件。因此 FastDFS 集群中根本不需要存储文件索引信息，这是 FastDFS 比较轻量级的一个例证。而其他文件系统则需要存储文件索引信息，这样的角色通常称作 NameServer 。其中 mogileFS采用 MySQL 数据库来存储文件索引以及系统相关的信息，其局限性显而易见， MySQL 将成为整个系统的瓶颈 FastDFS 轻量级的另外一个体现是代码量较小。最新的 V2.0 包括了 C 客户端 API 、 FastDHT 客户端API 和 PHP extension 等，代码行数不到 5.2 万行。 - 分组存储 Fastdfs采用了分组存储方式。集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，同组内的多台Storageserver之间是对等的互备关系。文件上传、下载、删除等操作可以在组内任意一台Storageserver上进行。类似木桶短板效应，一个组的存储容量为该组内存储服务器容量最小的那个，由此可见组内存储服务器的软硬件配置最好是一致的。用分组存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到的组。一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩充服务能力（纵向扩容）。当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。采用这样的分组存储方式，可以使用FastDFS对文件进行管理，使用主流的Webserver如Apache、nginx等进行文件下载。 - 对等结构 FastDFS 集群中的 Tracker server 也可以有多台， Tracker server 和 Storage server 均不存在单点问题。 Tracker server 之间是对等关系，组内的 Storage server 之间也是对等关系。传统的Master-Slave 结构中的 Master 是单点，写操作仅针对 Master 。如果 Master 失效，需要将 Slave 提升为 Master ，实现逻辑会比较复杂。和 Master-Slave 结构相比，对等结构中所有结点的地位是相同，每个结点都是Master，不存在单点问题。 ## 3. fasdfs功能原理 ### 3.1 文件上传 ![img_2](https://img.zhaojq.top/20260727091807920.png "img_2") **文件上传内部原理** - 选择tracker server 和 group 当集群中不止一个trackerserver时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。当tracker接收到upload_file的请求时，会为该文件分配一个可以存储该文件的group，使用store_lookup选择group的规则： - 0、Roundrobin，所有的group间轮询 - 1、Specifiedgroup，指定某一个确定的group - 2、Loadbalance，剩余存储空间多的group优先 - 选择storage server 当选定group后，tracker会在group内选择一个storageserver给客户端，使用store_server选择storage的规则： - 0、Roundrobin，在group内的所有storage间轮询 - 1、Firstserverorderedbyip，按ip排序 - 2、Firstserverorderedbypriority，按优先级排序（优先级在storage上配置） - 选择storagepath 当分配好storageserver后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录storageserver可以有多个存放文件的存储路径（可以理解为多个磁盘），store_path支持如下规则： - 0、Roundrobin，多个存储目录间轮询 - 2、剩余存储空间最多的优先 - 生成文件名 选定存储目录之后，storage会为文件生一个文件名，由storageserverip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串。选择两级目录当选定存储目录之后，storage会为文件分配一个文件名，每个存储目录下有两级256*256 的子目录，storage会按文件fileid进行两次hash，路由到其中一个子目录，然后将文件以这个文件标示为文件名存储到该子目录下。 - 返回文件id 当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件返回一个文件id，由group、存储目录、两级子目录、内部文件名、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。 ``` 例: group1/M00/00/00/wKjTiF7iGy6AMefcAACGZa9JdFo097.png - 组名：文件上传后所在的存储组名称，在文件上传成功后有存储服务器返回，需要客户端自行保存。 - 虚拟磁盘路径：存储服务器配置的虚拟路径，与磁盘选项store_path*对应。 - 数据两级目录：存储服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。 - 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、 文件创建时间戳、文件大小、随机数和文件拓展名等信息。 ``` ### 3.2 文件下载 客户端带上文件名信息请求Tracker服务获取到存储服务器的ip地址和端口，然后客户端根据返回的IP地址和端口号请求下载文件，存储服务器接收到请求后返回文件给客户端 ![img_3](https://img.zhaojq.top/20260727091808313.png "img_3") 跟upload_file一样，在download_file时客户端可以选择任意trackerserver。客户端发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。 选择哪个storage server作为下载服务器使用download_server规则如下: - 0:轮询方式，可以下载当前文件的任意一个storageserver进行轮询 - 1:哪个为源storageserver就用哪个 由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同步到某些storage server,为了尽量避免访问到这样的storage，会有相应的文件同步规则。 ### 3.3 文件同步 **同步原理**: 写文件时，客户端将文件写至group内一个storageserver即认为写文件成功，storageserver写完文件后，会由后台线程将文件同步至同group内其他的storageserver。 每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步。进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。 storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择storage的时候会以同步进度作为参考。比如一个group内有A、B、C三个storageserver，A向C同步到进度为T1，B向C同步到时间戳为T2（T2>T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳（即所有T1以前写的数据都已经同步到C上了）。同理，根据上述规则，tracker会为A、B生成一个同步时间戳。 **tracker选择group内可用的storage的规则**: - 该文件上传到的源头storage 源头storage只要存活着，肯定包含这个文件，源头的地址被编码在文件名中。 - 文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间（如5分钟) 文件创建后，认为经过最大同步时间后，肯定已经同步到其他storage了 - 文件创建时间戳 < storage被同步到的时间戳 同步时间戳之前的文件确定已经同步了 - (当前时间 - 文件创建时间戳) > 同步延迟阀值 经过同步延迟阈值时间，认为文件肯定已经同步了 ### 3.4 文件删除 删除处理流程与文件下载类似： - Client询问Tracker server可以删除指定文件的Storage server，参数为文件ID（包含组名和文件名）。 - Tracker server返回一台可用的Storage server。 - Client直接和该Storage server建立连接，完成文件删除。文件删除API：delete_fifile ### 3.5 断点续传 提供appender file的支持，通过upload_appender_file接口完成，appender file允许在创建后，对该文件进行append操作。实际上，appender file与普通文件的存储方式是相同的，不同的是，appender file不能被合并存储到trunkfile。续传涉及到的文件大小MD5不会改变。续传流程与文件上传类似，先定位到源storage，完成完整或部分上传，再通过binlog进行同group内server文件同步。断点续传的_ **API:upload_appender_file** ### 3.6 文件http访问支持 FastDFS的tracker和storage都内置了http协议的支持，客户端可以通过http协议来下载文件，tracker 在接收到请求时，通过http的redirect机制将请求重定向至文件所在的storage上。除了内置的http协议外，FastDFS还提供了通过apache或nginx扩展模块下载文件的支持。![img_4](https://img.zhaojq.top/20260727091808541.png "img_4")