3FS (Файловая система Fire-Flyer)
Высокопроизводительная распределенная файловая система, специально разработанная для рабочих нагрузок обучения и вывода ИИ, предлагающая дезагрегированную архитектуру, сильную согласованность и знакомые файловые интерфейсы.
Передовые технологии хранения
Ключевые особенности 3FS
3FS сочетает современные технологии хранения с инновационными принципами проектирования для обеспечения исключительной производительности рабочих нагрузок ИИ.
- Disaggregated Architecture
Combines the throughput of thousands of SSDs with the network bandwidth of hundreds of storage nodes, allowing applications to access storage resources in a location-agnostic manner.
- Strong Consistency
Implements Chain Replication with Apportioned Queries (CRAQ) to provide strong consistency guarantees, making application code simple and easy to reason about.
- Familiar File Interface
Developed a stateless metadata service backed by a transactional key-value store (like FoundationDB), providing a familiar file interface without requiring learning new storage APIs.
- High Performance
Achieves peak throughput of approximately 6.6 TiB/s in read stress tests on a 180-node cluster, with efficient garbage collection operations.
- RDMA Networking
Leverages high-performance RDMA networking for efficient data transfer between storage and compute nodes, minimizing latency and maximizing throughput.
- Efficient KV Cache
Provides a cost-effective alternative to DRAM caching with high throughput and larger capacity, ideal for AI inference workloads.
Системный дизайн
Архитектура 3FS
3FS использует модульный дизайн с отдельными компонентами для хранения, управления метаданными, клиентских интерфейсов и репликации.
Слой хранения
Слой хранения обрабатывает физическое хранение и извлечение блоков данных. Он использует современные SSD и сети RDMA для обеспечения высокой пропускной способности и низкой задержки доступа к данным. Узлы хранения организованы дезагрегированным образом, что позволяет независимо масштабировать ресурсы хранения и вычислений.
Сервис метаданных
Сервис метаданных управляет структурой файловой системы и метаданными. Он реализован как сервис без состояния, поддерживаемый транзакционным хранилищем ключ-значение, таким как FoundationDB. Этот дизайн обеспечивает сильные гарантии согласованности, позволяя сервису метаданных горизонтально масштабироваться для обработки больших файловых систем.
Бенчмарки
Производительность 3FS
3FS обеспечивает исключительную производительность для различных рабочих нагрузок, от высокопроизводительного чтения до сложных задач обработки данных.
Peak Read Throughput
6.6 TiB/s
Achieved in read stress tests on a 180-node cluster
GraySort Benchmark
3.66 TiB/min
Sorted 110.5 TiB of data in 30 minutes 14 seconds
KV Cache Performance
40 GiB/s
Peak read throughput for KV cache operations
Cluster Size
180 nodes
Scale tested with hundreds of storage nodes
Применения
Варианты использования 3FS
3FS оптимизирована для различных этапов рабочих процессов ИИ, от подготовки данных до вывода.
- Data Preparation
Organize outputs from data processing pipelines into hierarchical directory structures, efficiently managing large numbers of intermediate outputs.
- Data Loaders
Eliminate the need for prefetching or shuffling datasets by supporting random access to training samples across compute nodes.
- Checkpoint Saving
Support high-throughput parallel checkpoint saving for large-scale training, ensuring model progress is safely preserved.
- Inference KV Cache
Provide a cost-effective alternative to DRAM caching with high throughput and larger capacity for AI inference workloads.
Часто задаваемые вопросы
Не можете найти ответ, который ищете? Посетите наш репозиторий GitHub или свяжитесь с нашей командой.
- What is 3FS?
- 3FS (Fire-Flyer File System) is a high-performance distributed file system designed specifically for AI training and inference workloads. It offers a disaggregated architecture, strong consistency guarantees, and familiar file interfaces.
- How does 3FS differ from other distributed file systems?
- 3FS is specifically optimized for AI workloads, with a focus on high throughput, strong consistency, and efficient handling of both small and large files. Its disaggregated architecture allows for independent scaling of storage and compute resources, and it leverages modern technologies like RDMA networking and transactional key-value stores for metadata management.
- What programming languages is 3FS implemented in?
- 3FS is primarily implemented in C++ (87.0%), with additional components in Rust (4.3%) and Python (2.1%). This combination provides both high performance and safety for critical system components.
- What kind of performance can I expect from 3FS?
- 3FS has demonstrated peak read throughput of approximately 6.6 TiB/s in stress tests on a 180-node cluster. In the GraySort benchmark, it sorted 110.5 TiB of data in 30 minutes 14 seconds, achieving an average throughput of 3.66 TiB/minute. For KV cache operations, it can reach peak read throughput of 40 GiB/s.
- What are the main components of 3FS?
- 3FS consists of several key components: a storage layer for handling data blocks, a metadata service for managing file system structure, client interfaces (including FUSE), and a replication system implementing the CRAQ protocol for strong consistency.
- Is 3FS open source?
- Yes, 3FS is available as an open-source project on GitHub at https://github.com/deepseek-ai/3FS. It is developed by DeepSeek AI to support high-performance AI infrastructure needs.