SECTIONS
EDITIONS
NETWORK
AIXX Pedia A enciclopédia do universo da computação

AIXX Pedia › Verbete de infraestrutura › Storage NVMe all-flash

Imagem oficial de data center da NVIDIA (imagem do fabricante)
Cenário de data center de IA · AIXX Pedia (site oficial da NVIDIA)

Storage NVMe all-flash

Camada de armazenamento de clusters de IA · NVMe-oF · GPUDirect Storage · Verbete de infraestrutura

Visão geral OVERVIEW

Storage NVMe all-flash É a "terceira perna" dos clusters de IA: além da computação (GPUs) e da rede (NVLink/fabric), todo o pipeline de dados de treinamento e inferência — escrita e leitura de checkpoints, throughput de datasets de treinamento, hierarquização do KV cache — repousa sobre a camada de armazenamento. O protocolo NVMe (SSDs ligados diretamente ao PCIe, contornando os controladores tradicionais SAS/SATA) + arrays all-flash + rede NVMe-oF + GPUDirect Storage (Os dados vão do armazenamento direto à memória da GPU, contornando a cópia pela CPU, segundo a documentação oficial da NVIDIA[3]) — peça fundamental da stack moderna de armazenamento para IA.

Por que se tornou indispensável nos clusters de IA: checkpoints de clusters com milhares de GPUs chegam facilmente a dezenas de TB, e os datasets de treinamento contam-se em centenas de TB — a vazão de discos mecânicos ou arrays híbridos não alimenta as GPUs, e cada segundo em que a GPU espera por dados é dinheiro de placa queimado. NVMe-oF estende o desempenho all-flash à rede (acesso direto via RDMA[1]), e o GPUDirect Storage remove a CPU do caminho dos dados — essas duas coisas determinam se a camada de armazenamento é aceleradora ou gargalo.

Este verbete é um verbete de seleção de categoria : aborda a arquitetura de armazenamento sob a ótica de clusters de IA, parâmetros de seleção e aceitação de compra; não trata de um produto específico. Armazenamento não tem preço de mercado unificado; o preço real está sujeito à cotação do vendedor.

Cenários de uso FIT

AIXX Index (0–100): estimativa ponderada pela adequação ao cenário. 90+ nível flagship · 75+ Excelente · 60+ utilizável · abaixo de 60, não recomendado.

Pipeline de dados de treinamento de grandes modelos 93AIXX Index
Throughput de datasets + escrita e leitura rápida de checkpoints — com GPUDirect Storage direto, a GPU não fica parada esperando dados; NVMe all-flash é a única categoria que acompanha o ritmo.
Camada de dados quentes para inferência 88AIXX Index
Carregamento de pesos do modelo (parte da latência do primeiro token) + hierarquização do KV cache — usar a camada NVMe como transbordo da memória da GPU é a arquitetura predominante.
Camada frontal do data lake 78AIXX Index
Camada de cache all-flash entre o armazenamento de objetos (dados frios) e o cluster de GPUs — "lago de objetos + cache all-flash" é a jogada padrão da arquitetura em dois estágios.
Compartilhamento de arquivos comum 40AIXX Index
Compartilhamento de arquivos comum que não alimenta GPUs não precisa de arquitetura nível NVMe-oF — um NAS convencional é mais econômico; não pague por desempenho que não usará.

Histórico HISTORY

2011 , lançamento da especificação NVMe 1.0: o protocolo feito para SSDs ligados diretamente ao PCIe e nativo de flash substitui o caminho SAS/SATA — a base de protocolo dos arrays all-flash (fonte pública do setor).

2016-2020 , mainstreamização dos arrays all-flash: a especificação NVMe-oF estende o NVMe à rede (acesso direto via RDMA), e arrays all-flash de Dell/NetApp/Pure tornaram-se o novo padrão de armazenamento corporativo; clusters de GPU passaram a adotar all-flash como base de armazenamento (segundo o setor[1]).

2020 , a NVIDIA lança o GPUDirect Storage : os dados de armazenamento chegam via RDMA direto à memória da GPU, contornando a CPU (segundo o blog de desenvolvedores e a documentação oficial da NVIDIA[2][3]) — o último quilômetro do armazenamento para IA está aberto, e o ecossistema CUDA avança mais um passo.

2023-2026 , padronização nos clusters de IA: as demandas de checkpoint e vazão de dados do treinamento de grandes modelos empurraram o armazenamento para o centro da infraestrutura — a arquitetura em três camadas «object lake (frio) + cache all-flash (quente) + passagem direta GPUDirect» tornou-se a arquitetura de referência para armazenamento de IA (segundo arquiteturas de referência do setor[4]).

Parâmetros de seleção SELECTION GUIDE

ParâmetroO que observarNotas de escopo
Throughput (GB/s)Correspondência entre a largura de banda agregada de leitura/escrita e a velocidade de consumo das GPUsDeduzir o throughput a partir do "volume de dados consumido pelo cluster por hora", com 30% de folga (estimativa)
IOPS e latênciaCenários de IO pequeno (metadados de checkpoints, hierarquização do KV cache) olham IOPS e latência P99Alto throughput ≠ baixa latência; avalie as duas classes de carga separadamente
Suporte a NVMe-oFExtensão via rede com transporte RDMA (RoCE/IB)Alinhe com a rota do fabric do cluster: rede IB com IB-RDMA, Ethernet com RoCE
GPUDirect StorageArray/sistema de arquivos presente na lista de compatibilidade do GDS da NVIDIAconforme a lista oficial de compatibilidade (segundo a documentação da NVIDIA[3]) — soluções fora da lista exigem desenvolvimento adicional para a passagem direta
Sistema de arquivos paraleloLustre/família GPFS/FS paralelos proprietáriosMúltiplos nós de GPU lendo o mesmo dataset concorrentemente: o throughput paralelo é decisivo
Hierarquização de capacidadeTrês camadas: quente (NVMe) / morna (híbrido) / fria (objeto/fita)All-flash só para dados quentes — o custo de capacidade é contido pela hierarquização
Proteção de dadosErasure coding/replicação, snapshots, recuperação de desastre remotaO seguro dos datasets de treinamento e checkpoints; dimensione conforme o valor dos dados

Os critérios de seleção são uma compilação desta biblioteca com base em documentos públicos de arquitetura (dados de out/2026)[1][3][4]; para detalhes, prevalecem a documentação do fabricante e testes de estresse reais.

Array all-flashPool de SSDs NVMe Rede NVMe-oFRDMA direto Memória de GPUGPUDirect contorna a CPU Caminho de dados do armazenamento de IA · NVMe-oF + GPUDirect Storage (ilustrativo)

Arquitetura de armazenamento de IA em três camadas TIERING

CamadaMídia/formaO que abrigaMétricas-chave
Camada quenteArray all-flash NVMe / NVMe distribuídoDataset de treinamento ativo, checkpoints, hierarquização do KV cacheThroughput + passagem direta GPUDirect
Camada mornaHíbrido / NVMe de alta capacidadeVersões recentes de datasets, produtos intermediários de pré-processamentoCusto-benefício de capacidade
Camada friaArmazenamento de objetos / fitaLago de dados bruto, arquivamento históricoCusto por unidade de capacidade

A arquitetura de três camadas é uma compilação desta biblioteca com base em arquiteturas de referência públicas[4]; a estratégia de camadas deve ser personalizada conforme o ciclo de vida dos dados de cada negócio.

Ecossistema e panorama de fornecedores VENDORS

Os três tipos de player do armazenamento de IA (compilação desta biblioteca; não constitui recomendação de compra):

CampoRepresentantesPosicionamento e características
Arrays all-flash corporativosDell PowerStore/PowerScale, NetApp AFF, Pure FlashArray//FlashBlade, Huawei OceanStor, série AS da InspurProteção de dados corporativa e stack operacional completos; a adequação à IA depende da compatibilidade com GPUDirect e do throughput paralelo (fonte pública de linhas de produto)
Armazenamento nativo de IAVAST Data, WEKA, VDURA e outros fabricantes de nova geração de FS paralelosFeito para clusters de GPU: FS paralelo + camadas NVMe + adaptação profunda ao GDS (segundo arquitetura de referência[4])
Autogerenciado/código abertoLustre, Ceph, JuiceFS e outras soluções própriasPara clusters muito grandes, o autogerenciado dá mais controle; o custo é a equipe de operações (fonte pública do ecossistema)

As informações de fornecedores são uma compilação de linhas de produto públicas; o definitivo são os materiais oficiais de cada fabricante; o lado dos SSDs (unidades NVMe corporativas de Samsung/Solidigm/Western Digital) é outra camada da cadeia de suprimentos, já incluída na compra do array.

Imagem oficial de data center da NVIDIA
Cenário de infraestrutura de data center de IA (imagem oficial · site da NVIDIA)

Fotos reais dos equipamentos serão publicadas conforme os lotes de inspeção; imagens geradas por IA não são apresentadas como fotos reais.

Implantação e integração DEPLOYMENT

Os três passos para colocar o armazenamento em produção: Alinhar o fabric (rede de armazenamento na mesma rota do fabric de computação: cluster IB com rede de armazenamento IB-RDMA, Ethernet com RoCE — rotas mistas exigem gateway, e latência e throughput degradam); Habilitar o GDS (com componentes implantados conforme a documentação oficial do GDS da NVIDIA[3], presumindo que o array esteja na lista de compatibilidade); Testar e classificar (teste de estresse de throughput de dados com tarefas reais de treinamento — specs de papel não valem; só o teste revela se a GPU espera ou não).

Dica de operação: monitore as métricas da camada de armazenamento (throughput/IOPS/latência P99/nível de capacidade) na mesma tela do monitoramento do cluster de GPUs — "utilização da GPU anormalmente baixa" tem como primeiro ponto de investigação a velocidade de alimentação do armazenamento (experiência operacional desta biblioteca).

Aquisição e aceitação PROCUREMENT

Pontos de aceitação na compra de armazenamento de IA (três itens):

1
Teste de estresse com tarefa real primeiro
Teste throughput e latência com os datasets reais da tarefa alvo de treinamento/inferência — os dados de demo do fabricante ≠ a forma dos seus dados; solução reprovada no teste não entra no contrato.
2
Compatibilidade e passagem direta GDS comprovadas
Array na lista de compatibilidade do NVIDIA GDS (segundo a documentação oficial[3]) + vazão de passagem direta medida em testes — «suportar NVMe-oF» não significa «suportar GPUDirect»; são coisas distintas e devem ser validadas separadamente.
3
Exercícios de falha
Três exercícios: reconstrução por falha de disco, troca de controlador, reconexão após queda de rede — o custo de uma oscilação do armazenamento no meio do treinamento é recomeçar tudo; só entre em produção após aprovação nos exercícios.

Os seis critérios completos de aceitação estão neste verbete. «Como aceitar» desta ficha.

Como fazer a aceitação ACCEPTANCE TEST

Seis critérios de aceitação (framework de aceitação de armazenamento de IA): conferência de recebimento → throughput básico → passagem direta GPUDirect → leitura concorrente → exercícios de falha → ajuste conjunto de longa duração.

1
Inspeção de recebimento
Conferir controladores/unidades NVMe/módulos de cache contra a lista de embarque; exportar e arquivar números de série e status das licenças (licença de capacidade/licença de recursos).
2
Throughput básico
Medir leitura/escrita agregada com ferramentas padrão como fio: Aprovado contra o valor nominal do fabricante ≥85% (estimativa) — atenção: tamanho de bloco e profundidade de fila do teste devem refletir a carga real.
3
Passagem direta GPUDirect
Implantar conforme a documentação oficial do NVIDIA GDS e executar o benchmark oficial[3]: aprovação quando a vazão de passagem direta do armazenamento à memória da GPU atinge a meta e o uso de CPU é significativamente menor que no modo com intermediação.
4
Leitura concorrente
Múltiplos nós de GPU lendo o mesmo dataset: linearidade do throughput agregado e latência P99 dentro da meta — soluções rápidas em um nó e que desabam com vários não passam nesta etapa.
5
Exercícios de falha
Três exercícios: reconstrução por retirada de disco, troca de controlador e queda de rede: Aprovado quando nenhum dado se perde e o tempo de recuperação está dentro do SLA contratual.
6
Comissionamento de longa duração
Ajuste conjunto com tarefa real de treinamento por ≥24 horas contínuas (framework de precedentes): curva de throughput do armazenamento estável e GPUs sem espera/fome — só está entregue após aprovação no ajuste conjunto.

Transporte e entrega LOGISTICS

1
Transporte e repouso de gavetas de discos
Um gabinete de storage com NVMe em configuração máxima é pesado e os discos são sensíveis a vibrações: embalagem original do fabricante + registrador de dados de transporte (quando configurado); após a chegada, aguardar o tempo de repouso antes de ligar (conforme orientação do fabricante).
2
Segurança e resíduos de dados
Os resíduos de dados anteriores em arrays de storage usados são uma linha vermelha de segurança: após a chegada, apagamento seguro de todos os discos (conforme normas de segurança de dados) antes de colocá-los em rede — os dados do antigo dono não podem entrar no seu data center.
3
Inspeção conjunta na entrega
Conferência em três frentes: aparência, acessórios e licenças; só assine o recebimento após cumprir os seis itens do checklist de aceitação — storage é a casa dos dados, e o padrão de aceitação deve ser alto, nunca baixo.

Cartões de terminologia GLOSSARY

NVMe

Protocolo de storage criado para a memória flash: SSD conectado diretamente ao barramento PCIe, alta profundidade de filas e baixa latência — em comparação, os protocolos SAS/SATA limitam a velocidade da flash. O SSD NVMe é o bloco básico dos arrays all-flash.

NVMe-oF

NVMe over Fabrics: estende o protocolo NVMe à rede (transporte RDMA, sobre IB ou RoCE) — o servidor acessa o array all-flash remoto como se fosse um disco local, com perda mínima de desempenho (segundo o setor[1]).

GPUDirect Storage(GDS)

Tecnologia de passagem direta de armazenamento da NVIDIA: os dados do NVMe/array chegam via RDMA direto à memória da GPU, contornando a cópia pela CPU — tecnologia-chave para acelerar o carregamento de dados de treinamento e a leitura/escrita de checkpoints (segundo a documentação oficial[3]).

Sistema de arquivos paralelo

Arquitetura de storage em que múltiplos nós acessam concorrentemente o mesmo sistema de arquivos (sistemas da família Lustre/GPFS etc.): distribui os dados em striping por vários nós de storage agregando throughput — só um file system paralelo aguenta mil GPUs lendo o dataset de treino simultaneamente.

Checkpoint

Pontos de salvamento do processo de treino: gravação periódica dos pesos do modelo + estado do otimizador — checkpoints de grandes modelos giram na casa das dezenas de TB; escrita lenta atrasa o treino e perdas comprometem todo o progresso. O throughput de checkpoint é a primeira prova do storage para IA.

Tercelização do KV cache

Solução para o estouro de memória nos serviços de inferência: o KV cache que não cabe na HBM da GPU vai para a camada NVMe — troca capacidade de memória por banda NVMe, componente das arquiteturas de inferência com contextos longos e alta concorrência em lote.

Limitações e controvérsias LIMITS

  • Ilusão de throughput O throughput anunciado pelo fabricante é um valor de laboratório em condições ideais — sob cargas reais de treino (mistura de IOs pequenos, concorrência multinó), a taxa de cumprimento costuma cair à metade; o teste de carga com tarefa real é o único espelho verdadeiro (critério de inspeção desta base).
  • Fragmentação de compatibilidade com GDS : «suportar NVMe-oF» não significa «estar na lista de compatibilidade do NVIDIA GDS» — soluções fora da lista exigem desenvolvimento próprio para a passagem direta, e esse custo oculto precisa ser contabilizado (segundo a documentação oficial[3]).
  • Armadilha de custo do all-flash Colocar também dados frios em all-flash é um buraco negro de orçamento — a arquitetura de três camadas (quente/morno/frio) é a disciplina de custos; o all-flash deve servir apenas os dados quentes (critério de organização desta base).
  • Resíduos de dados em arrays de storage usados A segurança dos dados anteriores de um array usado é um risco de nível jurídico — o registro de apagamento seguro deve ser condição prévia da transação (critério de inspeção desta base).
  • Vendor lock-in Os file systems paralelos estão profundamente atrelados à stack de gerenciamento do array, e migrar de marca no meio do caminho é caro — na escolha, trate 'a dificuldade de tirar os dados de lá' como um parâmetro (critério de organização desta base).

Notas de mercado MARKET NOTE

Storage All-Flash NVMe · cotações ainda não disponíveis

O storage para IA é adquirido predominantemente por projeto (grandes variações de configuração/capacidade/stack de software) e arrays usados ainda precisam passar pelo crivo de segurança de dados — não há snapshot de mercado uniforme verificável por enquanto. Princípio de honestidade da AIXX Pedia: sem faixa de mercado; o preço está sujeito à cotação do vendedor 。

Busca de ofertas: Salão da AIXX Exchange › (intermediação sem comissão, sem participação nas transações; sem acesso nem especulação sobre preços fechados, o que mantém os dados neutros). Assim que o acúmulo de snapshots for suficiente, esta seção migrará para a faixa de cotações padrão.

Perguntas frequentes FAQ

O que diferencia o storage de um cluster de IA do storage corporativo comum?

Três pontos de diferença: escala de throughput (alimentar um cluster de mil GPUs dezenas de vezes uma carga corporativa comum), arquitetura de acesso direto (GPUDirect Storage contorna a CPU) e padrão de concorrência (múltiplos nós de GPU lendo o mesmo dataset em paralelo) — NAS comum e arrays híbridos não conseguem acompanhar nesses três pontos.

O GPUDirect Storage é obrigatório?

Fortemente recomendado: os dados chegam direto à memória da GPU sem passar pela CPU, reduzindo simultaneamente latência e uso de CPU no carregamento de dados de treino e na leitura/escrita de checkpoints (conforme documentação oficial); soluções sem GDS funcionam, mas o teto de throughput com intermediação da CPU é baixo e a movimentação de dados consome os recursos do host.

Por que o checkpoint é a primeira prova do storage?

Checkpoints de grandes modelos giram na casa das dezenas de TB e a escrita é frequente: escrita lenta atrasa o treino (a GPU espera o disco), e a interrupção da escrita compromete todo o progresso — throughput e confiabilidade do checkpoint são a linha divisória entre storage para IA e storage comum.

Dá para comprar array all-flash usado?

Sim, mas é preciso passar por três crivos: segurança de dados (o registro de apagamento seguro dos dados anteriores é condição da transação), saúde (exportação completa de vida útil de escrita/SMART dos SSDs NVMe) e licenciamento (as licenças de capacidade e recursos são transferidas junto com o hardware). Storage é a casa dos dados, e o padrão de aceitação deve ser alto, nunca baixo.

Rede de storage e rede de computação devem ser separadas?

Recomenda-se a mesma tecnologia com camadas distintas: cluster IB com rede de storage IB-RDMA, cluster Ethernet com RoCE — misturar tecnologias exige conversão por gateway, com queda simultânea de latência e throughput. No plano de tráfego, a rede de storage e a de computação podem ser isoladas física ou logicamente, evitando que a escrita de checkpoints impacte a comunicação do treino.

NVMe (página de conceito)GB200 NVL72GB300 NVL72Refrigerado a líquido CDUBlueField-3ConnectX-7GPUDirect StorageSistema de arquivos paraleloTercelização do KV cache

Guia comparativo e extensões COMPARE

Referências REFERENCES

  1. Introl — AI-Optimized Storage: NVMe-oF, GPUDirect & Parallel File Systems (revisão de arquitetura, 2025) https://introl.com/blog/ai-optimized-storage-nvme-gpudirect-…
  2. NVIDIA Developer Blog — NVIDIA GPUDirect Storage (comunicado de lançamento, 2020) https://developer.nvidia.com/blog/gpudirect-storage/
  3. Documentação oficial NVIDIA — GPUDirect Storage Overview Guide (critérios de implantação e compatibilidade) https://docs.nvidia.com/gpudirect-storage/overview-guide/ind…
  4. VDURA — AI Storage Reference Design (critério de arquitetura de referência all-flash) https://www.vdura.com/resources/reference-architecture/ai-st…
  5. Busca de ofertas — AIXX Exchange (intermediação sem comissão; storage para IA sem snapshot de mercado por enquanto, o preço real está sujeito à cotação do vendedor) https://www.aixx.vip/hall.html
Versões e erratas |Este verbete é mantido pela equipe editorial da AIXX Pedia, redigido com apoio de IA e verificação humana dos fatos. Atualizado em 2026-10-10 · versão v1.0 · todas as alterações ficam registradas e consultáveis. Encontrou um erro? Entre em contato via canal de correções ; após verificação, a correção será publicada e registrada no histórico de versões.

Vídeo explicativo VIDEO

Esta base
Política editorialSobre esta base (declaração de interesses)canal de correções
Resumo da constituição editorial
Toda afirmação com fonteDefeitos sempre mencionados · erratas públicas e registradasEntradas pagas não são aceitasZero elementos de direcionamento e vendas nas entradasDados de mercado apenas como módulo de dados anexado
Família AIXX
AIXX PediaAIXX Exchange de CálculoInformações AIXX
Panorama do mercado: AIXX Exchange de Cálculo · © 2026 AIXX Pedia · Produzido pela AIXX