XRP: funções de armazenamento no kernel com eBPF
Título original: XRP: In-Kernel Storage Functions with eBPF
Publicado16th USENIX Symposium on Operating Systems Design and Implementation (OSDI 22)
Saiu em uma revista, congresso ou livro, que normalmente avaliam o trabalho antes de aceitar. Mesmo assim, um único estudo nunca é a palavra final.
Resumo
Com o surgimento de dispositivos NVMe de armazenamento na escala de microssegundos, o custo da pilha de armazenamento do kernel Linux se tornou significativo, quase dobrando os tempos de acesso. Apresentamos o XRP, um framework que permite às aplicações executar funções de armazenamento definidas pelo usuário, como buscas em índices ou agregações, a partir de um hook eBPF no driver NVMe, contornando com segurança a maior parte da pilha de armazenamento do kernel. Para preservar a semântica do sistema de arquivos, o XRP propaga uma pequena quantidade de estado do kernel até o hook no driver NVMe, onde as funções eBPF registradas pelo usuário são chamadas. Mostramos como dois key-value stores, o BPF-KV, um store simples baseado em árvore B+, e o WiredTiger, um motor de armazenamento popular baseado em LSM tree, podem usar o XRP para melhorar de forma significativa a vazão e a latência.
Tradução nossa do resumo original dos autores, em inglês.
Análise de pesquisa
Escrita pelo Kurz, não pelos autores do paper. O resumo acima é dos próprios autores.
- Última revisão
- Versão
- 1.0
Visão geral
Em um Intel Optane P5800X, o artigo mede um read() aleatório de 512 B em 6,27 µs, dos quais 51,4% são do dispositivo e 48,6% de software: o ext4 custa 2006 ns (32,0%), a camada de bloco 379 ns, a travessia do kernel 351 ns, a syscall 199 ns e o driver NVMe 113 ns. Em dispositivos rápidos mais antigos, a fatia de software era de cerca de 15%. Uma busca em índice piora o quadro, porque cada nível de um índice B-tree ou LSM é uma leitura cujo resultado a aplicação só usa para calcular o próximo deslocamento, e então cada nível paga a pilha inteira.
Este artigo do OSDI 2022 (Carlsbad, julho de 2022), em sua maior parte da Columbia University, busca algo implantável em Linux comum, com ext4 e aplicações existentes. O kernel bypass com SPDK elimina o custo, mas obriga a ter um sistema de arquivos em espaço de usuário, abre mão de isolamento e exige polling, e os autores relatam uma perda de 3x de vazão quando há mais threads do que núcleos. O grupo de kernel bypass nos trabalhos relacionados cita o Arrakis, o IX e o Demikernel como sistemas que deixam o usuário falar direto com o dispositivo. O XRP faz o oposto: mantém o kernel no comando e leva para dentro dele um pedaço pequeno da lógica da aplicação, inspirado no XDP das redes.
O io_uring não resolve, argumenta o artigo: ele agrupa submissões e economiza travessias, mas cada E/S ainda passa por todas as camadas, então é complementar. A Figura 3 mostra o hook no NVMe elevando a vazão do io_uring em até 1,5x com lotes pequenos e até 2,5x conforme os lotes crescem.
Termos para não confundir: resubmissão é emitir a próxima leitura de uma cadeia de dentro do kernel, o metadata digest é o pequeno estado do sistema de arquivos de que o driver precisa para traduzir deslocamentos, e o scratch é uma área de 4 KB por requisição, compartilhada entre a aplicação e a função eBPF.
Dois pareamentos meus, não do artigo. O cache_ext (SOSP 2025) divide dois autores com o XRP, Ioannis Zarkadas e Asaf Cidon, e estende o page cache com eBPF, a camada que o XRP deliberadamente não toca; a análise dele no catálogo não menciona o XRP. O PeeR (OSDI 2026) é literatura posterior, veja a Análise crítica.
Contribuição
- Um novo caminho de dados. O hook fica no tratador de interrupção do NVMe, abaixo das camadas de syscall, sistema de arquivos e bloco. O experimento de motivação do artigo (Tabela 2, uma árvore B em disco de profundidade 10, tirado do artigo anterior dos autores no HotOS 2021) coloca a resubmissão na camada de syscall em 1,15x de latência e 1,2x de vazão, e no driver NVMe em 1,95x e 2,5x.
- Um novo tipo de programa eBPF. Programas
BPF_PROG_TYPE_XRPrecebem um contexto comdata(o bloco recém-lido),done,next_addr[16]esize[16](fanout de até 16, tamanho zero não emite E/S) escratch. A aplicação chamaread_xrp(), que é umpread()mais o descritor do programa e um ponteiro de scratch. - Reuso do caminho de despacho. Na conclusão, o tratador chama a função, pede ao metadata digest a tradução do próximo endereço lógico, reescreve os endereços físicos no próprio
nvme_commandque acabou de completar e o coloca na fila de submissão do mesmo núcleo. Não hákmalloc. As mudanças no kernel somam cerca de 900 linhas, 500 no hook e no driver e 400 na tradução. - O metadata digest. Duas funções:
update_mapping(chamada pelo ext4 ao inserir ou remover extents) elookup_mapping(chamada do tratador de interrupção). A versão para ext4 guarda uma cópia da extent status tree e usa RCU, com busca média de 96 ns. Um número de versão por extent é conferido de novo depois da leitura, e uma divergência aborta a cadeia. Isso também é o controle de acesso: um pedido fora do arquivo aberto volta ao espaço de usuário com erro. - Mudança no verifier.
dataescratchsãoPTR_TO_MEM, eis_valid_access()passa o tamanho deles ao verifier para checar limites. Os autores dizem que os mantenedores do eBPF acharam a mudança sensata. - Page cache e fallback. O XRP não conversa com o page cache e pressupõe aplicações em
O_DIRECTcom cache próprio em espaço de usuário. É best effort: em qualquer falha, a aplicação tenta de novo ou cai para as syscalls normais.
Metodologia
O hardware é um i5-8500 de 6 núcleos a 3 GHz com 16 GB de memória e um protótipo Intel Optane P5800X, Ubuntu 20.04 e Linux 5.12.0 (as medições da Seção 2 usam 5.8.0). Tudo roda com O_DIRECT, hyperthreading desligado, C-states e turbo boost desligados e KPTI ligado. As bases de comparação são XRP, SPDK, read() e io_uring.
O BPF-KV é um store feito sob medida, com índice B+ de nós de 512 B (fanout de 31) e um log não ordenado, chaves de 8 B e valores de 64 B, com funções BPF para busca, range queries e agregações (até 32 pares por syscall). Os testes de latência fazem um milhão de buscas aleatórias uniformes com cache desligado. O WiredTiger 4.4.0 (cerca de 500 linhas alteradas) roda YCSB com 1 bilhão de pares de 16 B (46 GB), caches de 512 MB a 4 GB, até 3 threads de cliente e páginas de 512 B. A função BPF dele porta o parser de páginas e devolve as páginas percorridas para que o WiredTiger as coloque no cache.
Resultados
- Latência de busca (Tabela 3). Com 1 a 6 E/S de índice, o XRP leva de 10,7 a 29,3 µs, o
read()de 13,4 a 48,8 µs, o io_uring de 13,6 a 49,3 µs e o SPDK de 5,2 a 20,2 µs. Cada nível extra soma de 3,5 a 3,9 µs no XRP, perto da latência do dispositivo. Com 6 níveis, o XRP é 45% mais lento que o SPDK e oread()é 142% mais lento. - Resultado principal do BPF-KV. A introdução relata, com várias threads e índice de 3 níveis em disco, de 47% a 94% mais vazão e de 20% a 34% menos latência p99 que o
read(). Com uma thread, p99 e p99,9 caem até 30% (laço fechado, então o XRP também roda com vazão maior). Leitura de gráfico da Figura 6a: a vazão com uma thread e profundidade 6 é cerca de 34 contra cerca de 20 kOps/s doread(). - Compartilhar núcleos. A introdução dá p99 56% melhor que o SPDK com duas threads no mesmo núcleo. No teste de laço aberto, o XRP fica perto do limite do hardware quando as threads passam de 6 núcleos, enquanto o SPDK cai (leitura de gráfico da Figura 7a: cerca de 200 contra cerca de 680 kOps/s com 22 threads). Requisições de 1 ms ou mais são 0,03% no SPDK com 7 threads e 0,28% com 24, e menos de 0,01% nos demais.
- Range queries. Limitar a 32 objetos por syscall soma custo desprezível, e o ganho fica quase constante com o tamanho do intervalo (Figura 8).
- WiredTiger. O XRP acelera a maioria das cargas YCSB em até 1,25x e reduz o p99 em até 40%. Os ganhos diminuem com caches maiores e maior skew Zipfiano, e não são significativos em YCSB D e E. O WiredTiger gasta 63% do tempo em E/S, por isso o ganho é menor que no BPF-KV.
Análise crítica
O próprio artigo declara estes limites.
- Escopo. Um arquivo por vez, estruturas de dados cujo layout fica estável por segundos ou mais, e nenhum suporte a operações que exigem locks. Só leituras são aceleradas; atualizações e inserções são absorvidas pelo buffer em memória do WiredTiger. Só o ext4 está implementado, e o f2fs aparece como esboço viável.
- Onde o XRP não ajuda. Leituras servidas pelo cache da aplicação, índices que cabem na DRAM e a primeira E/S de toda cadeia, que ainda atravessa a pilha inteira. Os scans do YCSB E ganham pouco porque o iterador lê um par por vez. Em
O_DIRECT, o page cache fica fora do quadro. - Lacunas do protótipo. Não há limite rígido de resubmissões (propõe-se um contador), uma requisição reenviada busca só tantos segmentos físicos quanto a primeira, e o escalonador de E/S é ignorado. As interrupções encadeadas pelo XRP podem esfomear um processo de CPU no mesmo núcleo, que no pior caso recebeu cerca de 34% de uma fatia justa, e os autores deixam isso em aberto.
- Dispositivo local. Tudo roda em um único dispositivo NVMe local; armazenamento em rede fica como trabalho futuro.
Minha leitura, não afirmações do artigo:
- Uma máquina e um disco protótipo. Não achei número de repetições nem barras de erro. A introdução diz "até 24%" para o WiredTiger enquanto a Seção 6.4 diz até 1,25x, e os 2,5x da lista de contribuições se parecem mais com o melhor caso da Tabela 2 do que com o texto do BPF-KV.
- Store co-projetado. O BPF-KV foi feito para o hook, e o colapso do SPDK vale para núcleos sobrecarregados, configuração que implantações de SPDK costumam evitar.
- A segurança depende do digest. Não achei experimento com função hostil nem com mudanças de extent concorrentes.
- Literatura posterior, não lida por inteiro. Li só as análises do catálogo. A do PeeR diz que o scan de blocos do XRP faz um laço de cerca de 100 instruções até 2.000 vezes sem chamar helper, o que limita a preempção, e que os autores dele não construíram o adaptador do XRP. A do cache_ext trata da política de evicção do page cache, a camada que o XRP deixa de lado.
Pesquisas futuras
- Outras funções de armazenamento no mesmo hook: compactação, compressão e deduplicação, como os autores preveem.
- O XRP como interface comum para armazenamento programável ou offload em FPGA, e o encadeamento com XDP para contornar as pilhas de rede e de armazenamento.
- Outros sistemas de arquivos por meio de seu próprio metadata digest, um limite de resubmissões e uma solução para a interferência no escalonador.
- Cooperação com o page cache e com escritas, que o desenho deixa de fora.
Texto completo
Discussão · 0
Entre para participar da discussãoNenhum post ainda. Seja o primeiro a iniciar a discussão.