E/S eficiente com io_uring
Título original: Efficient IO with io_uring
Relatório
Publicado por uma instituição ou empresa. Especialistas independentes não necessariamente o revisaram.
Resumo
Este paper não tem resumo disponível.
Análise de pesquisa
Escrita pelo Kurz, não pelos autores do paper. O resumo acima é dos próprios autores.
- Última revisão
- Versão
- 1.0
Visão geral
Isto não é artigo de conferência nem de periódico. É uma nota técnica publicada no site do autor (kernel.dk), que no PDF aparece como "Version: 0.4, 2019-10-15". O PDF não traz linha de autoria; a atribuição a Jens Axboe se apoia no site, no texto em primeira pessoa e no endereço [email protected] numa referência. A nota foi postada pela primeira vez em abril de 2019, e uma nota posterior do mesmo site diz que o documento introdutório foi "atualizado algumas vezes". É um tutorial, não um estudo de medição, e avisa que não vai repetir as man pages.
O Linux tem muitas chamadas de E/S de arquivo, mas a família síncrona (read, write, pread, pwrite, preadv, pwritev, preadv2, pwritev2) só retorna quando o dado está pronto. O aio_read e o aio_write do POSIX são, nas palavras do autor, em geral medíocres e de desempenho ruim, e o aio nativo do Linux (io_setup, io_submit, io_getevents) tem três limites. É assíncrono só com O_DIRECT, cujo desvio do cache e cujas regras de tamanho e alinhamento o tornam inviável para a maioria dos usos. Mesmo assim a submissão pode bloquear (por metadados, ou quando os slots fixos de requisição do dispositivo estão ocupados), então as aplicações ainda precisam delegá-la a outras threads. E cada submissão copia 64 + 8 bytes e cada conclusão 32, ou seja, 104 bytes para uma E/S supostamente sem cópia, com ao menos duas chamadas de sistema por E/S, "uma lentidão séria" depois do Spectre e do Meltdown.
Os artigos de kernel-bypass do catálogo atacam o mesmo custo por outro lado: Arrakis, IX e Demikernel tiram o kernel do caminho de dados, enquanto o io_uring mantém o kernel e barateia a travessia. A nota também dialoga com Eliminating Receive Livelock, porque seus modos de sondagem trocam interrupções por polling em taxas altas.
Vale saber antes: filas circulares com um produtor e um consumidor, barreiras de memória, mmap de memória compartilhada e O_DIRECT versus E/S com buffer.
Contribuição
- Por que uma interface nova. O autor tentou primeiro estender o
aio, achou o resultado complexo e corrigindo só uma falha, e recomeçou do zero. Objetivos, em ordem crescente de importância: fácil de usar e difícil de usar errado, extensível além de E/S de bloco, rica em recursos (sem pools de threads de E/S privados), eficiente, escalável. - Dois anéis compartilhados. Uma fila de submissão (SQ), em que a aplicação produz e o kernel consome, e uma fila de conclusão (CQ), com os papéis invertidos. O compartilhamento elimina cópias e travas compartilhadas, usando ordenação de memória no lugar de chamadas de sistema.
- Entradas. Um evento da fila de conclusão (CQE) tem
user_data,reseflags. Uma entrada da fila de submissão (SQE) tem 64 bytes:opcode,flags,ioprio,fd,off,addr,len, uma união específica do opcode,user_dataebuf_index. O kernel não toca nouser_data, que é copiado para o CQE, normalmente como o ponteiro do pedido. O anel SQ guarda índices para um array de SQEs separado. - Três chamadas de sistema.
io_uring_setupdevolve um descritor de arquivo e os deslocamentos para ommapdo anel SQ, do anel CQ e do array de SQEs.io_uring_entersubmete e, na mesma chamada, espera conclusões.io_uring_registerpré-registra arquivos e buffers. - Recursos opcionais. SQEs encadeadas e com drenagem, timeouts, arquivos e buffers fixos, E/S por sondagem (
IORING_SETUP_IOPOLL) e sondagem de submissão no kernel (IORING_SETUP_SQPOLL), além da biblioteca auxiliarliburing.
Metodologia
Não há método experimental no sentido usual. A nota explica o desenho com definições de structs e trechos em C, trata de ordenação de memória, mostra código com liburing e termina com uma seção curta de desempenho que remete a uma postagem de série de patches (a referência [1] do texto) para os detalhes. Cita o motor io_uring do fio e o benchmark t/io_uring.c, de leituras aleatórias, como exemplos para estudar. Os números de desempenho vêm em prosa: o PDF não tem tabela nem figura e não dá o hardware nem a carga além de "my test box", "my laptop" e leituras aleatórias do dispositivo de bloco ou de um arquivo.
Resultados
Mecânica que o texto afirma:
- Anéis. Os contadores são inteiros de 32 bits que dão a volta, então o anel inteiro é utilizável sem flag de "cheio" e seu tamanho precisa ser potência de 2.
entriesé uma potência de 2 de 1 a 4096, e o anel CQ tem por padrão o dobro do SQ. Uma SQE pode ser reutilizada assim que o kernel a consome, então os pedidos pendentes podem passar do tamanho do SQ, e a aplicação deve evitar estourar o anel CQ. - Ordem. As conclusões podem chegar em qualquer ordem.
IOSQE_IO_DRAINtrava o SQ inteiro até os pedidos anteriores terminarem.IOSQE_IO_LINKfaz a SQE seguinte começar só depois que a anterior termina com sucesso completo; um erro ou uma leitura ou escrita curta cancela o resto com-ECANCELED. Cadeias de qualquer tamanho rodam de forma independente entre si. - Recursos registrados.
IORING_REGISTER_FILESevita pegar e soltar uma referência atômica ao arquivo a cada pedido.IORING_REGISTER_BUFFERSmapeia as páginas uma vez paraO_DIRECT, usado comIORING_OP_READ_FIXEDeIORING_OP_WRITE_FIXED. - Sondagem. Com
IOPOLL, as conclusões são achadas chamandoio_uring_entercomIORING_ENTER_GETEVENTS, só opcodes de leitura e escrita são válidos (os demais dão-EINVAL), e a cauda do CQ sozinha deixa de sinalizar conclusão. ComSQPOLL, uma thread do kernel percebe novas SQEs sem chamada aio_uring_enter; ela dorme após um período ocioso (1 segundo por padrão), marcaIORING_SQ_NEED_WAKEUP, e a aplicação precisa então acordá-la. OSQPOLLé privilegiado (-EPERMsem privilégio). - Rede. Sockets funcionam sem cuidado especial e a interface pretende cobrir rede, mas a nota não descreve opcodes de rede. A única pista é o
msg_flagsna união da SQE.
Números que o texto traz, todos em prosa (não foi preciso ler gráfico):
- Leituras aleatórias de 4 KB: 1,7M IOPS com sondagem, contra um precipício em 608K do
aio. Sem sondagem o io_uring leva cerca de 1,2M IOPS, perto do dobro doaiona mesma carga (o autor diz que a comparação com sondagem não é justa, pois oaionão sonda). Uma observação diz que trabalho posterior na camada de bloco levou o pico por núcleo a cerca de 1700K, "e não 1620K". - O comando no-op: 12M mensagens por segundo no notebook, 20M na máquina de teste, limitado sobretudo pelas chamadas de sistema.
- E/S com buffer: a nota não dá número. Argumenta que dado já no cache de páginas é servido na hora, então já há uma conclusão esperando no anel CQ quando a submissão retorna, com a mesma eficiência das chamadas síncronas comuns.
Análise crítica
A nota é o relato do próprio autor sobre o seu desenho, não um estudo revisado por pares.
- Sem latência e sem tabelas. Apesar da seção de desempenho, o texto não tem números de latência, nem arquivo de job do
fio, nem descrição de hardware, nem comparação para E/S com buffer ou de rede. Ele remete a "os números da seção acima", que o PDF não contém. Trate 1,7M, 608K, 1,2M e 12M a 20M como valores relatados pelo autor, não como resultados reproduzíveis. - A comparação com o
aioé parcial. O autor admite que a comparação com sondagem não é justa; o dobro sem sondagem é o número melhor, e ainda assim vem de uma máquina e uma carga. - Segurança não é discutida. A única frase próxima do tema é que o
SQPOLLexige privilégio. Compartilhar memória com o kernel e a quantidade de opcodes que o kernel precisa tratar não são examinados. - A afirmação sobre o cache de páginas não tem medição. O texto argumenta que servir na hora deixa o io_uring tão eficiente quanto as chamadas síncronas para dado em cache, e melhor que um pool de threads, sem número.
- Um retrato do momento. O texto ainda diz que um kernel com a interface "is in the -rc stages", embora a linha de versão seja de outubro de 2019 (a nota posterior diz que o v5.1 já tinha saído). Ele também é anterior ao crescimento seguinte: a nota posterior do mesmo site (que li) diz que E/S de socket era no início só
readvewritev, e acrescentasendmsg,recvmsgeaccept.
Literatura posterior, que não faz parte da nota de 2019. A postagem "Learnings from kCTF VRP's 42 Linux kernel exploits submissions" do Google Online Security Blog (Tamás Koczka, junho de 2023), que li, relata que 60% das submissões do kCTF no último ano exploraram o io_uring, e que o Google o desabilitou no ChromeOS e nos servidores de produção, o bloqueia para apps Android com seccomp-bpf e estudava desabilitá-lo por padrão no GKE Autopilot. É o relato de um fornecedor, não um artigo. Não li o artigo do XRP, nem o texto do Demikernel sobre io_uring, nem política alguma de runtime de contêiner, então nada afirmo sobre eles aqui. As notas do catálogo sobre Rakaia e Skyloft citam o io_uring só como trabalho futuro ou proposta.
Pesquisas futuras
- Qual dos custos da interface (chamadas de sistema, cópias, referências a arquivos, mapeamento de páginas, interrupções) pesa mais em cada latência de dispositivo, medido em hardware público.
- Como o io_uring se compara a uma pilha kernel-bypass como Demikernel ou IX em rede, com a mesma carga.
- O caminho do cache de páginas contra pools de threads, o que também toca trabalhos de política de cache como o cache_ext.
- A superfície de ataque de anéis compartilhados e de uma lista crescente de opcodes, e como isolá-la, com fontes além da única postagem citada aqui.
Texto completo
Discussão · 0
Entre para participar da discussãoNenhum post ainda. Seja o primeiro a iniciar a discussão.