Rumo a performances distribuídas profissionais: efeitos de um metrônomo global nas interações de conjuntos musicais em rede

Quando músicos tocam juntos pela rede, cada um ouve os outros com atraso. Estudos anteriores, quase todos com palmas em duplas, mostraram que atrasos de 10 a 25 ms dão a melhor sincronia com andamento estável, que entre 25 e 65 ms o andamento tende a cair e que, acima disso, a execução desmorona. Uma solução proposta é o Metrônomo Global de Oda e Fiebrink (2016), que também está nesta biblioteca: cada local calcula o mesmo clique a partir do próprio relógio bem sincronizado, e todos os cliques ficam alinhados sem que nada seja enviado pela rede.

Este artigo do JAES de 2021, de Robert Hupke, Marcel Nophut, Stephan Preihs e Jürgen Peissig (Universidade Leibniz de Hannover), é a última etapa de uma série do mesmo grupo, feita dentro do projeto alemão LIPS (Live Interactive PMSE Services). Os estudos anteriores testaram o metrônomo em laboratório, com um ritmo num pad de bateria e com duos de djembê. Aqui ele vai para uma montagem distribuída real: um conjunto de rock/pop de cinco músicos, três em Hannover (sintetizador, bateria, guitarra) e dois em Munique (piano de cauda, baixo elétrico), a 500 a 600 km de distância, ligados por uma fibra dedicada e com telões mostrando a outra sala. Os autores comparam a ausência de metrônomo, um clique audível e um novo metrônomo visual de LED, e medem tanto o que as gravações mostram quanto o que os músicos sentiram.

• O metrônomo global dentro de uma NMP profissional. Os autores descrevem este como o primeiro caso em que um metrônomo global auditivo e um visual foram integrados a uma performance em rede física, e não a uma montagem de laboratório.
• PTP no lugar de GPS. O metrônomo (um Raspberry Pi por local, chamado GloMe) foi estendido para seguir o Precision Time Protocol que já sincronizava todas as câmeras, interfaces de áudio e conversores AD/DA do projeto. Como o Raspberry Pi não tem carimbo de tempo em hardware, eles implementaram o carimbo de tempo em software. Dois metrônomos sincronizados por PTP produziram cliques de áudio com desvio padrão de 92 μs entre si ao longo de 30 minutos. Para comparação, a versão anterior com GPS chegava a 56 μs. Quando os dois dispositivos compartilham o relógio, cada um calcula e toca a próxima batida localmente, como em Oda e Fiebrink; nenhum clique trafega entre os locais.
• Um metrônomo visual. Depois de conversar com os músicos, eles acrescentaram uma placa de LED com oito módulos de luz numa caixa, alimentada pelos 5 V do Pi e controlada por um único pino GPIO, com um fluxo de bits que leva um valor de cor para cada módulo. O flash de luz e o clique de áudio diferiram com desvio padrão de 66 μs ao longo de 30 minutos, então a luz está, na prática, no mesmo relógio do som.
• Um teste ecologicamente válido, com três condições (sem metrônomo, acústico, visual), três latências e três andamentos, analisado com métricas objetivas e com questionário.

Para um engenheiro de software, a parte interessante é o plano de controle. A estação do pesquisador em Hannover definia o andamento dos dois metrônomos e os iniciava por SSH. O atraso extra de rede e o fade out do clique eram controlados por mensagens UDP para as mesas de som nas duas cidades. Ou seja, um comando remoto só muda parâmetros (andamento, início, ligado ou desligado); a batida em si vem da base de tempo PTP compartilhada em cada local. O artigo não detalha como os dois Pis concordam sobre a fase da batida (por exemplo, um instante de início comum ou a fórmula baseada na época Unix de Oda e Fiebrink) e remete, para isso, aos artigos anteriores do grupo sobre a implementação.

• Rede e áudio. Uma fibra ponto a ponto alugada levava seis canais de áudio; a bateria era pré-mixada em Hannover e enviada a Munique como mix estéreo. Tudo era gravado em Hannover, inclusive o clique dos dois locais como referência. Os músicos usavam fones in-ear (Sennheiser IE400 PRO) com mixes próprias; em Munique, eles trocaram para fones abertos (Sennheiser HD800) depois da segunda série. Um microfone de talk-back em cada sala servia para conversar entre as tentativas.
• Níveis de latência. A latência de ponta a ponta medida na linha de base era de 8,5 ms. Um atraso extra foi somado nas saídas das mesas de som que alimentavam o outro local, gerando três níveis: 8,5, 25,5 e 55,5 ms (apresentados como atraso de ida). O self-delay (atraso do próprio retorno), usado em trabalhos anteriores, não pôde ser implementado por limitações das mesas.
• Níveis de andamento. 90, 105 e 144 bpm.
• Condições. Toda tentativa começava com uma contagem audível de oito batidas no metrônomo, e todos os músicos entravam juntos (sem papéis de líder e seguidor). Na condição 1, o clique era silenciado ao fim do segundo compasso, mas continuava sendo gravado. Na condição 2, o clique ficava ligado a tentativa toda. Na condição 3, o clique de áudio saía do mesmo jeito, enquanto o metrônomo de LED ficava aceso da contagem até o fim.
• Desenho. 27 tentativas (todas as combinações de atraso, andamento e condição) em ordem aleatória, repetidas em quatro dias dentro de um mês, com cerca de 120 minutos por sessão. Com cinco instrumentos e duas faixas de metrônomo, isso deu 756 gravações.
• A peça. Escrita pelos próprios músicos: uma sequência de quatro compassos em 4/4, repetida pelo menos quatro vezes, com cerca de 50 s. Cada parte tem um ritmo diferente, mas todas se encontram no início de cada compasso.
• Os músicos. Estudantes das universidades de música de Hannover e de Munique. Os dois grupos nunca tinham se visto antes; dentro de cada cidade eles se conheciam, mas tinham pouca experiência tocando juntos. Os autores dizem que o esforço técnico e a janela curta não permitiram incluir mais músicos.
• Análise do sinal. Os ataques foram detectados com o MIRtoolbox: um banco de filtros Gammatone de 10 bandas, envoltórias derivadas e retificadas em meia onda, e as bandas escolhidas somadas numa curva de novidade por instrumento. Os picos do metrônomo e do bumbo serviram de referência para a primeira nota de cada compasso. Uma nota faltante isolada era interpolada linearmente, o que aconteceu em 20 tentativas; nenhuma tentativa foi descartada.
• Métricas. A partir dos intervalos entre os inícios de compasso, calcularam o andamento em bpm, suavizaram com média móvel de três pontos e ajustaram uma regressão linear, apresentada como desvio relativo de andamento em porcentagem. A sincronia foi medida como assimetria, a diferença média de tempo entre dois músicos nos pontos de sincronização, corrigida pelo atraso de ida e volta na perspectiva do lado remoto.
• Questionário. Depois de cada tentativa, notas em escala Likert sobre qualidade da interação, esforço para manter a sincronia com os músicos remotos e locais, estresse e (com metrônomo) autoconfiança e uso do metrônomo, mais comentários livres. Um segundo questionário, no fim, pedia uma avaliação geral.
• Estatística. Os testes de Shapiro-Wilk mostraram que nem todas as condições tinham distribuição normal, então usaram o teste de Friedman por andamento e atraso, com comparações post hoc de Tukey HSD.

Os valores são as médias de desvio relativo de andamento relatadas pelos autores (negativo significa que a banda desacelerou).

• Sem metrônomo, o andamento derivou, numa direção que dependia do andamento inicial. A 90 bpm a banda acelerou em todos os atrasos, ao contrário da expectativa comum de desaceleração. A 105 bpm ela desacelerou nas latências mais altas e, a 144 bpm, desacelerou em todos os atrasos.
• O metrônomo acústico manteve o andamento perto de 0% de desvio, com variância pequena, em todos os atrasos e andamentos, com uma leve aceleração a 55,5 ms nos três andamentos. O metrônomo visual mostrou tendência parecida, mas com mais variância.
• Onde ajudou mais. A 8,5 ms e 144 bpm, a banda foi de menos 1,57% sem metrônomo para 0,17% com o acústico e 0,29% com o visual. A 25,5 ms e 144 bpm, de menos 0,72% para 0,27% e 0,26%. A 25,5 ms e 90 bpm, a linha de base foi 1,15%, o acústico 0,16% e o visual menos 0,088%. A 55,5 ms, o metrônomo só teve efeito significativo a 105 bpm (o acústico foi melhor que a ausência de metrônomo e que o visual). A 8,5 ms e 90 bpm, a mudança de 0,68% para menos 0,72% com o metrônomo visual foi significativa, mas não foi uma melhora.
• A sincronia dependeu das pessoas, não do metrônomo. Para os músicos de Hannover, a assimetria em relação ao baterista ficou entre menos 32,3 e menos 7,3 ms em todas as condições. Para Munique, sem metrônomo, a assimetria foi mais ou menos igual ao atraso de ida e volta, o que indica que eles se alinharam à bateria que ouviam. O metrônomo eliminou principalmente a tendência de a assimetria crescer com o andamento, e o acústico trouxe pequenas melhoras a 25,5 e 55,5 ms.
• As estratégias mudaram a cada tentativa. Olhando para o pianista em Munique e o baterista em Hannover, sem metrônomo o pianista às vezes antecipava cerca de um atraso de ida e volta para que o baterista tocasse no tempo e, em andamentos altos, voltava a seguir o baterista. Com o clique acústico não houve estratégia consistente; em algumas tentativas os dois tocaram com o próprio clique e, a 55,5 ms, o pianista se posicionou no meio do caminho entre o clique dele e a bateria. Com o metrônomo visual, o pianista quase sempre seguiu o baterista.
• Avaliações subjetivas. A qualidade da interação caiu e o esforço subiu com a latência, como esperado. O metrônomo acústico não fez diferença significativa em nenhum dos dois. O visual teve nota significativamente pior em qualidade da interação e significativamente maior em esforço a 25,5 ms, para 105 e 144 bpm. Os dois metrônomos foram avaliados como fonte de autoconfiança em quase todos os atrasos e andamentos, e como muito usados, mais ainda a 144 bpm.
• Comentários livres. O baterista ignorou os músicos de Munique nas latências altas para manter o andamento, achou o clique uma grande ajuda e o LED nem sempre. Os músicos de Hannover usaram o clique como referência quando o baterista oscilava; o guitarrista tocou atrás do tempo e o tecladista tocou em legato para disfarçar os pontos de sincronização imprecisos. Todos preferiram o clique audível, relataram menos frustração com o tempo, e os músicos de Munique sugeriram uma contagem do baterista para estimarem o atraso em relação ao clique.

A parte de engenharia é sólida: o erro do relógio (dezenas de microssegundos) fica cerca de duas ordens de grandeza abaixo das latências testadas, então qualquer efeito vem dos músicos, não do jitter do metrônomo. O estudo musical é bem mais fino do que o título sugere.

• Um conjunto, cinco pessoas. Os 20 pontos por andamento e condição vêm todos dos mesmos cinco músicos ao longo de quatro dias, e os autores admitem que não puderam incluir mais gente. São estudantes, não uma banda profissional estabelecida, embora o resumo os chame de conjunto profissional. Com uma única banda, os resultados misturam o efeito do metrônomo com este baterista, este pianista e as estratégias pessoais de cada um.
• Uma peça simples. Um loop de quatro compassos com cerca de 50 s, escrito pela banda, com pontos de sincronização só no início dos compassos. Isso é bom para detectar ataques e para reprodutibilidade, mas deixa de fora músicas longas, mudanças de andamento e rubato.
• A estatística é frágil. O teste de Friedman roda separadamente em cada uma das nove células de atraso e andamento e em várias métricas, sem correção para comparações múltiplas, e as medidas repetidas das mesmas cinco pessoas não são independentes. Os valores de p parecem ter piso em 0,01: χ²(2) = 21,9 corresponde a um p muito abaixo de 0,001, mas aparece como 0,01. A 55,5 ms e 90 bpm o teste dá χ² = 0 e todas as diferenças entre pares são exatamente zero, o que é estranho e não é explicado.
• Texto e tabelas discordam. Para andamento a 25,5 ms e 90 bpm, o texto diz que as diferenças significativas são linha de base contra acústico e visual contra acústico, mas a Tabela 4 mostra linha de base contra acústico com p = 0,61 e linha de base contra visual com p = 0,01. Para a assimetria de Hannover a 8,5 ms e 90 bpm, o texto traz χ² = 6,5, p = 0,02, enquanto a Tabela 5 traz 6,25 e 0,04. A Seção 2.3 fala em oito perguntas no questionário pós-tentativa e a Seção 4.2 fala em sete; a Tabela 1 lista oito itens, e a Q2.3 (em qual sinal o músico se concentrou) nunca é relatada. A Tabela 10 ainda mostra um efeito significativo de esforço a 8,5 ms e 105 bpm que o texto ignora.
• Resumo e conclusão exageram. O resumo diz que o metrônomo ajuda a estabilidade do andamento em latências altas, mas a maior parte dos efeitos significativos está a 8,5 e 25,5 ms, e a 55,5 ms só 105 bpm é significativo. A conclusão diz que nenhum dos metrônomos afetou o esforço para manter a sincronia, mas os resultados mostram o visual com esforço significativamente maior a 25,5 ms. A conclusão também diz que a alta utilidade subjetiva do metrônomo visual não aparece nos dados objetivos, enquanto a discussão diz que o visual teve resultados objetivos quase tão bons quanto o acústico. Os números do corpo do texto são os que valem.
• Uma variável de confusão na montagem. Os músicos de Munique trocaram os fones in-ear por fones abertos depois da segunda série, o que muda o que eles ouvem, e isso não é analisado.
• A rede é o melhor caso possível. Uma fibra ponto a ponto dedicada, com PTP em toda a infraestrutura, está muito longe de um link de Internet doméstico ou de escritório. A latência aqui é um atraso fixo somado, sem jitter nem perda de pacotes. O artigo também não diz onde fica o grandmaster PTP nem como o PTP se comporta em 500 a 600 km, que é exatamente o que quem implementa gostaria de saber. Na Internet pública, o GPS (ou um servidor local disciplinado por GPS em cada local) é a fonte de relógio mais segura, e o número anterior do grupo com GPS, 56 μs, reforça isso.
• O metrônomo visual é uma piscada, não um regente. Como os próprios autores notam, o LED não mostra a "batida chegando", ao contrário de uma batuta. Um desenho com contagem regressiva ou um indicador em movimento poderia mudar completamente os resultados do visual.

Para quem vai construir algo assim, a lição continua clara: sincronize os relógios (PTP ou GPS), calcule o clique localmente em cada local, envie só comandos de andamento e de início, e espere que o clique comum estabilize o andamento, mas não resolva a forma como as pessoas reagem ao áudio atrasado.

• Amostras maiores e mais conjuntos, para separar o efeito do metrônomo das estratégias individuais dos músicos, o que os autores apontam como necessário.
• Estudo mais aprofundado da atenção e do foco dos músicos durante a interação no conjunto com o metrônomo.
• Controle mais fácil do metrônomo pelos próprios músicos, por exemplo um controle háptico, no lugar de um pesquisador via SSH.
• Um metrônomo adaptativo que acompanhe o andamento dos músicos e um mapeamento visual de um regente global, ambos citados pelos autores como próximos passos.
• Um metrônomo visual que mostre a batida se aproximando, uma condição com self-delay e testes em links de Internet compartilhados, com jitter, que esta montagem não cobriu.