Quando velocidade sem auditoria apenas antecipa o retrabalho

Uma demonstração que termina quando o primeiro texto aparece mede a parte mais fácil. O trabalho jurídico continua: localizar fontes, comparar com os documentos, tratar lacunas, resolver comentários, corrigir a saída, atualizar dependências e garantir que a versão liberada é a mesma que foi revisada. Quando esse tempo desaparece da métrica, velocidade pode ser apenas retrabalho adiado.

Resposta curta

Meça o ciclo completo, do preparo à liberação revisada, e acompanhe o que acontece quando uma fonte muda. Uma automação só é mais rápida se reduzir o tempo total sem aumentar erros tardios, fontes ausentes, versões incoerentes ou carga invisível de revisão.

As recomendações da OAB para IA generativa preservam supervisão, verificação e responsabilidade profissional. A Resolução 615 do CNJ oferece um referencial atual de governança responsável de IA. Nenhum dos dois combina com uma avaliação baseada somente em tokens por segundo ou minutos até o primeiro rascunho.

A equação do ciclo

Parcela	O que inclui	Falha comum de medição
preparo	selecionar, limpar e classificar entrada	tratado como “tempo do usuário”
geração	executar ferramenta ou fluxo	única parcela exibida na demo
revisão	conferir fonte, lacuna, conflito e forma	omitida ou estimada
correção	ajustar saída e registrar motivo	diluída no trabalho cotidiano
reabertura	reagir a nova fonte ou versão	não testada
liberação	provar versão e autorização	confundida com download

O tempo total é a soma dessas parcelas. Qualidade inclui erros que chegam à revisão e erros que só aparecem depois.

Exemplo de medição

Parte do ciclo	Minutos do exemplo fictício
preparar	12
gerar a primeira versão	3
revisar	18
corrigir	9
reabrir após mudança de fonte	6

O mesmo ensaio encontrou 92% das afirmações ligadas a uma fonte, preservou dois conflitos, deixou um erro aparecer tarde e pôde ser refeito por uma segunda pessoa. A liberação permaneceu bloqueada, pois o lançamento técnico não autoriza uso individual. Em um piloto autorizado, compare a mesma tarefa com e sem assistência, usando entradas equivalentes.

O teste que demos evitam

Depois de concluir o fluxo, modifique uma fonte ou uma linha de entrada. Observe quanto tempo o sistema leva para localizar artefatos dependentes e conduzi-los de volta à revisão. Uma ferramenta que produz rápido, mas não sabe o que ficou obsoleto, transfere todo o custo para busca manual.

Cronômetro inclui preparação e conferência.
Afirmações sem fonte entram na contagem de falhas.
Conflitos preservados não são tratados como erro de fluência.
Mudança de entrada reabre dependências corretas.
Segunda pessoa reproduz o artefato sem explicação oral.
Versão liberável corresponde à versão revisada.
Erros descobertos depois do teste voltam ao placar.

Auditoria não precisa ser burocracia

Registrar tudo indiscriminadamente pode criar custo e exposição. O objetivo é manter os eventos que explicam decisões e transições relevantes: fonte usada, versão, motivo da alteração, responsável, revisão e resultado. A LGPD exige necessidade e segurança, por isso o registro também precisa de finalidade e retenção.

Automação bem desenhada pode reduzir o próprio custo de auditoria ao ligar cada saída às suas entradas e fontes. Esse efeito precisa ser observado: quantos minutos o revisor gasta procurando evidência versus avaliando-a?

O placar que evita autoengano

Use cinco grupos: tempo total, cobertura de fontes, divergências preservadas, correções por versão e erros tardios. Acrescente carga cognitiva da revisão e número de interrupções para pedir contexto. Não agregue tudo em uma nota única; um ganho de velocidade não deve esconder queda de qualidade.

O resultado desejável é menos tempo total e mais rastreabilidade. Se apenas a geração acelera, o escritório ainda não comprou produtividade — comprou uma fila mais rápida para a mesma revisão humana.

Compare distribuições, não uma demonstração

Um único caso perfeito esconde variação. Use um conjunto de casos fictícios com documentos completos, lacunas, conflito, formatos ruins e mudança tardia. Compare mediana e casos mais lentos, porque o trabalho excepcional costuma consumir a margem criada pelos casos simples. Preserve a mesma regra de aceite nos dois fluxos.

Evite transformar o placar em meta individual. Tempo de revisão menor pode significar evidência melhor organizada ou conferência apressada; só as medidas de qualidade distinguem os dois. O uso correto é localizar gargalos do sistema, ajustar o contrato da automação e decidir se o ganho se mantém depois que correções e exceções entram na conta.