Por que a IA alucina em documentos jurídicos longos
e como verificar cada campo

Como um Documento Jurídico Longo É Realmente Processado

Uma ferramenta que diz que consegue ler um documento de 400 páginas geralmente descreve um pipeline de leituras menores costuradas de volta, e é na costura que os valores mudam. Um modelo não lê do jeito que você lê. O texto é dividido em tokens e colocado em uma janela de contexto, a quantidade fixa de texto que o modelo consegue segurar e considerar de uma vez. Quando um documento é mais longo que essa janela, o sistema recorre a uma de três soluções alternativas, e cada uma delas substitui o documento completo por uma versão menor.

Nenhuma dessas etapas é um bug. É assim que documentos longos são tratados. O ponto é que, uma vez que qualquer uma delas está em ação, a ferramenta não está mais lendo seu contrato. Ela está lendo algo menor que o representa, e as lacunas nessa representação são onde valores fabricados entram. Os limites da leitura de documentos longos são abordados em mais profundidade no nosso guia sobre o que a IA pode e não pode fazer com PDFs de várias páginas. Se você é novo na categoria, nosso explicador sobre o que é extração de dados de contratos estabelece a base antes dos modos de falha.

Por que a compressão produz erros plausíveis, e não aleatórios

Quando um valor está ausente na visão comprimida, o modelo não deixa um espaço em branco. Ele preenche a lacuna com o valor mais provável para aquele tipo de documento, que é exatamente o tipo de erro que um leitor atento não notará. Pesquisadores chamam esse padrão de alucinação de detalhe: a saída permanece amplamente correta na estrutura enquanto corrompe silenciosamente os parâmetros que decidem os resultados, incluindo números de limite, unidades, escopo, a força de uma obrigação ("shall" contra "should") e as condições que a acionam. Um estudo de documentos regulatórios longos constatou que essa fidelidade de detalhe decai conforme o contexto cresce, com a taxa de erro subindo de 0,22 em entradas curtas para 0,36 em entradas longas, uma degradação de 64% (arXiv).

No trabalho jurídico, esses não são erros cosméticos. "Shall" contra "should" decide se um dever é obrigatório. Um qualificador omitido, como "exceto conforme previsto na Seção 4.2", transforma uma exceção restrita em uma regra geral. Um teto substituído muda a exposição do cliente. Cada um deles passa pela leitura que recebe, porque cada um parece um valor real. A avaliação de Stanford traça uma linha que vale a pena emprestar aqui: um valor extraído pode ser fabricado (não está no documento) ou mal fundamentado (o texto existe, mas não diz o que a ferramenta afirma). O segundo é mais difícil de detectar, porque a fonte é real e o campo parece fundamentado.

Os campos que a compressão quebra primeiro

A compressão não danifica todos os campos igualmente. Os mais propensos a voltarem errados são aqueles em que um substituto plausível é fácil de gerar e difícil de detectar a olho nu. Esse é um conjunto pequeno e previsível em documentos jurídicos.

Observe o que esses campos têm em comum. Cada um tem um valor correto que é comum, e um valor errado que também é comum. É por isso que eles passam despercebidos em uma leitura rápida. É também por isso que a ordem das suas verificações importa: comece pelos campos numéricos e de obrigação, porque são os que, quando errados, criam exposição.

Alterações e versões com marcações merecem uma passada própria. Um valor substituído pode permanecer bem legível em uma cópia assinada digitalizada, e um modelo trabalhando com uma visão parcial não tem como saber de forma confiável qual versão prevalece. Em um documento jurídico, o mesmo campo aparece legitimamente várias vezes, e aparições repetidas com valores diferentes são exatamente o que a compressão lida pior.

O que "Verificar Cada Campo" Realmente Exige

Em um documento longo, verificar cada campo tem que significar forçar cada valor extraído de volta a um local específico na fonte, para que um valor errado seja pego por onde aponta, em vez de por se ler bem. Reler o documento anula o propósito da ferramenta, e reler também é como um valor mal fundamentado passa despercebido, porque o valor que substituiu o texto parece tão convincente quanto o texto. Duas coisas precisam ser verdade antes que esse tipo de verificação seja possível: você sabe exatamente quais campos queria, e a ferramenta consegue mostrar de onde cada um veio.

A rotina de verificação mais ampla, incluindo alinhamento de colunas, contagem de linhas, auditorias de campos ausentes, validação numérica e de datas, e quando reextrair em vez de corrigir manualmente, está detalhada na nossa lista de verificação de QA de extração em sete pontos. Onde um ponto de revisão se encaixa em um pipeline é abordado no fluxo de trabalho com humano no circuito. E quando a verificação abrange vários documentos de uma vez, o passo a passo de consistência entre documentos mostra como compará-los em uma única planilha. O que cada um desses pressupõe, e o que a compressão torna urgente, é que todo valor pode ser rastreado até sua fonte em primeiro lugar.

O Que Esta Verificação Ainda Não Consegue Fazer

A ancoragem à fonte informa de onde veio um valor. Ela não informa se a cláusula é executável, se sobrevive a uma alteração posterior, ou o que o cliente deve fazer a respeito, e nenhuma ferramenta de extração muda isso. Uma localização de fonte é evidência, não uma conclusão jurídica. A ferramenta pode mostrar que "90 dias" aparece na Seção 12.3. Ela não pode informar se esse prazo de aviso ainda se aplica após a carta lateral que você não enviou.

Algumas falhas ficam totalmente fora da ferramenta. Se o valor operacional está em um anexo, uma alteração anterior, ou uma carta lateral que nunca esteve no upload, nenhuma quantidade de ancoragem vai encontrá-lo, porque ele não está lá para ser encontrado. Envie o pacote completo e, quando o mesmo acordo chegar em vários arquivos, reúna as partes em um único registro antes da revisão. Se a fonte em si é um escaneamento ruim, cada camada acima herda o problema, e é por isso que uma leitura limpa começa com um bom OCR; documentos jurídicos têm seus próprios requisitos, abordados no nosso guia de OCR para documentos jurídicos. E um campo em branco não é uma falha. Um campo reportado como "não presente" é mais seguro do que um valor plausível inventado para preencher a linha, porque indica à próxima pessoa que olhe o documento em vez de confiar na tabela.

O dever também não é transferido para a ferramenta. O Comentário 8 da Regra Modelo 1.1 da ABA coloca os benefícios e riscos da tecnologia relevante dentro do dever de competência do advogado, e cerca de 40 jurisdições dos EUA adotaram uma versão dessa linguagem (ABA). Os profissionais interpretam da mesma forma: "A IA não elimina a responsabilidade de eu ser advogado. Se um caso vai para algo com seu nome nele, encontre a citação. Leia-a." (r/legaltech). Ao comparar ferramentas, a pergunta que separa um extrator de nível de revisão de uma caixa-preta é se ele retorna uma localização de fonte para cada campo. Uma ferramenta que apenas devolve uma tabela limpa não lhe dá nada para verificar, o que vale lembrar ao ler plataformas de e-discovery versus extração de campos ou ao avaliar opções de extração de documentos para um pequeno escritório jurídico.

Perguntas Frequentes

Por que as ferramentas de IA alucinam mais em documentos jurídicos longos do que em curtos?

Porque um documento longo excede a quantidade de texto que um modelo consegue reter de uma vez, então o sistema resume ou recupera em vez de ler tudo. Qualquer valor ausente dessa visão compactada é reconstruído a partir do que normalmente aparece naquele local. Pesquisas sobre documentos de contexto longo descobriram que a precisão em nível de detalhe decai mais rápido do que a precisão geral conforme a entrada cresce.

Uma janela de contexto maior resolve o problema?

Ela eleva o limite, mas não o remove. Documentos ainda podem exceder a janela, assistentes estilo chat ainda resumem texto mais antigo para continuar, e o comportamento do modelo degrada conforme o contexto cresce, mesmo antes de atingir o limite. Trate uma janela grande como margem de manobra, não como garantia.

Posso apenas verificar os campos importantes e pular o resto?

Escolha os campos pelo risco em vez de verificar tudo ou nada. Números, linguagem de obrigações e campos sensíveis a versão, como data de vigência versus data de alteração, merecem verificação cuidadosa; metadados de baixo risco são mais rápidos de liberar. A decisão sobre quais campos são importantes deve ser tomada com antecedência e registrada por escrito, não deixada para a ferramenta.

Como verifico um valor extraído de contrato sem ler o contrato inteiro?

Use ancoragem à fonte. Faça a ferramenta mostrar a localização de cada valor na página original e confirme que o valor está onde afirma estar, em vez de reler o documento. No ImageToTable.ai, o Review Mode destaca a região de origem de qualquer célula extraída, e os documentos podem ser configurados para anotar automaticamente após o processamento.

A extração de contratos por IA é precisa o suficiente para uso sem revisão?

Nenhuma ferramenta, incluindo a nossa, elimina a necessidade de verificar a saída em nível de campo em documentos que envolvem exposição jurídica ou financeira. Nossa extração atinge até 99% de precisão em dados de tabelas impressas, e o fluxo de trabalho responsável ainda confirma os campos de alto risco contra a fonte. Trate qualquer alegação de "livre de alucinações" de qualquer fornecedor com o mesmo ceticismo que aplicaria a um número de precisão sem citação por trás.

O que devo fazer quando um campo volta vazio?

Verifique se a cláusula está realmente ausente e, se estiver, deixe-a vazia. Um campo em branco marcado como "não presente" é mais útil do que um valor plausível inventado para preencher a linha, porque informa à próxima pessoa no fluxo de trabalho que ela deve olhar o documento em vez de confiar na tabela.

O Teste Que Importa

A medida útil de um fluxo de trabalho jurídico com IA não é o quão boa a tabela parece na primeira execução. É se você consegue pegar qualquer célula dessa tabela e mostrar, em uma única etapa, exatamente onde na página ela veio. A compressão é o que torna essa etapa necessária, já que toda solução alternativa para documentos longos substitui o contrato por uma versão menor. A ancoragem à fonte é o que a torna possível. Comece pelo campo em que você menos gostaria de errar e veja se a ferramenta consegue levá-lo até ele.