Como Definir Colunas Personalizadas
e Extrair Dados de Qualquer Captura de Tela de App

Os Mesmos Dados, Três Capturas de Tela Radicalmente Diferentes

O cenário acima não é hipotético. Quem trabalha com múltiplas plataformas de software conhece a rotina: o Salesforce armazena os dados da oportunidade. O QuickBooks armazena os dados da fatura. O painel de operações armazena o status da entrega. Cada sistema exibe informações sobrepostas em sua própria linguagem visual — cartões, tabelas, formulários, painéis de status — e reunir esses dados em uma única planilha exige alternar entre janelas e redigitar os mesmos campos de três interfaces diferentes.

A resposta padrão para esse problema — "use uma API" ou "exporte para CSV" — pressupõe que todos os sistemas tenham esses recursos. O painel interno criado em 2011 definitivamente não tem. O aplicativo de banco móvel que mostra um detalhe de transação necessário para a conciliação não tem botão de exportação. A ferramenta de análise SaaS que sua equipe usa só exporta relatórios completos, não os três valores específicos de KPI que você acompanha semanalmente.

Capturas de tela são o menor denominador comum entre todos os softwares — todo aplicativo, todo dispositivo, toda era de software pode produzir uma. A questão não é se você consegue capturar os dados (você já capturou, ao tirar a captura de tela). A questão é se você consegue extrair campos específicos dessa captura sem tratar cada nova interface de aplicativo como um problema técnico separado.

Ferramentas de extração baseadas em template — aquelas que pedem para você desenhar um retângulo ao redor do campo de data da fatura em um documento de exemplo, e depois usam essas coordenadas de pixel em todos os documentos seguintes — nunca funcionam para capturas de tela. Um cartão de negócio do Salesforce coloca o valor em um número grande e destacado no canto superior esquerdo; uma fatura do QuickBooks coloca o valor em uma célula de "Saldo Devedor" no canto inferior direito de uma tabela; um painel interno coloca o valor em um cartão colorido no meio de uma grade de métricas. Três interfaces, três sistemas de coordenadas. Um template que funciona na primeira captura de tela quebra na segunda por design — as coordenadas não significam nada fora do aplicativo onde foram medidas.

Essa é a mudança que torna a extração de colunas personalizada algo que vale a pena entender para quem trabalha com capturas de tela. Não é uma versão mais rápida da abordagem de desenhar retângulos — é um princípio fundamentalmente diferente.

Como a Extração de Colunas Personalizada Encontra Valores Sem Saber Onde Eles Estão

A extração de colunas personalizada funciona com um único princípio: você descreve o que deseja encontrar, e a IA pesquisa toda a página por valores que correspondam a essa descrição — não escaneando por texto de rótulo correspondente, mas entendendo o que o rótulo significa e identificando valores que se encaixam em seu papel semântico.

Ao digitar "Valor do Negócio" como nome de coluna, você não está pedindo para a IA procurar o texto exato "Valor do Negócio" na página. Você está dizendo: "encontre um valor monetário que represente o valor total de uma transação ou oportunidade de negócio." A IA lê a captura de tela inteira — cada rótulo, cada número, cada pedaço de texto de contexto — e localiza o valor que preenche esse papel semântico. Na captura de tela do Salesforce, pode ser "$47.200" exibido em destaque no topo de um cartão de oportunidade. Na captura de tela do QuickBooks, pode ser "$47.200" na linha "Saldo Devedor" de uma tabela de fatura. No painel interno, pode ser "47.200" mostrado dentro de um cartão de métrica colorido, sem nenhum símbolo de moeda.

O mesmo nome de coluna funciona em todos os três porque a IA está resolvendo um problema semântico, não um problema espacial. Ela está perguntando "qual número nesta página funciona como o valor do negócio?" — não "qual texto está nas coordenadas (340, 128)?" A diferença é a distinção entre entender um documento e fotografá-lo.

É por isso que a abordagem às vezes é chamada de extração por nome de coluna: os nomes que você digita nos cabeçalhos das colunas da sua tabela de saída funcionam como as instruções de extração. Não há uma etapa separada onde você configura regras, nenhuma fase de treinamento onde você anota documentos de amostra, nenhuma biblioteca de modelos para manter. Os mesmos nomes de coluna que aparecem no seu arquivo Excel final são os que a IA usou para encontrar os dados.

Para uma visão mais ampla de como a extração de capturas de tela difere do OCR tradicional, veja nosso guia completo para extrair dados de capturas de tela.

Passo a Passo: Defina Suas Colunas Uma Vez, Extraia de Qualquer Captura de Tela

O fluxo de trabalho tem três etapas, e a primeira é a única que você faz mais de uma vez. Essa assimetria é o ponto principal: você investe o raciocínio antecipadamente, e cada captura de tela subsequente segue a mesma definição sem nenhuma reconfiguração.

Etapa 1: Nomeie os campos que você precisa. Esta é a única decisão que você toma. Abra a ferramenta de extração e digite os nomes das colunas que correspondem aos dados que você deseja — exatamente como você quer que apareçam em sua planilha de saída. Para um fluxo de trabalho de rastreamento de negócios entre aplicativos, você pode inserir:

Para um fluxo de trabalho de reconciliação financeira extraindo de capturas de tela de aplicativos bancários, confirmações de pagamento e painéis de sistemas contábeis, você pode inserir:

Esses nomes de colunas são sua especificação de extração. A IA os lê como instruções — "encontre valores que correspondam a esta descrição" — e não como strings de pesquisa literais. O rótulo "Cliente" corresponderá a "Cliente", "Nome da Conta", "Cobrar De" ou qualquer outro campo semanticamente equivalente em diferentes interfaces de aplicativos. Para detalhes sobre como tornar seus nomes de colunas o mais precisos possível, vá para a seção de estratégia de nomenclatura abaixo.

Etapa 2: Envie suas capturas de tela. Arraste o cartão de negócio do Salesforce, a aba de fatura do QuickBooks e a captura do painel interno — ou 50 capturas de 10 aplicativos diferentes. A IA processa cada captura de tela de forma independente, aplicando as mesmas definições de coluna a cada uma. Ela não precisa saber qual captura veio de qual aplicativo.

Etapa 3: Baixe a tabela mesclada. Cada valor que a IA encontrou para cada nome de coluna é organizado em linhas — uma linha por captura de tela. Os cabeçalhos das colunas no arquivo de saída são exatamente os nomes que você digitou na Etapa 1. Se uma captura de tela específica não contiver um valor para uma coluna (por exemplo, o painel interno não tem o campo "Proprietário"), essa célula fica em branco — a extração continua para as colunas restantes sem erro.

Como Nomear Colunas para Máxima Precisão na Extração de Capturas de Ecrã

Os nomes das colunas têm mais peso na extração de capturas de ecrã do que no processamento tradicional de documentos. Uma fatura em PDF usa quase sempre texto de etiqueta previsível: "Número da Fatura", "Data de Vencimento", "Subtotal". As interfaces de captura de ecrã usam a etiqueta que o designer da aplicação escolheu — e em diferentes aplicações, essas etiquetas variam imenso.

Os princípios de nomeação abaixo são especificamente ajustados para o fluxo de trabalho de captura de ecrã para folha de cálculo, onde o mesmo nome de coluna deve funcionar em interfaces desenhadas por equipas diferentes com convenções diferentes.

Um usuário do Reddit que trabalha com mais de 600 capturas de tela de um aplicativo de coleta de dados de campo resumiu o problema de nomenclatura de forma sucinta: eles precisavam extrair "Número da Etiqueta, Comprimento (cm), Peso (kg), Tipo de Evento, Identificador, Data, Hora, GPS/Localização, Temperatura da Água" de cada imagem. As unidades entre parênteses — "(cm)", "(kg)", "(°C)" — não são detalhes opcionais. São instruções que informam à IA qual número é qual quando a interface exibe várias medições na mesma tela.

Processamento em Lote: Uma Definição de Coluna, Qualquer Número de Capturas de Tela de Qualquer Aplicativo

Depois que os nomes das colunas são definidos, o fluxo de trabalho escala sem configuração adicional. É aqui que o investimento na primeira etapa compensa: 5 capturas de tela ou 500 — de 2 aplicativos ou 20 — a especificação de extração não muda.

Considere o pesquisador de campo com 600 capturas de tela de um aplicativo móvel de registro de dados. Cada captura contém os mesmos tipos de dados (número da etiqueta, comprimento, peso, coordenadas GPS), organizados no mesmo layout de interface no mesmo aplicativo. Esse é o caso fácil — mesmo aplicativo, mesmo layout, apenas alto volume. A extração personalizada de colunas lida com isso, mas um modelo de OCR bem configurado também daria conta.

O caso mais difícil — e aquele que torna a extração personalizada de colunas a arquitetura correta — é quando as capturas de tela vêm de aplicativos diferentes. Um gerente de operações que coleta métricas semanais pode capturar:

• Receita e número de pedidos de um painel administrativo do Shopify (layout de dashboard de e-commerce)
• Remessas pendentes de uma tela do ShipStation (layout de tabela logística)
• Volume de tickets de suporte ao cliente de um painel do Zendesk (layout de cartão analítico)
• Saldo bancário de uma captura de tela do aplicativo do Chase (layout de cartão de aplicativo bancário)

Cada captura de tela parece completamente diferente. No entanto, as colunas — "Receita", "Pedidos", "Remessas Pendentes", "Chamados Abertos", "Saldo Bancário" — encontram seus valores em todas elas. A IA lê cada captura de tela de forma independente, entende quais dados ela contém e mapeia os valores correspondentes para as colunas corretas. O resultado é uma única tabela com uma linha por captura de tela e exatamente as colunas que você definiu.

Para um guia mais detalhado sobre o fluxo de trabalho em lote — incluindo convenções de nomenclatura, mesclagem de resultados e tratamento de capturas de tela de várias fontes — consulte nosso guia sobre processamento em lote de capturas de tela de aplicativos em planilhas estruturadas. Se você é novo na extração de capturas de tela e deseja uma base mais ampla, comece com como obter dados de capturas de tela para o Excel sem digitar.

Para uma ferramenta dedicada que converte qualquer captura de tela em dados estruturados do Excel usando a abordagem de nomes de colunas descrita aqui, consulte nossa ferramenta de extração de captura de tela para Excel.

Perguntas Frequentes

Isso funciona em capturas de tela que não contêm tabelas — apenas cartões ou pares de rótulo e valor?

Sim. Esse é o cenário onde a extração de colunas personalizadas oferece mais valor em relação às ferramentas de detecção de tabelas. Uma confirmação de pagamento são três pares de rótulo e valor empilhados verticalmente. Um cartão de negócio do CRM é um cartão visual com 8 a 10 campos organizados em um layout não tabular. Um detalhe de transação de aplicativo bancário é uma lista rolável de linhas de chave e valor. A IA encontra os valores solicitados independentemente de o layout ser uma tabela, um cartão, um formulário ou uma disposição mista — ela lê pelo significado, não pela estrutura de grade.

E se dois números diferentes na mesma captura de tela puderem corresponder ao nome de uma coluna?

É por isso que a especificidade do nome da coluna é importante. "Valor" é ambíguo — um card de oportunidade no Salesforce pode mostrar o valor do negócio, a receita esperada e a receita recorrente anual tudo na mesma tela. "Valor do Negócio" é específico o suficiente para desambiguar. Se a ambiguidade persistir, você pode adicionar uma dica de formato ou posição: "Valor do Negócio (o maior valor em dólares no card)" dá à IA contexto suficiente para escolher o correto. Quanto mais preciso for o nome da sua coluna, menor a margem para ambiguidade.

Posso extrair dados de capturas de tela que incluem texto e números em layouts não estruturados?

Sim, dentro de limites razoáveis. Se uma captura de tela contém um parágrafo de texto livre e, em algum lugar dele, estão os dados que você precisa (por exemplo, uma mensagem de chat que diz "por favor, envie 50 unidades do SKU-4421 para a Rua Principal, 123"), a IA pode extrair a quantidade, o SKU e o endereço como colunas separadas — desde que os nomes das suas colunas sejam claros sobre o que você está procurando ("Quantidade de Envio", "SKU", "Endereço de Entrega"). A extração é menos confiável do que em UIs estruturadas, mas funciona. Para extração de pedidos baseados em chat especificamente, a mesma abordagem de nomes de colunas se aplica.

Qual precisão devo esperar da extração de capturas de tela entre aplicativos?

A precisão depende de três fatores: qualidade da entrada (capturas de tela limpas e legíveis funcionam melhor do que as borradas ou cortadas), especificidade do nome da coluna (nomes vagos produzem correspondências ambíguas) e a clareza semântica da interface (um aplicativo que rotula campos claramente produz melhores resultados do que um que enterra valores em texto denso). Na prática, colunas bem nomeadas em capturas de tela nítidas alcançam alta precisão — geralmente acima de 95% para campos diretos como valores, datas e nomes. UIs complexas ou com muitas abreviações podem exigir verificações manuais ocasionais, e é por isso que a tabela de saída é uma planilha padrão que você pode editar diretamente.

Esta abordagem funciona para capturas de tela em outros idiomas além do inglês?

Os nomes das colunas devem corresponder ao idioma do seu resultado de destino, não necessariamente ao idioma da captura de tela. Se sua coluna for "Customer Name" e a captura de tela estiver em alemão mostrando "Kundenname", a IA entende que ambos se referem ao mesmo conceito. A correspondência semântica funciona entre idiomas porque opera com base no significado, e não na correspondência de strings.

Qual é a diferença do recurso "Dados da Imagem" do Excel?

O "Dados da Imagem" do Excel é um detector de tabelas — ele procura estruturas de grade de linhas e colunas e as converte em células de planilha. Ele funciona bem com tabelas limpas e com bordas. Não funciona com layouts de cartão, pares rótulo-valor, KPIs de painel ou qualquer interface não tabular. A extração personalizada de colunas não exige que os dados estejam em uma tabela — ela encontra valores por função semântica em qualquer lugar da página. As duas abordagens resolvem problemas diferentes.