Como Definir Colunas Personalizadas
e Extrair Dados de Qualquer Captura de Tela de Aplicativo

Os Mesmos Dados, Três Capturas de Tela Radicalmente Diferentes

O cenário acima não é hipotético. Qualquer pessoa que trabalhe com múltiplas plataformas de software conhece a rotina: o Salesforce armazena os dados da oportunidade. O QuickBooks armazena os dados da fatura. O painel de operações armazena o status do atendimento. Cada sistema exibe informações sobrepostas em sua própria linguagem visual — cartões, tabelas, formulários, painéis de status — e reunir esses dados em uma única planilha exige alternar entre janelas e redigitar os mesmos campos de três interfaces diferentes.

A resposta padrão para esse problema — "use uma API" ou "exporte para CSV" — pressupõe que todos os sistemas tenham esses recursos. O painel interno criado em 2011 definitivamente não tem. O aplicativo de banco móvel que mostra um detalhe de transação necessário para a conciliação não tem botão de exportação. A ferramenta de análise SaaS que sua equipe usa só exporta relatórios completos, não os três valores específicos de KPI que você acompanha semanalmente.

Capturas de tela são o menor denominador comum entre todos os softwares — todo aplicativo, todo dispositivo, toda era de software pode produzir uma. A questão não é se você consegue capturar os dados (você já conseguiu, ao tirar a captura de tela). A questão é se você consegue extrair campos específicos dessa captura sem tratar cada nova interface de aplicativo como um problema técnico separado.

Ferramentas de extração baseadas em modelo — o tipo que pede para você desenhar um retângulo ao redor do campo de data da fatura em um documento de exemplo e depois usa essas coordenadas de pixel em todos os documentos subsequentes — nunca funcionam para capturas de tela. Um cartão de negócio do Salesforce coloca o valor em um número hero grande no canto superior esquerdo; uma fatura do QuickBooks o coloca em uma célula "Balance Due" no canto inferior direito de uma tabela; um painel interno o coloca em um cartão colorido no meio de uma grade de métricas. Três UIs, três sistemas de coordenadas. Um modelo que funciona na primeira captura de tela quebra na segunda por design — as coordenadas não significam nada fora do aplicativo em que foram medidas.

Essa é a mudança que torna a Extração de Colunas Personalizadas algo que vale a pena entender para quem trabalha com capturas de tela. Não é uma versão mais rápida da abordagem de desenhar retângulos — é um princípio fundamentalmente diferente.

Como a Extração de Colunas Personalizadas Encontra Valores Sem Saber Onde Eles Estão

A extração de colunas personalizadas funciona com um princípio único: você descreve o que deseja encontrar, e a IA pesquisa a página inteira por valores que correspondam a essa descrição — não procurando por texto de rótulo correspondente, mas entendendo o que o rótulo significa e identificando valores que se encaixam em seu papel semântico.

Quando você digita "Deal Amount" como nome de coluna, não está dizendo à IA para procurar o texto exato "Deal Amount" na página. Você está dizendo: "encontre um valor monetário que represente o valor total de uma transação ou oportunidade de negócio." A IA lê a captura de tela inteira — cada rótulo, cada número, cada pedaço de texto de contexto — e localiza o valor que preenche esse papel semântico. Na captura de tela do Salesforce, isso pode ser "$47,200" exibido em destaque no topo de um cartão de oportunidade. Na captura de tela do QuickBooks, pode ser "$47,200" na linha "Balance Due" de uma tabela de fatura. No painel interno, pode ser "47,200" mostrado dentro de um cartão de métrica colorido sem símbolo de moeda algum.

O mesmo nome de coluna funciona nas três situações porque a IA está resolvendo um problema semântico, não espacial. Ela pergunta "qual número nesta página funciona como o valor do negócio?" — não "qual texto está nas coordenadas (340, 128)?" A diferença é a distinção entre entender um documento e fotografá-lo.

É por isso que a abordagem às vezes é chamada de extração por nome de coluna: os nomes que você digita nos cabeçalhos das colunas da sua tabela de saída funcionam também como as instruções de extração. Não há uma etapa separada para configurar regras, nenhuma fase de treinamento para anotar documentos de exemplo, nenhuma biblioteca de modelos para manter. Os mesmos nomes de coluna que aparecem no seu arquivo Excel final são os que a IA usou para encontrar os dados.

Para uma visão mais ampla de como a extração de capturas de tela difere do OCR tradicional, consulte nosso guia completo para extrair dados de capturas de tela.

Passo a Passo: Defina Suas Colunas Uma Vez e Extraia de Qualquer Captura de Tela

O fluxo de trabalho tem três etapas, e a primeira é a única que você faz mais de uma vez. Essa assimetria é o ponto central: você investe o raciocínio antecipadamente, e cada captura de tela subsequente passa pela mesma definição sem nenhuma reconfiguração.

Etapa 1: Nomeie os campos que você precisa. Esta é a única decisão que você toma. Abra a ferramenta de extração e digite os nomes das colunas que correspondem aos dados que você deseja — exatamente como você quer que apareçam na sua planilha de saída. Para um fluxo de trabalho de acompanhamento de negócios entre aplicativos, você pode inserir:

Para um fluxo de trabalho de conciliação financeira com capturas de tela de aplicativos bancários, confirmações de pagamento e painéis de sistemas contábeis, você pode inserir:

Esses nomes de colunas são sua especificação de extração. A IA os lê como instruções — "encontre valores que correspondam a esta descrição" — e não como strings de busca literais. O rótulo "Customer" corresponderá a "Client", "Account Name", "Bill To" ou qualquer outro campo semanticamente equivalente em diferentes interfaces de aplicativos. Para detalhes sobre como tornar seus nomes de colunas o mais precisos possível, vá para a seção de estratégia de nomenclatura abaixo.

Etapa 2: Envie suas capturas de tela. Arraste o cartão de negócio do Salesforce, a aba de fatura do QuickBooks e a captura do painel interno — ou 50 capturas de tela de 10 aplicativos diferentes. A IA processa cada captura de tela de forma independente, aplicando as mesmas definições de colunas a cada uma. Ela não precisa saber qual captura veio de qual aplicativo.

Etapa 3: Baixe a tabela mesclada. Cada valor que a IA encontrou para cada nome de coluna é organizado em linhas — uma linha por captura de tela. Os cabeçalhos das colunas no seu arquivo de saída são exatamente os nomes que você digitou na Etapa 1. Se uma captura de tela específica não contiver um valor para uma coluna específica (por exemplo, o painel interno não tem um campo "Owner"), essa célula fica em branco — a extração continua para as colunas restantes sem erro.

Como Nomear Colunas para Máxima Precisão na Extração de Capturas de Tela

Os nomes das colunas têm mais peso na extração de capturas de tela do que no processamento tradicional de documentos. Uma fatura em PDF quase sempre usa texto de rótulo previsível: "Número da Fatura", "Data de Vencimento", "Subtotal". As interfaces de captura de tela usam o rótulo que o designer do aplicativo escolheu — e entre diferentes aplicativos, esses rótulos variam muito.

Os princípios de nomenclatura abaixo são especificamente ajustados para o fluxo de trabalho de captura de tela para planilha, onde o mesmo nome de coluna deve funcionar em interfaces projetadas por equipes diferentes com convenções diferentes.

Um usuário do Reddit trabalhando com mais de 600 capturas de tela de um aplicativo de coleta de dados de campo capturou o problema de nomenclatura de forma sucinta: eles precisavam de "Número da Etiqueta, Comprimento (cm), Peso (kg), Tipo de Evento, Etiquetador, Data, Hora, GPS/Localização, Temperatura da Água" de cada imagem. As unidades entre parênteses — "(cm)", "(kg)", "(°C)" — não são detalhes opcionais. São instruções que dizem à IA qual número é qual quando a interface mostra várias medições na mesma tela.

Processamento em Lote: Uma Definição de Coluna, Qualquer Número de Capturas de Tela de Qualquer Aplicativo

Depois que os nomes das colunas são definidos, o fluxo de trabalho escala sem configuração adicional. É aqui que o investimento na primeira etapa compensa: 5 capturas de tela ou 500 — de 2 aplicativos ou 20 — a especificação de extração não muda.

Considere o pesquisador de campo com 600 capturas de tela de um aplicativo móvel de registro de dados. Cada captura contém os mesmos tipos de dados (número de etiqueta, comprimento, peso, coordenadas GPS), organizados no mesmo layout de interface no mesmo aplicativo. Esse é o caso fácil — mesmo aplicativo, mesmo layout, apenas alto volume. A Extração de Colunas Personalizadas lida com isso, mas um modelo de OCR bem configurado também daria conta.

O caso mais difícil — e o que torna a Extração de Colunas Personalizadas a arquitetura certa — é quando as capturas vêm de aplicativos diferentes. Um gerente de operações coletando métricas semanais pode capturar:

• Receita e número de pedidos de um painel administrativo do Shopify (layout de dashboard de e-commerce)
• Envios pendentes de uma tela do ShipStation (layout de tabela logística)
• Volume de tickets de suporte ao cliente de um dashboard do Zendesk (layout de cartões analíticos)
• Saldo bancário de uma captura de tela do aplicativo móvel do Chase (layout de cartão de aplicativo bancário)

Cada captura parece completamente diferente. No entanto, as colunas — "Receita", "Pedidos", "Envios Pendentes", "Tickets Abertos", "Saldo Bancário" — encontram seus valores em cada uma delas. A IA lê cada captura de forma independente, entende quais dados contém e mapeia os valores correspondentes para as colunas certas. O resultado é uma única tabela com uma linha por captura e exatamente as colunas que você definiu.

Para um passo a passo mais detalhado do fluxo de trabalho em lote — incluindo convenções de nomenclatura, mesclagem de resultados e tratamento de capturas de múltiplas fontes — consulte nosso guia sobre processamento em lote de capturas de tela de aplicativos em planilhas estruturadas. Se você é novo na extração de capturas de tela e quer uma base mais ampla, comece com como obter dados de capturas de tela para o Excel sem digitar.

Para uma ferramenta dedicada que converte qualquer captura de tela em dados Excel estruturados usando a abordagem de nomes de colunas descrita aqui, consulte nossa ferramenta de extração de captura de tela para Excel.

Perguntas Frequentes

Isso funciona em capturas de tela que não contêm tabelas — apenas cartões ou pares de rótulo-valor?

Sim. Esse é o cenário em que a extração de colunas personalizadas oferece mais valor em comparação com ferramentas de detecção de tabelas. Uma confirmação de pagamento é composta por três pares de rótulo-valor empilhados verticalmente. Um cartão de negócio do CRM é um cartão visual com 8 a 10 campos organizados em um layout não tabular. O detalhe de uma transação em um aplicativo bancário é uma lista rolável de linhas de chave-valor. A IA encontra os valores que você solicitou, independentemente de o layout ser uma tabela, um cartão, um formulário ou uma disposição mista — ela lê pelo significado, não pela estrutura de grade.

E se dois números diferentes na mesma captura de tela puderem corresponder ao nome de uma coluna?

É por isso que a especificidade do nome da coluna é importante. "Valor" é ambíguo — um cartão de oportunidade do Salesforce pode mostrar o valor do negócio, a receita esperada e a receita recorrente anual, tudo na mesma tela. "Valor do Negócio" é específico o suficiente para eliminar a ambiguidade. Se a ambiguidade persistir, você pode adicionar uma dica de formato ou posição: "Valor do Negócio (o maior valor em dólares no cartão)" dá à IA contexto suficiente para escolher o correto. Quanto mais preciso for o nome da sua coluna, menor será a margem para ambiguidade.

Posso extrair dados de capturas de tela que incluem texto e números em layouts não estruturados?

Sim, dentro de limites razoáveis. Se uma captura de tela contiver um parágrafo de texto livre e, em algum lugar dentro dele, estiver o dado que você precisa (por exemplo, uma mensagem de chat que diz "por favor, envie 50 unidades do SKU-4421 para a Rua Principal, 123"), a IA pode extrair a quantidade, o SKU e o endereço como colunas separadas — desde que os nomes das suas colunas sejam claros sobre o que você procura ("Quantidade de Envio", "SKU", "Endereço de Entrega"). A extração é menos confiável do que em UIs estruturadas, mas funciona. Para extração de pedidos baseada em chat especificamente, a mesma abordagem de nomes de colunas se aplica.

Qual precisão devo esperar da extração de capturas de tela entre aplicativos?

A precisão depende de três fatores: qualidade da entrada (capturas de tela limpas e legíveis funcionam melhor do que as borradas ou cortadas), especificidade do nome da coluna (nomes vagos produzem correspondências ambíguas) e clareza semântica da interface (um aplicativo que rotula campos claramente produz melhores resultados do que um que esconde valores em texto denso). Na prática, colunas bem nomeadas em capturas de tela nítidas alcançam alta precisão — frequentemente acima de 95% para campos diretos como valores, datas e nomes. UIs complexas ou com muitas abreviações podem exigir verificações manuais ocasionais, por isso a tabela de saída é uma planilha padrão que você pode editar diretamente.

Essa abordagem funciona para capturas de tela em outros idiomas além do inglês?

Os nomes das colunas devem corresponder ao idioma do seu resultado desejado, não necessariamente ao idioma da captura de tela. Se sua coluna é "Customer Name" e a captura de tela está em alemão mostrando "Kundenname", a IA entende que ambos se referem ao mesmo conceito. A correspondência semântica funciona entre idiomas porque opera com base no significado, não na correspondência de strings.

Como isso difere do recurso "Data from Picture" integrado do Excel?

O "Data from Picture" do Excel é um detector de tabelas — ele procura estruturas de grade de linhas e colunas e as converte em células de planilha. Ele funciona bem com tabelas limpas e com bordas. Não funciona com layouts de cartões, pares de rótulo-valor, KPIs de painel ou qualquer interface não tabular. A extração de colunas personalizadas não exige que os dados estejam em uma tabela — ela encontra valores por função semântica em qualquer lugar da página. As duas abordagens resolven problemas diferentes.