Leia um Endereço Coreano e Detalhes do Pedido
a partir de uma Captura de Tela do KakaoTalk

O que uma captura de tela de pedido do KakaoTalk realmente contém

O KakaoTalk é a plataforma de mensagens dominante na Coreia do Sul, usada por mais de 46 milhões de pessoas em um país de 52 milhões. Quando um cliente coreano faz um pedido a uma pequena empresa — um restaurante fazendo uma entrega em massa de alimentos, um revendedor encomendando produtos de beleza, um fornecedor confirmando matérias-primas — toda a transação normalmente acontece dentro do KakaoTalk. O cliente envia seu endereço, lista os itens que deseja e, muitas vezes, também paga pelo KakaoPay, gerando um cartão de confirmação de pagamento estilizado que aparece no mesmo tópico do chat.

Uma única captura de tela dessa conversa pode conter:

• Balões de chat de texto simples com o endereço do cliente em coreano, escritos no sistema de nome de rua (도로명주소) ou no sistema de número de lote (지번주소)
• Detalhes do pedido — nomes dos produtos (상품명), quantidades (수량) e, opcionalmente, preços e solicitações especiais — tudo em coreano conversacional
• Um cartão de pagamento do KakaoPay — um cartão de interface visualmente distinto com um acento verde, mostrando o valor total pago, o nome do comerciante e um selo de status da transação
• Um compartilhamento de localização do KakaoMap — um cartão de pré-visualização mostrando uma miniatura do mapa e o texto do endereço quando o cliente compartilha sua localização através do serviço de mapa integrado do aplicativo
• Elementos visuais da interface — a barra de título da sala de chat mostrando o nome da outra pessoa, a marca "KakaoTalk", carimbos de data/hora, recibos de leitura e a área de entrada de mensagens

Cada um desses elementos tem um formato visual diferente — texto simples, cartão estilizado, miniatura de mapa — mas os dados de que você precisa (o endereço e os detalhes do pedido) perpassam todos eles. Uma ferramenta de OCR tradicional lê a imagem inteira como um único bloco de texto, produzindo uma string bruta de hangul, numerais e rótulos de interface misturados, que você precisa então separar manualmente. O desafio não é que o endereço seja difícil de ler — ele está claramente escrito em coreano. O desafio é extraí-lo de tudo o mais que está na tela.

O Problema do Endereço Duplo: 도로명주소 vs 지번주소

A Coreia do Sul é um dos poucos países do mundo onde dois sistemas de endereço operam lado a lado. O sistema oficial é o Endereço de Nome de Rua (도로명주소, Doro-myeong-juso), introduzido em julho de 2011 e totalmente adotado em janeiro de 2014. Nesse sistema, os endereços seguem um formato lógico baseado em ruas: província ou cidade → distrito → nome da rua → número do edifício. Um endereço de nome de rua típico tem esta aparência:

서울특별시 강남구 테헤란로 123
(Seul, Gangnam-gu, Teheran-ro 123)

Mas o sistema mais antigo, o Endereço de Número de Lote (지번주소, Jibeon-juso), continua em uso generalizado. Esse sistema é baseado em números de parcelas de terra, e não em nomes de ruas, e produz endereços com aparência completamente diferente:

서울특별시 강남구 역삼동 123-45
(Seul, Gangnam-gu, Yeoksam-dong 123-45)

Ambos os endereços podem se referir ao exato mesmo edifício. O Naver Maps e o KakaoMap exibem ambas as versões lado a lado para qualquer localização. Em uma conversa no KakaoTalk, um cliente coreano pode enviar seu endereço em qualquer um dos formatos — aquele com o qual se sente mais confortável ou o que consta em seus documentos oficiais. Uma pessoa escreve "서울시 마포구 서교동 456-7" (lote), enquanto outra escreve "서울시 마포구 와우산로 29길 45" (nome de rua) para o mesmo bairro.

Essa realidade de sistema duplo cria um problema para qualquer método de extração que espera um único formato de endereço. Uma ferramenta baseada em modelo configurada para buscar "Nome da Rua + Número do Edifício" não conseguirá reconhecer um endereço de lote quando encontrar um em uma captura de tela. Por outro lado, uma ferramenta programada para extrair padrões de números de "동(Dong) + 번지(Beonji)" perderá endereços de nome de rua. O cliente não vai padronizar o formato do endereço para você — ele simplesmente digita da forma que conhece. Um método de extração que entende ambos os sistemas por sua estrutura semântica, e não apenas por seu layout visual, é a saída prática para esse impasse.

Três Cenários Comuns de Pedidos no KakaoTalk

A composição visual da captura de tela muda dependendo de como o cliente fez o pedido e se o pagamento foi feito pelo KakaoPay. Cada cenário apresenta considerações de extração ligeiramente diferentes.

Cenário 1: Endereço e Detalhes do Pedido em Bolhas de Chat Comuns

O cenário mais comum: o cliente digita o endereço e o pedido diretamente no chat como mensagens de texto comuns. A conversa pode ser assim:

Cliente: "네, 주문할게요. 김치찌개 3개, 제육볶음 2개 주세요."
(Sim, gostaria de pedir. 3 kimchi jjigae, 2 jeyuk bokkeum, por favor.)
Cliente: "주소는 경기도 성남시 분당구 정자동 178-3번지 203호입니다."
(O endereço é 203-ho, 178-3 Jeongja-dong, Bundang-gu, Seongnam-si, Gyeonggi-do.)

O endereço aparece no formato de número de lote (정자동 178-3) com um número de unidade (203호). Os itens do pedido são listados separadamente em uma mensagem anterior. Ambas as informações estão em texto simples — sem cartões, sem compartilhamento de mapa — mas estão em coreano conversacional, não em campos de formulário rotulados. Uma ferramenta de OCR tradicional geraria "네, 주문할게요. 김치찌개 3개, 제육볶음 2개 주세요." como uma única string contínua junto com o texto do endereço, deixando você separar manualmente os itens do pedido do endereço.

Com a extração semântica baseada em colunas, você define duas colunas — Endereço de Entrega (배송지) e Itens do Pedido (주문 상품) — e o mecanismo lê a captura de tela sabendo que está procurando por duas informações distintas dentro do mesmo texto do chat. Ele encontra o endereço reconhecendo a estrutura de endereço coreana (província → cidade → distrito → número de lote → unidade) e identifica os itens do pedido por seus marcadores de quantidade numérica e padrões de nome de produto, gerando cada um em sua coluna correta sem misturá-los.

Cenário 2: Endereço com um Cartão de Pagamento KakaoPay

O KakaoTalk é profundamente integrado ao KakaoPay, a principal carteira digital da Coreia. Quando um cliente paga pelo KakaoPay dentro do chat, um cartão de confirmação de pagamento aparece diretamente na conversa. O cartão tem uma identidade visual distinta — um cartão de fundo branco ou claro com o acento amarelo-esverdeado característico do Kakao, mostrando o valor total em texto grande e negrito, o nome do comerciante, um carimbo de data/hora da transação e um selo de status ("결제완료" — pagamento concluído).

Este cartão é um elemento de UI independente que fica entre as bolhas de texto. Ele contém o valor do pagamento e a confirmação da transação, mas não contém o endereço de entrega ou os itens do pedido. Estes permanecem nas bolhas de texto acima ou abaixo do cartão. A captura de tela agora contém dois formatos visuais completamente diferentes — texto de chat simples e um cartão de pagamento estilizado — na mesma imagem.

Um mecanismo de extração baseado em colunas construído com IA visual interpreta toda a captura de tela como uma cena composta. Ele reconhece o cartão de pagamento como "uma confirmação do KakaoPay" e extrai o valor para uma coluna Valor do Pagamento (결제 금액) se você definir uma, enquanto lê separadamente as bolhas de texto para obter as informações de endereço e pedido. O OCR tradicional, por outro lado, lê o texto do cartão e o texto do chat em um único fluxo indiferenciado — "결제완료" do rótulo do cartão aparece ao lado do endereço na saída.

Este é o mesmo princípio que se aplica a capturas de tela de pagamento em outras plataformas: a confirmação do pagamento e os detalhes da transação são elementos visualmente distintos na imagem, e o método de extração deve reconhecer a função de cada um, em vez de ler todo o texto como igual.

Cenário 3: Endereço Compartilhado via Cartão de Localização do KakaoMap

O KakaoTalk permite que os usuários compartilhem sua localização atual ou um endereço fixado através do KakaoMap. Quando alguém toca no botão de compartilhar localização, um cartão de pré-visualização aparece no chat mostrando uma miniatura do mapa, o endereço em texto abaixo do mapa e o nome do local, se o usuário fixou um lugar nomeado. O texto do endereço neste cartão é renderizado em uma fonte pequena dentro de uma pré-visualização compacta — e pode estar escrito em qualquer um dos formatos de endereço, dependendo de qual sistema a interface do mapa exibe.

Este cenário apresenta um caso de extração mais difícil. O endereço está presente na imagem, mas é renderizado em um tamanho de fonte pequeno dentro de um cartão que ocupa apenas uma parte da captura de tela. Se o texto no cartão do mapa estiver parcialmente cortado pelos limites da pré-visualização, ou se a captura de tela foi tirada antes do cartão do mapa carregar completamente, o endereço visível pode estar incompleto. Além disso, o KakaoMap mostra por padrão o endereço de nome de rua (도로명주소) em sua pré-visualização, então mesmo que o cliente saiba seu endereço como número de lote (지번주소), o cartão compartilhado provavelmente mostrará o equivalente em nome de rua — o que significa que o formato pode diferir do que o cliente digitou em mensagens anteriores.

Para fins de extração, o cartão do KakaoMap ainda é legível desde que o texto do endereço esteja visível e não truncado. Defina a coluna como faria para um endereço em balão de texto, e o motor lê o texto onde quer que ele apareça na imagem — seja dentro de um balão de chat ou em um cartão de mapa. O risco é o truncamento: se a captura de tela capturar apenas a metade superior do cartão do mapa, a linha do endereço na parte inferior pode ser cortada. Uma captura de tela em altura total que inclua o cartão inteiro de cima a baixo evita esse problema.

Como a Extração Semântica Lida com Endereços Coreanos

A chave para trabalhar com capturas de tela de pedidos do KakaoTalk é o mesmo princípio que se aplica a todo cenário de extração de capturas de tela de chat: você não precisa dizer ao motor qual formato de endereço esperar ou onde na tela procurar. Você define as colunas que deseja — Endereço de Entrega (배송지), Itens do Pedido (주문 상품), Quantidade (수량), Valor do Pagamento (결제 금액) — e a IA lê cada captura de tela como uma cena visual completa, localizando os dados de cada coluna ao entender o que significam e onde normalmente aparecem em uma conversa do KakaoTalk.

Isso é fundamentalmente diferente da extração baseada em modelo ou posição. Uma abordagem tradicional exigiria que você especificasse: "o endereço está no balão de chat, o valor está no cartão de pagamento verde, os itens estão na mensagem anterior". Qualquer desvio — um cliente que envia itens primeiro e endereço depois, um cartão do KakaoPay que aparece acima da lista de itens em vez de abaixo dela — quebra o layout predefinido. A extração semântica não depende de posições fixas ou layouts de página porque interpreta conteúdo, não coordenadas.

Especificamente para endereços coreanos, isso significa que o motor pode reconhecer tanto o formato de nome de rua ("서울시 강남구 테헤란로 123") quanto o formato de número de lote ("서울시 강남구 역삼동 123-45") como endereços, porque ambos seguem padrões estruturais internos que o modelo aprendeu (hierarquia de região administrativa + identificadores numéricos). Ele não precisa ser informado sobre qual esperar — ele lê qualquer formato que o cliente tenha usado e coloca o resultado na coluna "Endereço de Entrega".

O que você pode extrair e quais são os limites

Para uma captura de tela típica de pedido do KakaoTalk, um conjunto de colunas bem definido fornece os seguintes dados de forma confiável:

Há limitações que vale a pena declarar claramente. Se o endereço aparecer apenas dentro de um cartão de compartilhamento de localização do KakaoMap e o texto do cartão estiver truncado na captura de tela, você obterá um endereço parcial. Se os detalhes do pedido do cliente estiverem espalhados por várias mensagens consecutivas e a captura de tela capturar apenas as três últimas bolhas, a lista completa do pedido pode não aparecer. Se o cliente enviar endereço e informações do pedido em mensagens separadas com conversas não relacionadas no meio, o resultado pode incluir texto de preenchimento na mesma coluna se for estruturalmente ambíguo.

Estas são limitações de captura visual, não limitações de extração. A solução para todas elas é a mesma: tire a captura de tela com largura suficiente para incluir todas as mensagens relevantes e defina colunas que correspondam aos dados que você realmente precisa. A IA trabalha com o que a imagem contém — ela não inventa dados ausentes.

Perguntas Frequentes