iMessage 스크린샷에서 고객의 배송 주소와 주문 번호 추출하기

고객이 iMessage로 메시지를 보냅니다. 주소, 주문 세부 정보, 그리고 Apple Pay Cash 결제 내역까지 모두 같은 대화 스레드에 담겨 있습니다. 기록을 위해 스크린샷을 찍습니다. 이제 하나의 이미지 안에 세 가지 유형의 시각적 데이터가 포함됩니다: 주소와 주문 번호가 적힌 일반 텍스트 버블, 결제 확인을 보여주는 스타일링된 Apple Pay Cash 카드, 그리고 가장자리에 시각적 잡음을 추가하는 읽음 확인 또는 입력 중 표시입니다. 주소와 주문 번호는 분명히 있지만, 배송 양식이나 송장과는 전혀 다른 형태의 콘텐츠와 섞여 있습니다.

iMessage가 WhatsApp과 다른 추출 시나리오인 이유

채팅 스크린샷에서 주소를 추출하는 WhatsApp Business 가이드를 읽어보셨다면 기본적인 문제를 아실 것입니다. 채팅 메시지는 양식이 아니며, 필요한 데이터가 대화 텍스트에 포함되어 있다는 점입니다. iMessage도 동일한 핵심 과제를 공유합니다. 주소와 주문 번호가 구조화된 필드가 아닌 메시지 안에 있다는 점은 같지만, WhatsApp에는 없는 세 가지 복잡성이 추가됩니다.

첫째, iMessage는 iOS 전용이므로 스크린샷이 단일 운영체제에서 제공됩니다. 채팅 버블 스타일은 일관적이지만(파란색은 iMessage, 초록색은 SMS), WhatsApp에는 없는 플랫폼 특유의 시각적 요소가 있습니다. 읽음 확인은 메시지 아래에 '읽음' 레이블로 표시됩니다. 입력 중 표시는 애니메이션 말줄임표로 나타납니다. 반응(Tapbacks)은 메시지 위에 인라인으로 아이콘 배지 형태로 표시됩니다. 이러한 요소 중 어느 것도 필요한 데이터를 포함하지 않지만, 기존 OCR 엔진이 구분해야 할 시각적 공간을 차지합니다.

둘째, iMessage는 Apple Pay Cash를 지원합니다. Apple의 자체 피어투피어 결제 시스템입니다. 누군가 Apple Pay Cash로 결제하면 확인 내용이 채팅에 스타일이 적용된 어두운 카드 형태로 표시되며, 일반 텍스트 버블이 아닙니다. 금액, 수취인 이름, 거래 상태는 큰 흰색 텍스트와 색상이 있는 상태 배지가 있는 컴팩트한 검은색 카드 안에 렌더링됩니다. 시각적으로 이 카드는 주변 채팅 버블과 전혀 공통점이 없습니다. 일반 파란색 버블에 있는 주소와 동일한 화면에 결제 카드가 함께 캡처된 스크린샷에는 한 이미지에 완전히 다른 두 가지 시각적 형식이 포함됩니다.

셋째, iMessage는 풍부한 링크 미리보기를 생성합니다. 누군가 URL을 붙여넣으면 채팅에 페이지 제목, 설명, 썸네일이 포함된 카드가 만들어집니다. 고객이 주문 페이지 링크를 붙여넣으면 해당 미리보기가 주소 데이터를 포함할 것처럼 보이지만 일반적으로는 그렇지 않은 또 다른 시각적 요소가 됩니다.

결과적으로 필요한 데이터가 서로 다른 스타일의 UI 요소들 사이에 섞여 있는 이미지가 생성되며, 이 모든 요소가 유용한 정보를 포함하고 있는 것처럼 보입니다. 추출 방법은 주소가 포함된 버블, 결제 금액을 표시하는 카드, 링크만 포함된 미리보기를 구분할 수 있어야 합니다.

세 가지 일반적인 iMessage 주문 시나리오

모든 iMessage 주문 스크린샷이 동일하게 보이지는 않습니다. 고객이 정보를 제출한 방식과 결제가 포함되었는지 여부에 따라 시각적 레이아웃이 달라집니다.

시나리오 1: 텍스트 버블에 표시된 주소와 주문 번호

고객이 대화에서 주소와 주문 세부 정보를 일반 메시지로 입력합니다. 주소는 표준 파란색 iMessage 버블에 나타납니다:

"3421 Maple Street, Apt 4B, Portland, OR 97202로 배송해 주실 수 있나요? 주문 번호 #A45-8921"

주소와 주문 번호는 같은 메시지에 있거나 두 개의 연속된 메시지에 나뉘어 있을 수 있습니다. 버블 텍스트는 일반 텍스트이며, 서식이나 레이블이 없습니다. 주소는 표준 패턴(도로명, 도시, 주, 우편번호)을 따르므로 추출 엔진이 구조를 통해 인식할 수 있으며, 주문 번호는 영숫자 형식과 주문 맥락과의 근접성을 통해 식별 가능합니다. 이 시나리오는 가장 간단합니다. 보낸 사람 이름과 타임스탬프만 주변 요소로 포함된 채팅 버블만 있으면 됩니다.

시나리오 2: 채팅 내 Apple Pay Cash 결제 카드

고객이 동일한 대화 내에서 Apple Pay Cash로 결제하는 경우, 채팅 스레드에는 주변의 모든 버블과 시각적으로 구별되는 어두운 색상의 카드가 포함됩니다. 이 카드는 검은색 배경을 가지며, 큰 흰색 중앙 정렬 텍스트로 금액, 수취인 또는 보낸 사람 이름, 상태 배지("Sent", "Delivered", "Pending"), 그리고 하단에 선택적 메모가 표시됩니다.

이해해야 할 중요한 점은 Apple Pay Cash 카드에 포함되지 않는 내용입니다. 결제 금액과 관련된 사람은 표시되지만, 배송 주소나 주문 번호는 포함되지 않습니다. 이러한 정보는 카드 위나 아래의 텍스트 버블에 남아 있습니다. 두 가지가 모두 포함된 스크린샷에서 데이터를 추출하는 경우, 주소(텍스트 버블에서), 주문 번호(역시 텍스트 버블에서), 결제 금액(카드에서)에 대한 별도의 열이 필요합니다.

이는 결제 정보가 일반적으로 일반 텍스트("귀하의 번호로 85달러를 보냈습니다")로 공유되고 렌더링된 카드 형태가 아닌 WhatsApp Business와의 주목할 만한 차이점입니다. 카드 형식은 결제 확인을 시각적으로 더 두드러지게 만들지만, 추출 엔진이 카드를 별개의 시각적 구성 요소로 인식할 수 있다면 다른 정보와 분리되어 별도로 추출하기 더 쉬운 방식으로 분리되어 있습니다.

시나리오 3: 미리보기 카드가 포함된 주문 링크

일부 고객은 판매자 웹사이트의 URL을 붙여넣어 주문을 공유합니다. iMessage는 채팅에 카드 형태로 표시되는 풍부한 링크 미리보기를 생성합니다. 즉, 둥근 컨테이너 안에 썸네일, 페이지 제목, 설명이 나타납니다. 실제 주소와 주문 번호는 링크와 함께 표시되는 텍스트 버블에 포함될 수도 있고, 링크를 따라가야만 확인할 수 있을 수도 있습니다. 미리보기 카드 자체는 일반적으로 전체 배송 주소나 완전한 주문 번호를 표시하지 않습니다. 고객이 주소를 따로 입력하지 않고 링크만 보냈다면, 해당 데이터는 스크린샷에 표시되지 않습니다. 이는 모든 추출 방식에 적용되는 한계입니다. 정보가 화면에 렌더링되지 않으면 추출할 수 없습니다.

iMessage의 시각적 잡음 읽기

iMessage 스크린샷에는 읽음 확인, 입력 중 표시, Tapbacks(이모지 반응), 메시지 효과, 타임스탬프, 연락처 아바타가 포함될 수 있습니다. 이러한 요소들은 주소와 주문 번호를 추출하려는 경우 시각적 잡음입니다. 이미지를 좌에서 우로 처리하는 기존 OCR 엔진은 "Read"를 텍스트로, 입력 중 표시를 마침표로, 이모지 반응을 유니코드 문자로 읽어 모두 주소와 동일한 출력 스트림에 혼합합니다. 그 결과 "3421 Maple Street"와 "Read", "..."가 순서대로 나타나 수동 정리가 필요한 텍스트 블록이 생성됩니다.

시각적 언어 모델은 스크린샷을 다르게 처리합니다. 이미지를 완전한 시각적 장면으로 해석하고 각 요소의 의미적 역할("이것은 읽음 확인 레이블이다" 대 "이것은 주소가 포함된 채팅 버블이다")을 인식한 후 각 영역 내부의 텍스트를 읽습니다. 읽음 확인 텍스트는 주소 추출을 오염시키지 않으며, 입력 중 표시가 출력에 깨진 문자로 나타나지 않습니다. 각 UI 구성 요소는 포함된 텍스트뿐만 아니라 시각적 기능에 따라 분류됩니다.

스크린샷은 테이블이 아니지만, 이미지의 각 부분이 무엇을 나타내는지 이해함으로써 데이터를 추출할 수 있다는 동일한 원칙이 결제 스크린샷뿐만 아니라 iMessage 인터페이스에도 적용됩니다. 여기서 구체적인 차이점은 iMessage의 시각적 잡음이 문서 콘텐츠가 아닌 대화형 UI 요소로 구성되며, 추출 방식이 이 둘을 구분해야 한다는 점입니다.

추출 가능한 항목과 추출 불가능한 항목

올바른 열 이름을 정의하는 것은 스크린샷에서 무엇을 추출할지 지정하는 데 필요한 유일한 단계입니다. iMessage 주문 스크린샷의 경우 관련 열은 배송 주소, 주문 번호, 결제 금액(Apple Pay Cash 카드에서), 고객 이름(대화 헤더에서)입니다. 추출 엔진은 각 열 정의를 읽고, 각 시각적 요소의 의미론적 역할을 이해하여 해당 값을 찾은 다음, 스크린샷당 하나의 행을 출력합니다. 서로 다른 메시지 형식과 Apple Pay Cash 카드를 가진 여러 고객의 iMessage 스크린샷 15장을 일괄 처리하면 15개의 행이 있는 단일 테이블이 생성됩니다.

알아야 할 제한 사항이 있습니다. Apple Pay Cash 카드 데이터에는 거래 금액만 포함되며 배송 주소나 주문 번호는 포함되지 않습니다. 해당 정보는 텍스트 버블에 있으므로 별도로 추출해야 합니다. 스크린샷에 입력된 주소 대신 링크 미리보기가 캡처된 경우, 주소는 이미지에 표시되지 않습니다. 주소가 여러 버블에 걸쳐 있는 다중 메시지 스레드의 경우, 스크린샷이 모든 부분을 포함할 수 있을 만큼 충분한 대화를 캡처해야 합니다. 그리고 읽음 확인 및 입력 중 표시는 의미론적 추출을 방해하지는 않지만, 고객이 입력을 마치기 전에 스크린샷을 찍은 경우 관심 영역을 정의하기 어렵게 만듭니다.

일괄 처리의 경우 워크플로는 다른 스크린샷 카테고리와 동일합니다. 이미지를 업로드하고, 열을 한 번 정의한 다음, 함께 처리합니다. 데이터가 순수 일반 텍스트인 SMS 주문 확인과 iMessage 스크린샷이 섞인 배치도 동일한 열 구조를 따르며, 추출 방법은 각 입력 이미지의 시각적 형식에 개별적으로 적응합니다.

자주 묻는 질문

카드 스크린샷에서 Apple Pay Cash 거래 ID를 추출할 수 있나요?

iMessage의 Apple Pay Cash 카드에는 금액, 수취인 이름, 상태 배지가 표시됩니다. 전체 거래 ID는 카드에 표시되지 않으며, 카드를 탭하여 Wallet에서 거래 내역을 확인해야 접근할 수 있습니다. 따라서 대화 스크린샷 하나만으로는 해당 데이터를 볼 수 없습니다. 거래 ID를 캡처하려면 Wallet 세부 정보의 별도 스크린샷이 필요합니다.

고객이 주소를 직접 입력하지 않고 연락처 카드로 보내면 어떻게 되나요?

iMessage에서는 연락처 카드(vCard)를 공유할 수 있으며, 이는 연락처 미리보기 버블로 표시됩니다. 추출 엔진은 해당 미리보기에 표시된 주소 텍스트를 읽을 수 있습니다. "주소" 열을 정의하면 엔진이 연락처 카드에 보이는 주소 텍스트를 추출합니다. 스크린샷만으로는 전체 구조화된 연락처 데이터를 얻을 수 없습니다.

투명 잉크 같은 메시지 효과가 추출에 영향을 미치나요?

투명 잉크 메시지는 탭하기 전까지 흐릿하게 표시됩니다. 메시지가 여전히 흐릿한 상태에서 스크린샷을 캡처하면 아래 텍스트를 어떤 추출 방법으로도 읽을 수 없습니다. 색종이 효과 등 전체 화면 효과는 시각적 오버레이를 추가하지만 텍스트를 가리지는 않습니다. 의미론적 추출은 일반적으로 오버레이 콘텐츠를 텍스트 영역과 분리하여 처리합니다.

iMessage와 WhatsApp 스크린샷을 같은 배치에서 처리할 수 있나요?

네. "배송 주소", "주문 번호", "결제 금액" 등 열을 한 번 정의한 후 두 파일을 함께 업로드하면 됩니다. 엔진은 각 스크린샷을 독립적으로 읽으며, iMessage 파란색 버블과 Apple Pay Cash 카드의 시각적 레이아웃을 WhatsApp 초록색 버블과 동일하게 인식합니다. 출력 테이블은 각 소스의 데이터가 올바르게 열에 배치된 상태로 모든 행을 하나의 스프레드시트에 병합합니다.

주소가 여러 채팅 버블에 걸쳐 있으면 어떻게 되나요?

고객이 한 메시지에 도로명 주소를 입력하고 다음 메시지에 도시와 우편번호를 입력하면 주소가 두 개의 버블로 나뉩니다. 엔진은 보이는 전체 대화 영역을 읽고, 동일인이 보낸 인접 메시지의 텍스트를 결합하여 완전한 주소를 구성할 수 있습니다. 신뢰성을 높이려면 각 버블을 따로 캡처하지 말고 두 메시지가 모두 포함되도록 스크린샷을 찍으세요.