모든 앱 스크린샷에서 맞춤 열을 정의하고
데이터를 추출하는 방법

동일한 데이터, 완전히 다른 세 가지 스크린샷

위 시나리오는 가상의 이야기가 아닙니다. 여러 소프트웨어 플랫폼을 오가며 일하는 사람이라면 누구나 익숙한 일상입니다. Salesforce에는 영업 기회 데이터가, QuickBooks에는 인보이스 데이터가, 운영 대시보드에는 주문 처리 상태가 저장되어 있습니다. 각 시스템은 카드, 테이블, 양식, 상태 패널 등 저마다의 시각적 방식으로 중복된 정보를 표시하며, 이 데이터를 하나의 스프레드시트로 모으려면 창을 전환하고 세 가지 다른 인터페이스에서 동일한 필드를 다시 입력해야 합니다.

이 문제에 대한 일반적인 해결책인 "API 사용" 또는 "CSV 내보내기"는 모든 시스템에 그러한 기능이 있다는 전제를 깔고 있습니다. 2011년에 구축된 내부 대시보드에는 그런 기능이 당연히 없습니다. 조정에 필요한 거래 내역을 보여주는 모바일 뱅킹 앱에는 내보내기 버튼이 없습니다. 팀이 사용하는 SaaS 분석 도구는 전체 보고서만 내보낼 수 있을 뿐, 매주 추적하는 세 가지 특정 KPI 값은 내보낼 수 없습니다.

스크린샷은 모든 소프트웨어에서 공통으로 사용할 수 있는 가장 보편적인 형식입니다. 모든 앱, 모든 기기, 모든 시대의 소프트웨어가 스크린샷을 생성할 수 있습니다. 핵심 질문은 데이터를 캡처할 수 있느냐가 아닙니다(이미 스크린샷을 찍음으로써 캡처했습니다). 핵심 질문은 모든 새로운 앱 인터페이스를 별도의 기술적 문제로 취급하지 않고, 해당 캡처에서 특정 필드를 추출할 수 있느냐입니다.

템플릿 기반 추출 도구, 즉 샘플 문서의 인보이스 날짜 필드 주위에 사각형을 그리고 이후 모든 문서에 해당 픽셀 좌표를 적용하는 방식의 도구는 스크린샷에는 절대 작동하지 않습니다. Salesforce 거래 카드는 금액을 왼쪽 상단의 큰 숫자로 표시하고, QuickBooks 인보이스는 표 오른쪽 하단의 "Balance Due" 셀에 표시하며, 내부 대시보드는 지표 그리드 중간의 색상 카드에 표시합니다. 세 가지 UI, 세 가지 좌표계. 첫 번째 스크린샷에서 작동한 템플릿은 설계상 두 번째 스크린샷에서는 깨집니다. 좌표는 측정된 앱 외부에서는 아무 의미가 없기 때문입니다.

이러한 변화 덕분에 스크린샷을 다루는 모든 사람에게 맞춤 열 추출을 이해하는 것이 중요해졌습니다. 이는 사각형 그리기 방식의 더 빠른 버전이 아니라, 근본적으로 다른 원리입니다.

맞춤 열 추출이 위치를 몰라도 값을 찾는 방법

맞춤 열 추출은 한 가지 원리로 작동합니다. 찾고자 하는 것을 설명하면 AI가 전체 페이지에서 그 설명과 일치하는 값을 검색합니다. 라벨 텍스트를 일치시켜 스캔하는 것이 아니라 라벨의 의미를 이해하고 의미적 역할에 맞는 값을 식별하는 방식입니다.

열 이름으로 "Deal Amount"를 입력할 때 페이지에서 정확한 텍스트 "Deal Amount"를 찾으라고 AI에 지시하는 것이 아닙니다. "비즈니스 거래나 기회의 총 가치를 나타내는 금전적 가치를 찾아라"라고 지시하는 것입니다. AI는 전체 스크린샷(모든 라벨, 모든 숫자, 모든 컨텍스트 텍스트)을 읽고 해당 의미적 역할을 채우는 값을 찾습니다. Salesforce 스크린샷에서는 기회 카드 상단에 눈에 띄게 표시된 "$47,200"일 수 있습니다. QuickBooks 스크린샷에서는 인보이스 테이블의 "Balance Due" 행에 있는 "$47,200"일 수 있습니다. 내부 대시보드에서는 통화 기호 없이 색상이 있는 메트릭 카드 안에 표시된 "47,200"일 수 있습니다.

동일한 열 이름이 세 경우 모두에서 작동하는 이유는 AI가 공간적 문제가 아닌 의미적 문제를 해결하기 때문입니다. "이 페이지에서 어떤 숫자가 거래 금액으로 기능하는가?"라고 묻는 것이지 "좌표 (340, 128)에 있는 텍스트는 무엇인가?"라고 묻는 것이 아닙니다. 이 차이는 문서를 이해하는 것과 문서를 촬영하는 것의 차이입니다.

이 때문에 이 접근 방식을 열 이름 추출이라고도 합니다. 출력 테이블의 열 헤더에 입력하는 이름이 추출 지침으로도 사용됩니다. 규칙을 구성하는 별도의 단계도, 샘플 문서에 주석을 다는 학습 단계도, 유지 관리할 템플릿 라이브러리도 없습니다. 최종 Excel 파일에 표시되는 열 이름이 AI가 데이터를 찾는 데 사용한 이름과 동일합니다.

스크린샷 추출이 기존 OCR과 어떻게 다른지 더 자세히 알아보려면 스크린샷에서 데이터 추출에 대한 전체 가이드를 참조하세요.

단계별 가이드: 열을 한 번 정의하면 모든 스크린샷에서 추출할 수 있습니다

워크플로우는 세 단계로 구성되며, 1단계만 반복해서 수행하면 됩니다. 이러한 비대칭성이 핵심입니다. 사전에 설계를 투자하면 이후의 모든 스크린샷은 재구성 없이 동일한 정의를 통해 처리됩니다.

1단계: 필요한 필드 이름을 지정하세요. 이것이 유일한 결정 사항입니다. 추출 도구를 열고 출력 스프레드시트에 표시되길 원하는 대로 데이터 포인트에 해당하는 열 이름을 입력하세요. 앱 간 거래 추적 워크플로우의 경우 다음과 같이 입력할 수 있습니다:

은행 앱 스크린샷, 결제 확인서, 회계 시스템 대시보드에서 데이터를 가져오는 재무 조정 워크플로우의 경우 다음과 같이 입력할 수 있습니다:

이러한 열 이름은 추출 사양입니다. AI는 이를 리터럴 검색 문자열이 아닌 "이 설명과 일치하는 값을 찾으라"는 지침으로 읽습니다. "Customer"라는 라벨은 다양한 앱 UI에서 "Client", "Account Name", "Bill To" 또는 기타 의미상 동등한 필드와 일치합니다. 열 이름을 최대한 정확하게 만드는 방법에 대한 자세한 내용은 아래 명명 전략 섹션을 참조하세요.

2단계: 스크린샷을 업로드하세요. Salesforce 거래 카드, QuickBooks 인보이스 탭, 내부 대시보드 캡처를 끌어다 놓거나 10개 앱의 스크린샷 50장을 업로드하세요. AI는 각 스크린샷을 독립적으로 처리하며 동일한 열 정의를 각각에 적용합니다. 어떤 스크린샷이 어떤 앱에서 왔는지 알 필요가 없습니다.

3단계: 병합된 테이블을 다운로드하세요. AI가 각 열 이름에 대해 찾은 모든 값은 행으로 구성됩니다 — 스크린샷당 한 행입니다. 출력 파일의 열 머리글은 1단계에서 입력한 정확한 이름입니다. 특정 스크린샷에 특정 열에 대한 값이 없는 경우(예: 내부 대시보드에 "Owner" 필드가 없는 경우) 해당 셀은 비워 둡니다 — 나머지 열에 대한 추출은 오류 없이 계속됩니다.

스크린샷 추출 정확도를 극대화하는 열 이름 지정 방법

열 이름은 기존 문서 처리보다 스크린샷 추출에서 더 큰 비중을 차지합니다. PDF 인보이스는 거의 항상 "Invoice Number", "Due Date", "Subtotal" 같은 예측 가능한 라벨 텍스트를 사용합니다. 스크린샷 UI는 앱 디자이너가 선택한 라벨을 사용하며, 앱마다 그 라벨이 크게 다릅니다.

아래의 이름 지정 원칙은 서로 다른 팀과 관례에 따라 설계된 UI에서 동일한 열 이름이 작동해야 하는 스크린샷-스프레드시트 워크플로우에 특별히 맞춰진 것입니다.

현장 데이터 수집 앱에서 600개 이상의 스크린샷을 작업한 Reddit 사용자는 이름 지정 문제를 간결하게 설명했습니다: 각 이미지에서 "Tag Number, Length (cm), Weight (kg), Event Type, Tagger, Date, Time, GPS/Location, Water Temperature"가 필요했습니다. 괄호 안의 단위 — "(cm)", "(kg)", "(°C)" — 는 선택적 세부 사항이 아닙니다. UI가 같은 화면에 여러 측정값을 표시할 때 어떤 숫자가 어떤 것인지 AI에게 알려주는 지침입니다.

일괄 처리: 하나의 열 정의로 모든 앱의 모든 스크린샷 처리

열 이름이 정의되면 추가 구성 없이 워크플로가 확장됩니다. 1단계의 투자가 효과를 발휘하는 지점입니다. 스크린샷 5장이든 500장이든, 앱 2개든 20개든 추출 사양은 변하지 않습니다.

모바일 데이터 기록 앱에서 600장의 스크린샷을 가진 현장 연구원을 생각해 보십시오. 각 스크린샷에는 동일한 유형의 데이터(태그 번호, 길이, 무게, GPS 좌표)가 동일한 앱의 동일한 UI 레이아웃에 구성되어 있습니다. 이는 쉬운 경우입니다. 동일한 앱, 동일한 레이아웃, 단지 많은 양일 뿐입니다. 맞춤 열 추출이 처리할 수 있지만, 잘 구성된 OCR 템플릿도 처리할 수 있습니다.

더 어려운 경우는 스크린샷이 서로 다른 애플리케이션에서 오는 경우이며, 이때 맞춤 열 추출이 올바른 아키텍처가 됩니다. 주간 지표를 수집하는 운영 관리자는 다음을 캡처할 수 있습니다:

• Shopify 관리자 패널의 매출 및 주문 수(전자상거래 대시보드 레이아웃)
• ShipStation 화면의 대기 중인 배송(물류 테이블 레이아웃)
• Zendesk 대시보드의 고객 지원 티켓 수(분석 카드 레이아웃)
• Chase 모바일 앱 스크린샷의 은행 잔액(뱅킹 앱 카드 레이아웃)

각 스크린샷은 완전히 다르게 보입니다. 그러나 "매출", "주문", "대기 중인 배송", "열린 티켓", "은행 잔액" 열은 모든 스크린샷에서 해당 값을 찾습니다. AI는 각 스크린샷을 독립적으로 읽고, 포함된 데이터를 이해하며, 일치하는 값을 올바른 열에 매핑합니다. 출력은 스크린샷당 한 행과 정의한 정확한 열을 가진 단일 테이블입니다.

일괄 워크플로에 대한 자세한 안내(명명 규칙, 결과 병합, 여러 소스의 스크린샷 처리 포함)는 앱 스크린샷을 구조화된 스프레드시트로 일괄 처리 가이드를 참조하십시오. 스크린샷 추출 자체가 처음이고 더 넓은 기초를 원한다면 입력 없이 스크린샷에서 Excel로 데이터를 가져오는 방법부터 시작하십시오.

여기에 설명된 열 이름 접근 방식을 사용하여 모든 스크린샷을 구조화된 Excel 데이터로 변환하는 전용 도구는 스크린샷을 Excel로 추출하는 도구를 참조하십시오.

자주 묻는 질문

테이블이 없는 스크린샷 — 카드 또는 라벨-값 쌍만 있는 경우에도 작동하나요?

네. 그런 시나리오에서 맞춤 열 추출이 테이블 감지 도구보다 가장 큰 가치를 제공합니다. 결제 확인 화면은 세 개의 라벨-값 쌍이 세로로 쌓여 있습니다. CRM 거래 카드는 비표 형식 레이아웃에 8-10개 필드가 배열된 시각적 카드입니다. 은행 앱 거래 내역은 키-값 행의 스크롤 목록입니다. AI는 레이아웃이 테이블, 카드, 양식 또는 혼합 배열이든 관계없이 요청한 값을 찾습니다 — 그리드 구조가 아닌 의미를 읽기 때문입니다.

같은 스크린샷에 두 개의 서로 다른 숫자가 열 이름과 모두 일치할 수 있다면 어떻게 하나요?

이것이 열 이름의 구체성이 중요한 이유입니다. "금액"은 모호합니다 — Salesforce 기회 카드에는 거래 금액, 예상 수익, 연간 반복 수익이 모두 같은 화면에 표시될 수 있습니다. "거래 금액"은 구분할 수 있을 만큼 구체적입니다. 모호함이 남아 있다면 형식 또는 위치 힌트를 추가할 수 있습니다: "거래 금액(카드에서 가장 큰 달러 값)"은 AI가 올바른 값을 선택할 수 있는 충분한 프레임을 제공합니다. 열 이름이 정밀할수록 모호함의 여지가 줄어듭니다.

비정형 레이아웃에서 텍스트와 숫자가 모두 포함된 스크린샷에서 데이터를 추출할 수 있나요?

네, 합리적인 범위 내에서 가능합니다. 스크린샷에 자유 텍스트 단락이 있고 그 안에 필요한 데이터가 있는 경우(예: "SKU-4421 50개를 123 Main St로 배송해 주세요"라는 채팅 메시지), AI는 수량, SKU, 주소를 별도의 열로 추출할 수 있습니다 — 열 이름이 찾고자 하는 내용을 명확히 하는 경우에 한합니다("배송 수량", "SKU", "배송 주소"). 추출은 구조화된 UI보다 신뢰성이 낮지만 작동합니다. 채팅 기반 주문 추출의 경우에도 동일한 열 이름 접근 방식이 적용됩니다.

크로스 앱 스크린샷 추출에서 어떤 정확도를 기대해야 하나요?

정확도는 세 가지 요소에 따라 달라집니다: 입력 품질(깨끗하고 읽기 쉬운 스크린샷이 흐리거나 잘린 것보다 좋음), 열 이름의 구체성(모호한 이름은 모호한 일치를 생성함), UI의 의미적 명확성(필드를 명확하게 표시하는 앱이 밀집된 텍스트에 값을 숨기는 앱보다 더 나은 결과를 생성함). 실제로 명확한 스크린샷에 잘 명명된 열은 높은 정확도를 달성합니다 — 금액, 날짜, 이름과 같은 간단한 필드의 경우 종종 95% 이상입니다. 복잡하거나 약어가 많은 UI는 가끔 수동 검수가 필요할 수 있으며, 이것이 출력 테이블이 직접 편집할 수 있는 표준 스프레드시트인 이유입니다.

이 접근 방식은 영어 외 다른 언어의 스크린샷에서도 작동하나요?

열 이름은 스크린샷의 언어가 아니라 대상 출력의 언어와 일치해야 합니다. 열이 "Customer Name"이고 스크린샷이 독일어로 "Kundenname"을 표시하는 경우, AI는 이 둘이 동일한 개념을 가리킨다는 것을 이해합니다. 의미론적 매칭은 문자열 일치가 아닌 의미를 기반으로 작동하므로 여러 언어에서 작동합니다.

Excel의 기본 제공 "Data from Picture" 기능과 어떻게 다른가요?

Excel의 "Data from Picture"는 테이블 감지기입니다. 행과 열의 격자 구조를 찾아 스프레드시트 셀로 변환합니다. 깔끔하고 테두리가 있는 테이블에서는 잘 작동하지만, 카드 레이아웃, 라벨-값 쌍, 대시보드 KPI 또는 비표 형식의 UI에서는 작동하지 않습니다. 맞춤 열 추출은 데이터가 테이블 형식일 것을 요구하지 않습니다. 페이지 어디에서든 의미적 역할을 기준으로 값을 찾습니다. 두 접근 방식은 서로 다른 문제를 해결합니다.