사용자 정의 열을 정의하고
모든 앱 스크린샷에서 데이터를 추출하는 방법

동일한 데이터, 세 가지 완전히 다른 화면

위 시나리오는 가상의 이야기가 아닙니다. 여러 소프트웨어 플랫폼을 넘나드는 사람이라면 누구나 익숙한 일상입니다. Salesforce는 영업 기회 데이터를 저장하고, QuickBooks는 송장 데이터를 저장하며, 운영 대시보드는 이행 상태를 저장합니다. 각 시스템은 카드, 표, 양식, 상태 패널 등 저마다의 시각적 언어로 중복된 정보를 표시하며, 이 데이터를 하나의 스프레드시트로 모으려면 창을 전환하며 세 가지 다른 인터페이스에서 동일한 필드를 다시 입력해야 합니다.

이 문제에 대한 일반적인 해결책인 "API를 사용하라" 또는 "CSV로 내보내라"는 모든 시스템에 해당 기능이 있다고 가정합니다. 2011년에 구축된 내부 대시보드에는 당연히 그런 기능이 없습니다. 정산에 필요한 거래 내역을 보여주는 모바일 뱅킹 앱에는 내보내기 버튼이 없습니다. 팀이 사용하는 SaaS 분석 도구는 전체 보고서만 내보낼 수 있을 뿐, 매주 추적하는 세 가지 특정 KPI 값만 따로 내보낼 수는 없습니다.

스크린샷은 모든 소프트웨어의 공통 분모입니다. 모든 앱, 모든 기기, 모든 시대의 소프트웨어가 스크린샷을 생성할 수 있습니다. 중요한 것은 데이터를 캡처할 수 있느냐가 아닙니다(이미 스크린샷을 찍어서 캡처했습니다). 중요한 것은 모든 새로운 앱 인터페이스를 별도의 기술적 문제로 취급하지 않고, 그 캡처에서 특정 필드를 추출할 수 있느냐입니다.

템플릿 기반 추출 도구 — 샘플 문서에서 송장 날짜 필드 주위에 사각형을 그리게 한 후, 이후 모든 문서에서 해당 픽셀 좌표를 사용하는 방식 — 은 스크린샷에서는 절대 작동하지 않습니다. Salesforce 거래 카드는 금액을 좌측 상단에 큰 히어로 숫자로 표시하고, QuickBooks 송장은 테이블 우측 하단의 "잔액 미납" 셀에 표시하며, 내부 대시보드는 지표 그리드 중간에 있는 색상 카드에 표시합니다. 세 가지 UI, 세 가지 좌표계. 첫 번째 스크린샷에서 작동하는 템플릿은 설계상 두 번째 스크린샷에서 깨집니다. 좌표는 측정된 앱 밖에서는 아무 의미가 없기 때문입니다.

이것이 스크린샷을 다루는 모든 사람이 맞춤형 열 추출을 이해할 가치가 있는 이유입니다. 이는 사각형 그리기 방식의 더 빠른 버전이 아니라, 근본적으로 다른 원리입니다.

맞춤형 열 추출이 위치를 몰라도 값을 찾는 방법

맞춤형 열 추출은 하나의 원리로 작동합니다: 찾고자 하는 것을 설명하면, AI가 레이블 텍스트를 일치시켜 스캔하는 것이 아니라 레이블의 의미를 이해하고 그 의미적 역할에 맞는 값을 식별하여 전체 페이지에서 해당 설명과 일치하는 값을 검색합니다.

컬럼 이름으로 "Deal Amount"를 입력할 때, AI에게 페이지에서 정확한 텍스트 "Deal Amount"를 찾으라고 지시하는 것이 아닙니다. 대신 "비즈니스 거래나 기회의 총 가치를 나타내는 금전적 가치를 찾아라"고 지시하는 것입니다. AI는 전체 스크린샷(모든 레이블, 숫자, 컨텍스트 텍스트)을 읽고 그 의미적 역할을 채우는 값을 찾아냅니다. Salesforce 스크린샷에서는 영업 기회 카드 상단에 눈에 띄게 표시된 "$47,200"일 수 있습니다. QuickBooks 스크린샷에서는 인보이스 테이블의 "Balance Due" 행에 있는 "$47,200"일 수 있습니다. 내부 대시보드에서는 통화 기호 없이 컬러 메트릭 카드 안에 표시된 "47,200"일 수 있습니다.

동일한 컬럼 이름이 세 경우 모두에서 작동하는 이유는 AI가 공간적 문제가 아닌 의미적 문제를 해결하기 때문입니다. AI는 "이 페이지에서 어떤 숫자가 거래 금액 역할을 하는가?"를 묻는 것이지, "좌표 (340, 128)에 있는 텍스트는 무엇인가?"를 묻는 것이 아닙니다. 이 차이는 문서를 이해하는 것과 단순히 촬영하는 것의 차이입니다.

이러한 이유로 이 접근 방식을 컬럼 이름 추출이라고 부르기도 합니다. 출력 테이블의 컬럼 헤더에 입력하는 이름이 추출 지침 역할을 겸합니다. 규칙을 구성하는 별도의 단계, 샘플 문서에 주석을 다는 훈련 단계, 유지 관리할 템플릿 라이브러리가 없습니다. 최종 Excel 파일에 나타나는 동일한 컬럼 이름이 AI가 데이터를 찾는 데 사용한 이름입니다.

스크린샷 추출이 기존 OCR과 어떻게 다른지 더 자세히 알아보려면 스크린샷에서 데이터 추출에 대한 완벽 가이드를 참조하세요.

단계별 가이드: 컬럼을 한 번 정의하면 모든 스크린샷에서 추출 가능

워크플로는 세 단계로 구성되며, 1단계만 반복해서 수행하면 됩니다. 이 비대칭성이 핵심입니다: 사전에 생각을 투자하면 이후 모든 스크린샷은 재구성 없이 동일한 정의로 처리됩니다.

1단계: 필요한 필드 이름을 지정하세요. 이것이 유일한 결정 사항입니다. 추출 도구를 열고 출력 스프레드시트에 표시될 데이터 포인트에 해당하는 컬럼 이름을 입력하세요. 교차 앱 거래 추적 워크플로의 경우 다음과 같이 입력할 수 있습니다:

은행 앱 스크린샷, 결제 확인서, 회계 시스템 대시보드에서 데이터를 가져오는 재무 조정 워크플로의 경우 다음과 같이 입력할 수 있습니다:

이 컬럼 이름이 추출 사양입니다. AI는 이를 리터럴 검색 문자열이 아닌 "이 설명과 일치하는 값을 찾아라"는 지침으로 읽습니다. "고객" 레이블은 다른 앱 UI에서 "클라이언트", "계정명", "청구 대상" 등 의미적으로 동등한 모든 필드와 일치합니다. 컬럼 이름을 최대한 정확하게 만드는 방법에 대한 자세한 내용은 아래 명명 전략 섹션을 참조하세요.

2단계: 스크린샷을 업로드하세요. Salesforce 거래 카드, QuickBooks 송장 탭, 내부 대시보드 캡처를 드래그하거나, 10개의 다른 앱에서 50개의 스크린샷을 가져오세요. AI는 각 스크린샷을 독립적으로 처리하며, 동일한 열 정의를 각각에 적용합니다. 어떤 스크린샷이 어떤 앱에서 왔는지 알 필요가 없습니다.

3단계: 병합된 테이블을 다운로드하세요. AI가 각 열 이름에 대해 찾은 모든 값이 행으로 정리됩니다 — 스크린샷당 한 행씩입니다. 출력 파일의 열 헤더는 1단계에서 입력한 정확한 이름입니다. 특정 스크린샷에 특정 열의 값이 없는 경우(예: 내부 대시보드에 "소유자" 필드가 없는 경우), 해당 셀은 비워둡니다 — 나머지 열에 대한 추출은 오류 없이 계속됩니다.

스크린샷 추출 정확도를 높이는 컬럼명 작성법

스크린샷 추출에서 컬럼명은 기존 문서 처리보다 더 중요한 역할을 합니다. PDF 인보이스는 거의 항상 "Invoice Number", "Due Date", "Subtotal" 같은 예측 가능한 라벨을 사용합니다. 하지만 스크린샷 UI는 앱 디자이너가 선택한 라벨을 그대로 사용하며, 앱마다 그 라벨이 천차만별입니다.

아래 명명 원칙은 서로 다른 팀이 서로 다른 규칙으로 디자인한 UI에서도 동일한 컬럼명이 작동해야 하는 스크린샷-스프레드시트 워크플로우에 특화되어 있습니다.

600개 이상의 스크린샷을 다루는 Reddit 사용자가 현장 데이터 수집 앱에서 겪은 명명 문제를 간결하게 요약했습니다. 각 이미지에서 "태그 번호, 길이(cm), 무게(kg), 이벤트 유형, 태거, 날짜, 시간, GPS/위치, 수온"이 필요하다는 것입니다. 괄호 안의 "(cm)", "(kg)", "(°C)"는 선택적 세부사항이 아닙니다. UI가 같은 화면에 여러 측정값을 표시할 때 AI가 어떤 숫자가 무엇인지 알려주는 지침입니다.

일괄 처리: 하나의 열 정의로 모든 앱의 모든 스크린샷 처리

열 이름이 정의되면 추가 설정 없이 워크플로가 확장됩니다. 1단계의 투자가 빛을 발하는 순간입니다. 5개의 스크린샷이든 500개든, 2개의 앱이든 20개든 추출 사양은 변하지 않습니다.

모바일 데이터 기록 앱에서 600개의 스크린샷을 가진 현장 연구원을 생각해 보세요. 각 스크린샷에는 동일한 유형의 데이터(태그 번호, 길이, 무게, GPS 좌표)가 동일한 앱의 동일한 UI 레이아웃에 구성되어 있습니다. 이것은 쉬운 경우입니다. 같은 앱, 같은 레이아웃, 단지 볼륨만 많을 뿐입니다. 맞춤형 열 추출이 이를 처리하지만, 잘 구성된 OCR 템플릿도 마찬가지입니다.

더 어려운 경우는 — 그리고 맞춤형 열 추출을 올바른 아키텍처로 만드는 경우는 — 스크린샷이 다른 애플리케이션에서 오는 경우입니다. 주간 메트릭을 수집하는 운영 관리자는 다음을 캡처할 수 있습니다:

• Shopify 관리자 패널의 매출 및 주문 수(전자상거래 대시보드 레이아웃)
• ShipStation 화면의 대기 중인 배송(물류 테이블 레이아웃)
• Zendesk 대시보드의 고객 지원 티켓 수(분석 카드 레이아웃)
• Chase 모바일 앱 스크린샷의 은행 잔액(뱅킹 앱 카드 레이아웃)

각 스크린샷은 완전히 다른 모습입니다. 하지만 "매출", "주문", "배송 대기", "열린 티켓", "계좌 잔액" 열은 모든 스크린샷에서 값을 찾아냅니다. AI는 각 스크린샷을 독립적으로 읽고, 포함된 데이터를 이해한 후 일치하는 값을 올바른 열에 매핑합니다. 결과는 스크린샷당 한 행씩, 사용자가 정의한 열만 포함된 단일 테이블입니다.

배치 워크플로우에 대한 자세한 설명(명명 규칙, 결과 병합, 여러 소스의 스크린샷 처리 포함)은 앱 스크린샷을 구조화된 스프레드시트로 일괄 처리하는 가이드를 참조하세요. 스크린샷 추출이 처음이고 더 넓은 기초를 원한다면 타이핑 없이 스크린샷에서 Excel로 데이터를 가져오는 방법부터 시작하세요.

여기서 설명한 열 이름 접근 방식을 사용하여 모든 스크린샷을 구조화된 Excel 데이터로 변환하는 전용 도구는 스크린샷을 Excel로 추출하는 도구를 참조하세요.

자주 묻는 질문

테이블이 아닌 카드나 레이블-값 쌍만 있는 스크린샷에서도 작동하나요?

네, 그렇습니다. 바로 그런 경우가 테이블 감지 도구보다 사용자 정의 열 추출이 가장 큰 가치를 발휘하는 시나리오입니다. 결제 확인 화면은 세 개의 레이블-값 쌍이 세로로 쌓여 있습니다. CRM 거래 카드는 8-10개 필드가 비표 형식으로 배열된 시각적 카드입니다. 은행 앱 거래 내역은 키-값 행이 스크롤되는 목록입니다. AI는 레이아웃이 테이블, 카드, 양식 또는 혼합 배열이든 관계없이 요청한 값을 찾아냅니다. 그리드 구조가 아닌 의미를 읽기 때문입니다.

같은 스크린샷에 있는 두 개의 다른 숫자가 모두 열 이름과 일치할 수 있다면 어떻게 하나요?

이것이 바로 컬럼명의 구체성이 중요한 이유입니다. "금액"은 모호합니다. Salesforce 기회 카드에는 거래 금액, 예상 수익, 연간 반복 수익이 모두 같은 화면에 표시될 수 있습니다. "거래 금액"은 이를 명확히 구분할 수 있을 만큼 구체적입니다. 여전히 모호하다면 형식이나 위치 힌트를 추가할 수 있습니다. "거래 금액(카드에서 가장 큰 달러 값)"은 AI가 올바른 값을 선택할 수 있는 충분한 프레임을 제공합니다. 컬럼명이 정확할수록 모호함의 여지가 줄어듭니다.

비정형 레이아웃에서 텍스트와 숫자가 모두 포함된 스크린샷에서 데이터를 추출할 수 있나요?

네, 합리적인 범위 내에서 가능합니다. 스크린샷에 자유 텍스트 단락이 포함되어 있고 그 안에 필요한 데이터가 있는 경우(예: "SKU-4421 50개를 123 Main St로 배송해 주세요"라는 채팅 메시지), 컬럼명이 찾고자 하는 내용("배송 수량", "SKU", "배송 주소")을 명확히 지정하면 AI가 수량, SKU, 주소를 별도의 컬럼으로 추출할 수 있습니다. 추출의 신뢰성은 구조화된 UI보다는 낮지만 작동합니다. 특히 채팅 기반 주문 추출의 경우에도 동일한 컬럼명 접근 방식이 적용됩니다.

앱 간 스크린샷 추출에서 어느 정도의 정확도를 기대할 수 있나요?

정확도는 세 가지 요소에 따라 달라집니다: 입력 품질(깨끗하고 읽기 쉬운 스크린샷이 흐리거나 잘린 것보다 좋음), 컬럼명의 구체성(모호한 이름은 모호한 매칭을 초래함), UI의 의미론적 명확성(필드를 명확히 표시하는 앱이 값을 조밀한 텍스트에 묻어버리는 앱보다 더 나은 결과를 제공함). 실제로 명확한 스크린샷에 잘 명명된 컬럼은 높은 정확도를 달성하며, 금액, 날짜, 이름과 같은 간단한 필드의 경우 종종 95% 이상입니다. 복잡하거나 지나치게 약어가 많은 UI는 가끔 수동 확인이 필요할 수 있으며, 이것이 출력 테이블이 직접 편집할 수 있는 표준 스프레드시트인 이유입니다.

이 접근 방식은 영어 이외의 언어로 된 스크린샷에서도 작동하나요?

열 이름은 스크린샷의 언어가 아닌, 대상 출력 언어와 일치해야 합니다. 예를 들어 열 이름이 "Customer Name"이고 스크린샷이 독일어로 "Kundenname"으로 표시되어 있어도, AI는 이 둘이 동일한 개념을 가리킨다는 것을 이해합니다. 의미 기반 매칭은 문자열 일치가 아닌 의미를 기준으로 작동하므로 언어를 넘어서 작동합니다.

Excel의 기본 "사진에서 데이터 가져오기" 기능과 어떻게 다른가요?

Excel의 "사진에서 데이터 가져오기"는 표 탐지기입니다. 행과 열로 구성된 그리드 구조를 찾아 스프레드시트 셀로 변환합니다. 깔끔하고 테두리가 있는 표에서는 잘 작동하지만, 카드 레이아웃, 레이블-값 쌍, 대시보드 KPI 또는 비표 형식 UI에서는 작동하지 않습니다. 사용자 정의 열 추출은 데이터가 표 형식일 필요가 없으며, 페이지 어디에서든 의미적 역할에 따라 값을 찾습니다. 두 접근 방식은 서로 다른 문제를 해결합니다.