스크린샷에서 모든 데이터 추출하는 방법
— 앱 UI, 대시보드, 결제 확인 화면

내보내기 버튼이 스크린샷뿐일 때

스크린샷은 데이터와의 관계에서 애매한 위치를 차지합니다. 문서도 아닙니다 — 페이지나 구조가 없습니다. 스프레드시트도 아닙니다 — 필터나 정렬이 불가능합니다. 데이터베이스도 아닙니다 — 스키마가 없습니다. 하지만 스크린샷은 만능 대체 수단입니다: 데이터에 접근할 다른 모든 경로가 막혔을 때 만드는 것입니다.

아래 시나리오는 예외적인 경우가 아닙니다. 데이터는 존재하지만 필요한 곳으로 옮길 수 없는 일상적인 순간들입니다.

결제 확인. Venmo, PayPal, Zelle, Cash App — 이 플랫폼들은 화면에 거래 내역을 보여주지만 개인 기록을 위한 간편한 스프레드시트 내보내기는 제공하지 않습니다. 확인 화면을 스크린샷으로 찍으면 분석하거나 합계를 낼 수 없는 기록만 남습니다. 멀티 플랫폼 결제 스크린샷 추출 및 결제 확인 데이터에 대한 전용 가이드를 참조하세요.

개인 분석 대시보드. 한 Reddit 사용자는 30개 이상의 iPhone 스크린 타임 스크린샷을 하루에 하나씩 가지고 있었고, 모든 앱의 사용 시간을 깔끔한 Excel 표로 변환해야 했습니다. Apple은 스크린 타임 데이터에 대한 대량 내보내기를 제공하지 않습니다 — 휴대폰에서 분석까지 가는 유일한 경로는 스크린샷을 통하는 것입니다.

내보내기 대신 스크린샷을 보내는 동료. SAP 커뮤니티 블로그 게시물이 이 경험을 정확히 묘사합니다: "동료의 세심함을 굳게 믿으며 겸손히 정보를 요청하고, 복사-붙여넣기가 가능한 텍스트로 깔끔하게 포장된 데이터를 상상했습니다. 하지만 그 믿음이 산산조각 났습니다… 그들이 용감하게 보낸 것이… 스크린샷이었다는 사실을 깨달은 순간." 이 블로그는 여러 AI 모델을 테스트하여 해당 스크린샷에서 자재 번호 및 기타 데이터를 추출합니다.

API가 없는 내부 레거시 시스템. 수천 개의 회사가 수십 년 전에 구축된 ERP, CRM 또는 재고 시스템을 운영합니다. 이 시스템은 화면에 데이터(제품 코드, 재고 수준, 주문 상태)를 표시하지만 현대적인 내보내기 옵션, API 또는 CSV 다운로드를 제공하지 않습니다. 화면이 유일한 데이터 출력 수단입니다.

내보내기 없는 BI 대시보드. 대시보드는 자주 요청되지만 분석 도구로는 거의 사용되지 않습니다 — 그리고 사용되더라도 관리자가 주간 보고서에 필요한 세 가지 KPI 숫자에는 종종 "Excel로 다운로드" 버튼이 없습니다. 데이터는 내보낼 수 있는 행이 아닌 시각적 카드로 렌더링됩니다.

채팅 기반 주문 및 문의. 소규모 비즈니스는 WhatsApp, WeChat, Messenger 또는 SMS를 통해 정기적으로 주문을 받습니다. 고객이 보냅니다: "제품 A 50개, 123 Main St로 배송." 이것은 데이터입니다 — 수량, 제품, 주소 — 채팅 버블에 묻혀 있습니다. 해당 대화에 대한 API는 없지만 스크린샷은 있습니다.

프레젠테이션이나 PDF에 갇힌 Excel 표. 수백 개의 추천을 받은 Reddit 스레드는 이것이 얼마나 흔한지 보여줍니다: 누군가 PDF나 슬라이드 데크 안에 있는 표를 받았지만, 복사-붙여넣기하면 서식이 망가지고 유일하게 신뢰할 수 있는 캡처는 스크린샷뿐입니다.

거래 및 투자 기록. r/FuturesTrading의 트레이더들은 정기적으로 거래 일지를 작성하며, 깨끗한 CSV를 내보내지 않는 플랫폼에서 진입/청산 확인 스크린샷을 첨부합니다. 각 스크린샷에는 추적 스프레드시트에 추출해야 하는 특정 숫자(가격, 수량, 손익)가 포함되어 있습니다.

은행 앱 거래 내역. 모바일 뱅킹 앱은 보안상의 이유로 복사-붙여넣기를 자주 비활성화합니다. 스크린샷을 허용하는 경우, 그 캡처는 월별 명세서가 도착할 때까지 유일한 거래 기록이며, 명세서는 요약만 제공하고 개별 거래 내역은 앱에만 존재합니다.

대부분의 스크린샷-투-엑셀 도구가 가정하는 것 — 그리고 그 한계

"스크린샷을 엑셀로"를 검색하면 거의 모든 결과가 동일한 워크플로를 보여줍니다: 스크린샷에서 표를 찾고, 도구가 행과 열을 감지하게 한 후 스프레드시트 셀로 변환합니다. Microsoft의 Excel "사진에서 데이터" 기능도 이렇게 작동합니다. Copilot Chat도 마찬가지입니다. Chrome 확장 프로그램 개발자가 만든 OCR 기반 변환기도 동일합니다.

이러한 도구들은 핵심 가정을 공유합니다: 스크린샷에 표가 포함되어 있다는 것입니다. 그렇다면 격자선을 감지하고, 셀을 행과 열에 매핑한 후 스프레드시트를 채웁니다. 출력은 입력 레이아웃을 그대로 반영합니다 — 화면에 표가 어떻게 보였든 그대로 엑셀에 나타납니다.

이 가정이 위의 아홉 가지 시나리오에서 제외하는 것은 다음과 같습니다:

9개 시나리오 중 7개는 기존 스크린샷-Excel 도구가 처리할 수 있는 입력 형태를 만들지 않습니다. 이러한 도구들은 문제의 가장 쉬운 버전만 해결할 뿐, 나머지는 수작업 입력에 맡깁니다.

AI가 OCR과 다르게 스크린샷을 읽는 방법

기존 OCR(광학 문자 인식)은 문자 모양을 감지하여 텍스트로 변환하는 방식으로 작동합니다. 스크린샷에 적용하면 OCR은 대략적인 위치와 함께 인식된 단어의 흐름을 출력합니다. 즉, 어떤 텍스트가 어디쯤 있는지는 알려주지만, 그것이 무엇을 의미하는지는 알려주지 않습니다. 이 도구는 "$249.00"이 금액이라는 것을 모릅니다. "보낸 사람: Jane Smith"가 발신자를 식별한다는 것도 모릅니다. "확인 번호" 옆의 숫자가 추출하려는 필드라는 것도 모릅니다.

시각적 AI 모델은 스크린샷을 다르게 처리합니다. 사람이 보는 방식으로 전체 화면을 읽습니다. 문자뿐만 아니라 요소 간의 관계도 인식합니다. "금액"이 굵은 글씨로 표시되고 그 아래에 "$249.00"이 있으면, 이 두 텍스트 조각이 라벨-값 쌍을 이룬다는 것을 이해합니다. "제품 A 50개 — 123 Main St로 배송"이라고 적힌 채팅 버블을 보면, 이것이 수량, 제품명, 주소를 포함한 주문이라는 것을 이해합니다. 해당 필드에 라벨이 없더라도 말이죠.

이 차이 덕분에 스크린샷에서 필드 수준 추출이 가능해집니다. 도구에 테이블을 감지하고 구조를 추측하라고 요청하는 대신, "금액", "확인 번호", "보낸 사람", "수량"과 같이 찾고자 하는 것을 지정하면 AI가 전체 스크린샷에서 각 값을 검색하며 주변의 의미적 맥락을 이해합니다. Venmo의 결제 스크린샷과 PayPal의 결제 스크린샷은 완전히 다르게 보이지만, 둘 다 동일한 정보 범주를 포함합니다. AI는 값이 어디에 있는지가 아니라 무엇을 의미하는지를 이해하여 찾아냅니다.

이 접근 방식을 열 이름 추출이라고 합니다. 도구 인터페이스에 원하는 필드 이름을 입력하면, 그 이름이 추출 지침이자 출력 테이블의 헤더가 됩니다. AI는 각 스크린샷을 읽고 해당 값을 찾아 열을 채웁니다. 템플릿을 만들 필요도, 픽셀 좌표를 정의할 필요도 없습니다. "이 스크린샷에는 테이블이 있다"와 "이 스크린샷은 카드 기반 UI다"를 구분할 필요도 없습니다. AI는 레이아웃에 신경 쓰지 않고 정보에 집중합니다.

설정: 위치가 아닌 원하는 내용을 정의하세요

처리하는 스크린샷의 종류와 관계없이 워크플로는 동일합니다. 각 단계에서 실제로 수행되는 작업은 다음과 같습니다:

스크린샷 유형별로 작동하는 열 이름

가장 흔한 어려움은 열 이름 필드에 무엇을 입력할지 아는 것입니다. 아래 예시는 가장 자주 처리되는 6가지 스크린샷 유형을 다룹니다. 그대로 사용하거나, 사용 중인 소스 UI에서 보이는 라벨에 맞게 조정하세요 — 열 이름이 화면의 실제 필드 라벨에 가까울수록 AI가 올바른 값을 더 일관되게 찾아냅니다.

결제 앱 확인 화면 (Venmo, PayPal, Zelle, Cash App)

이 화면에는 각 거래에 대한 라벨-값 쌍이 표시됩니다. 캡처할 주요 필드:

참고: 여러 앱의 스크린샷을 하나의 테이블로 일괄 처리할 때 "Platform"이 유용합니다. "Note / Memo"는 보낸 사람이 추가한 거래 설명을 캡처합니다. "Payment Method"(은행 계좌 vs. 잔액 vs. 신용카드)는 일부 플랫폼에 표시되며, 대사 작업을 한다면 캡처할 가치가 있습니다.

BI 대시보드 KPI 카드

비즈니스 대시보드 스크린샷에는 지표가 개별 카드로 표시되는 경우가 많습니다. 타일마다 숫자 하나, 라벨, 때로는 비교 값이 함께 표시되죠. 권장 열:

참고: "Metric Name"은 각 카드의 라벨을 추출합니다(예: "월간 매출", "활성 사용자"). "Period"는 대시보드에 표시된 기간 범위를 캡처합니다. 여러 날짜 범위의 스크린샷을 배치로 처리할 때 유용합니다. "Dashboard Name"은 한 배치에서 여러 대시보드를 가져올 때 추가할 가치가 있습니다.

레거시 ERP / 터미널 화면

그린스크린 ERP 및 구형 엔터프라이즈 시스템은 일반적으로 고정 폭 텍스트 필드로 데이터를 표시합니다. 열 정의는 특정 화면 유형에 따라 달라지지만, 재고 또는 주문 화면의 경우:

참고: 가능하면 ERP 화면에 표시된 정확한 필드 라벨을 열 이름으로 사용하세요. 레거시 시스템은 종종 축약된 라벨("QTY ON HAND", "WH LOC")을 사용합니다. 축약어를 그대로 사용하거나 설명적인 이름을 사용해도 됩니다. AI는 둘 다 이해합니다. 행이 많은 화면의 경우 AI는 화면의 각 데이터 행에 대해 출력 행 하나를 생성합니다.

채팅 기반 주문(WhatsApp, WeChat, Messenger)

채팅 주문 스크린샷에는 자연어가 포함되어 있습니다. 필드 라벨 없이 문장만 있을 뿐이죠. AI는 비정형 텍스트에서 구조화된 데이터를 추출합니다. 표준 주문 필드:

참고: 채팅 메시지에 필드가 언급되지 않은 경우(예: 배송 날짜 미지정) 해당 셀은 비어 있습니다. AI는 값을 임의로 만들지 않습니다. "Order Notes"는 고객이 포함한 특별 지시사항이나 조건을 캡처합니다. 하나의 채팅 스레드에 여러 개의 개별 주문이 포함된 스크린샷의 경우 AI는 주문별로 행 하나를 생성합니다.

거래 플랫폼 확인서

브로커리지 앱의 거래 확인 스크린샷은 일반적으로 각 체결에 대해 라벨-값 쌍을 표시합니다. 거래 일지의 경우:

참고: 열 이름의 "Side (Buy/Sell)"는 AI에 예상 값 범위를 제공하여, 모호할 수 있는 필드의 추출 정확도를 높입니다. P&L을 직접 계산하려면 계산 열을 추가하세요: Gross P&L (Qty × Fill Price). 단일 체결을 넘어서는 브로커 문서도 동일하게 작동합니다 — 인도 브로커의 Zerodha 계약 메모는 종목과 가중 평균 가격과 함께 STT, 증권거래세, 거래소 회전 수수료, SEBI 수수료, GST를 항목별로 나열합니다.

비용 영수증 및 환급 스크린샷

비용 스크린샷은 소매 영수증부터 레스토랑 청구서, 호텔 폴리오까지 다양합니다. 비용 환급 워크플로우의 경우:

참고: "Category"는 대부분의 영수증에 표시되지 않습니다 — 비워 두고 직접 입력하거나, AI가 가맹점 이름에서 카테고리를 추론하도록 하려면 조건부 논리가 있는 계산 열을 정의하세요. "Employee Name"은 수집 링크 기능을 통해 팀의 비용 스크린샷을 하나의 배치로 처리할 때 유용합니다.

사용해 보세요: 위의 열 세트 중 하나를 복사하여 데모의 열 이름 필드에 붙여넣고, 일치하는 스크린샷을 업로드한 후 AI가 무엇을 찾는지 확인하세요.

스크린샷이 유일한 데이터 소스인 경우

어떤 스크린샷은 사용 중인 도구가 데이터 내보내기를 지원하지 않기 때문에 발생합니다. 또 다른 경우는 데이터를 보낸 사람이 잘못된 형식을 선택했기 때문입니다. 두 경우 모두 같은 결과를 낳습니다 — 필요한 정보를 마주하고 있지만, 다시 입력하지 않고는 사용할 방법이 없는 상황 말입니다.

스크린샷에서 열 이름 추출이 가장 큰 차이를 만드는 시나리오는 대안이 전혀 존재하지 않는 경우입니다:

레거시 시스템. 회사에서 20년 된 ERP를 녹색 바탕에 검은 글자의 터미널 인터페이스로 운영 중이라면, REST API를 얻을 수 없습니다. CSV 내보내기도 없습니다. 화면이 유일한 출력입니다. 하지만 AI는 API가 필요하지 않습니다 — 여러분이 보는 것을 볼 필요가 있을 뿐입니다. 해당 터미널 화면의 스크린샷을 최신 웹 UI에 사용하는 것과 동일한 열 정의로 처리하면, 동일한 구조화된 출력이 생성됩니다. 시스템의 연식은 중요하지 않습니다. 화면의 정보가 중요할 뿐입니다.

설계상 데이터 접근을 차단하는 앱. 은행 앱은 보안을 위해 복사-붙여넣기를 제한합니다. 의료 포털은 HIPAA 준수를 위해 텍스트 선택을 비활성화합니다. 일부 기업 대시보드는 스크래핑을 방지하기 위해 데이터를 이미지로 렌더링합니다. 이는 합리적인 보안 결정입니다 — 하지만 동시에 자신의 데이터를 자신의 스프레드시트에 필요한 합법적인 사용자에게는 데이터를 얻을 방법이 없다는 뜻이기도 합니다. 스크린샷에서 AI 추출은 이러한 제약 내에서 작동합니다: 데이터를 볼 수 있으므로 캡처할 수 있고, AI가 캡처를 읽습니다.

다중 소스 집계. 세 개의 다른 플랫폼에서 결제 확인을 수집하거나, 다섯 개의 다른 채팅 앱에서 주문 세부 정보를 수집하거나, 네 개의 다른 대시보드에서 KPI 수치를 수집할 때, 데이터는 다섯 가지 다른 시각적 레이아웃으로 도착합니다. 템플릿 기반 도구는 다섯 가지 다른 구성이 필요합니다. 열 이름 추출은 하나면 충분합니다: AI에 원하는 정보를 알려주면 모든 레이아웃 변형에서 찾아냅니다. 이는 다중 형식 인보이스 추출이 작동하게 만드는 것과 동일한 원리입니다 — 문서 대신 스크린샷에 적용된 것입니다.

규모에 맞게 비용 스크린샷을 처리해야 하는 팀의 경우, 수집 링크 기능이 배포 계층을 추가합니다: 공유 가능한 업로드 페이지를 생성하고, 팀원에게 링크를 보내면, 그들의 스크린샷이 처리 대기열에 직접 들어옵니다 — 제출자의 등록이 필요 없습니다.

스크린샷 추출 정확도에 영향을 미치는 요소

스크린샷은 AI 추출에 가장 깔끔한 입력 형식입니다. 기계가 렌더링한 결과물이기 때문에 일관된 폰트, 선명한 대비, 카메라 흔들림 없음, 조명 문제 없음, 페이지 컬 없음 등이 보장됩니다. 따라서 스크린샷 기반 추출은 사진 기반 추출보다 본질적으로 정확도가 높습니다. SAP 커뮤니티 블로그의 테스트에서도 이를 확인했습니다. 여러 AI 모델이 엔터프라이즈 스크린샷에서 구조화된 데이터를 안정적으로 추출했으며, 모델별로 성능 차이는 약간 있었습니다.

정확도는 여전히 몇 가지 요소에 따라 달라집니다:

• 해상도. 전체 해상도 스크린샷은 텍스트를 원래 픽셀 밀도로 캡처합니다. 이미지를 축소하는 메시징 앱에서 흔히 발생하는 압축 또는 크기 조정된 스크린샷은 미세한 디테일을 잃을 수 있습니다.
• 필드 명확성. "$"가 앞에 붙은 금액, 인식 가능한 형식의 날짜, 예측 가능한 패턴의 확인 번호 등 모호함이 없는 필드는 여러 방식으로 해석될 수 있는 자유 텍스트 필드보다 더 정확하게 추출됩니다.
• 정보 밀도. 깔끔한 배경에 세 개의 큰 KPI 숫자가 있는 대시보드는 50개 행의 빽빽한 데이터 테이블보다 더 안정적으로 추출됩니다. AI는 둘 다 처리할 수 있지만, 시각적 레이아웃이 단순할수록 예외 사례가 줄어듭니다.
• Thinking 모드. 복잡한 레이아웃이나 혼합 콘텐츠 유형(예: 일상적인 텍스트와 구조화된 주문 세부 정보가 모두 포함된 채팅 메시지)의 스크린샷의 경우 Thinking 모드를 활성화하면 AI가 추가 추론 단계를 거쳐 모호한 필드의 추출 정확도를 높일 수 있습니다.

깨끗한 스크린샷에서 추출한 인쇄된 테이블 데이터의 경우 정확도가 최대 99%에 달합니다. 테스트 후 SAP 블로그 작성자의 실용적인 결론은 다음과 같습니다. "출력 결과가 매우 정확했으며 수동 수정이 거의 필요하지 않았습니다." 이는 모든 것을 처음부터 다시 입력하는 것과 비교할 때 의미 있는 차이입니다.

자주 묻는 질문

특정 스크린샷 워크플로에 대해서는 결제 확인 데이터 추출, 비용 스크린샷 처리, EHR 스크린샷에서 임상 데이터 추출 가이드를 참조하세요. 스크린샷이 아닌 문서로 작업하는 경우 AI 문서 추출의 실제 의미부터 시작하세요.

이론을 건너뛰고 바로 추출을 시작할 준비가 되었다면 스크린샷을 Excel로 변환 도구를 사용하여 열을 정의하고, 모든 출처의 스크린샷을 드롭하고, 몇 초 만에 깔끔한 스프레드시트를 얻을 수 있습니다. 템플릿도, 수동 입력도 필요 없습니다.

참고: 스크린샷을 다시 입력하지 않고 스프레드시트로 변환하는 단계별 가이드 · 입력 형식 정확도 비교: 스크린샷 vs. PDF vs. 사진 vs. 스캔