스크린샷에서 모든 데이터 추출하는 방법
— 앱 UI, 대시보드, 결제 확인 화면

내보내기 버튼이 스크린샷뿐일 때

스크린샷은 데이터와의 관계에서 애매한 위치를 차지합니다. 문서도 아닙니다 — 페이지나 구조가 없습니다. 스프레드시트도 아닙니다 — 필터나 정렬이 불가능합니다. 데이터베이스도 아닙니다 — 스키마가 없습니다. 하지만 스크린샷은 만능 대체 수단입니다: 데이터에 접근할 다른 모든 경로가 막혔을 때 만드는 것입니다.

아래 시나리오는 예외적인 경우가 아닙니다. 데이터는 존재하지만 필요한 곳으로 옮길 수 없는 일상적인 순간들입니다.

결제 확인. Venmo, PayPal, Zelle, Cash App — 이 플랫폼들은 화면에 거래 내역을 보여주지만 개인 기록을 위한 간편한 스프레드시트 내보내기는 제공하지 않습니다. 확인 화면을 스크린샷으로 찍으면 분석하거나 합계를 낼 수 없는 기록만 남습니다. 멀티 플랫폼 결제 스크린샷 추출 및 결제 확인 데이터에 대한 전용 가이드를 참조하세요.

개인 분석 대시보드. 한 Reddit 사용자는 30개 이상의 iPhone 스크린 타임 스크린샷을 하루에 하나씩 가지고 있었고, 모든 앱의 사용 시간을 깔끔한 Excel 표로 변환해야 했습니다. Apple은 스크린 타임 데이터에 대한 대량 내보내기를 제공하지 않습니다 — 휴대폰에서 분석까지 가는 유일한 경로는 스크린샷을 통하는 것입니다.

내보내기 대신 스크린샷을 보내는 동료. SAP 커뮤니티 블로그 게시물이 이 경험을 정확히 묘사합니다: "동료의 세심함을 굳게 믿으며 겸손히 정보를 요청하고, 복사-붙여넣기가 가능한 텍스트로 깔끔하게 포장된 데이터를 상상했습니다. 하지만 그 믿음이 산산조각 났습니다… 그들이 용감하게 보낸 것이… 스크린샷이었다는 사실을 깨달은 순간." 이 블로그는 여러 AI 모델을 테스트하여 해당 스크린샷에서 자재 번호 및 기타 데이터를 추출합니다.

API가 없는 내부 레거시 시스템. 수천 개의 회사가 수십 년 전에 구축된 ERP, CRM 또는 재고 시스템을 운영합니다. 이 시스템은 화면에 데이터(제품 코드, 재고 수준, 주문 상태)를 표시하지만 현대적인 내보내기 옵션, API 또는 CSV 다운로드를 제공하지 않습니다. 화면이 유일한 데이터 출력 수단입니다.

내보내기 없는 BI 대시보드. 대시보드는 자주 요청되지만 분석 도구로는 거의 사용되지 않습니다 — 그리고 사용되더라도 관리자가 주간 보고서에 필요한 세 가지 KPI 숫자에는 종종 "Excel로 다운로드" 버튼이 없습니다. 데이터는 내보낼 수 있는 행이 아닌 시각적 카드로 렌더링됩니다.

채팅 기반 주문 및 문의. 소규모 비즈니스는 WhatsApp, WeChat, Messenger 또는 SMS를 통해 정기적으로 주문을 받습니다. 고객이 보냅니다: "제품 A 50개, 123 Main St로 배송." 이것은 데이터입니다 — 수량, 제품, 주소 — 채팅 버블에 묻혀 있습니다. 해당 대화에 대한 API는 없지만 스크린샷은 있습니다.

프레젠테이션이나 PDF에 갇힌 Excel 표. 수백 개의 추천을 받은 Reddit 스레드는 이것이 얼마나 흔한지 보여줍니다: 누군가 PDF나 슬라이드 데크 안에 있는 표를 받았지만, 복사-붙여넣기하면 서식이 망가지고 유일하게 신뢰할 수 있는 캡처는 스크린샷뿐입니다.

거래 및 투자 기록. r/FuturesTrading의 트레이더들은 정기적으로 거래 일지를 작성하며, 깨끗한 CSV를 내보내지 않는 플랫폼에서 진입/청산 확인 스크린샷을 첨부합니다. 각 스크린샷에는 추적 스프레드시트에 추출해야 하는 특정 숫자(가격, 수량, 손익)가 포함되어 있습니다.

은행 앱 거래 내역. 모바일 뱅킹 앱은 보안상의 이유로 복사-붙여넣기를 자주 비활성화합니다. 스크린샷을 허용하는 경우, 그 캡처는 월별 명세서가 도착할 때까지 유일한 거래 기록이며, 명세서는 요약만 제공하고 개별 거래 내역은 앱에만 존재합니다.

대부분의 스크린샷-투-엑셀 도구가 가정하는 것 — 그리고 그 한계

"스크린샷을 엑셀로"를 검색하면 거의 모든 결과가 동일한 워크플로를 보여줍니다: 스크린샷에서 표를 찾고, 도구가 행과 열을 감지하게 한 후 스프레드시트 셀로 변환합니다. Microsoft의 Excel "사진에서 데이터" 기능도 이렇게 작동합니다. Copilot Chat도 마찬가지입니다. Chrome 확장 프로그램 개발자가 만든 OCR 기반 변환기도 동일합니다.

이러한 도구들은 핵심 가정을 공유합니다: 스크린샷에 표가 포함되어 있다는 것입니다. 그렇다면 격자선을 감지하고, 셀을 행과 열에 매핑한 후 스프레드시트를 채웁니다. 출력은 입력 레이아웃을 그대로 반영합니다 — 화면에 표가 어떻게 보였든 그대로 엑셀에 나타납니다.

이 가정이 위의 아홉 가지 시나리오에서 제외하는 것은 다음과 같습니다:

9개 시나리오 중 7개는 기존 스크린샷→엑셀 도구가 처리할 수 있는 입력 형태가 아닙니다. 이런 도구들은 가장 쉬운 문제만 해결하고, 나머지는 수동 입력에 맡깁니다.

AI가 스크린샷을 OCR과 다르게 읽는 방법

기존 OCR(광학 문자 인식)은 문자 모양을 감지하여 텍스트로 변환하는 방식으로 작동합니다. 스크린샷에 적용하면 OCR은 인식된 단어와 대략적인 위치를 출력합니다. 즉, 어떤 텍스트가 어디쯤 있는지는 알려주지만, 그 내용이 무엇을 의미하는지는 알지 못합니다. "$249.00"이 금액이라는 것도, "보낸 사람: Jane Smith"가 발신자를 식별한다는 것도, "확인 번호 #" 옆의 숫자가 추출하려는 필드라는 것도 모릅니다.

시각 AI 모델은 스크린샷을 다르게 처리합니다. 사람처럼 전체 화면을 읽으며, 문자뿐만 아니라 요소 간의 관계도 인식합니다. "금액"이라는 굵은 글씨 아래 "$249.00"이 있으면 이 두 텍스트가 레이블-값 쌍을 이룬다는 것을 이해합니다. "제품 A 50개 — 123번지 메인 스트리트로 배송"이라는 채팅 버블을 보면, 이것이 수량, 제품명, 주소를 포함한 주문이라는 것을 이해합니다. 해당 필드에 레이블이 없더라도 말이죠.

이 차이가 스크린샷에서 필드 수준 추출을 가능하게 합니다. 도구에 표를 감지하고 구조를 추측하도록 요청하는 대신, 찾고자 하는 것("금액", "확인 번호", "보낸 사람", "수량")을 알려주면 AI가 전체 스크린샷을 검색하여 각 값을 찾고, 그 주변의 의미적 맥락을 이해합니다. Venmo의 결제 스크린샷과 PayPal의 결제 스크린샷은 완전히 다르게 보이지만, 둘 다 동일한 정보 범주를 포함합니다. AI는 값이 어디에 있는지가 아니라 무엇을 의미하는지를 이해하여 찾아냅니다.

이 접근 방식을 열 이름 추출이라고 합니다. 도구 인터페이스에 원하는 필드 이름을 입력하면, 그 이름이 추출 명령이자 출력 테이블의 헤더가 됩니다. AI는 각 스크린샷을 읽고 해당 값을 찾아 열을 채웁니다. 템플릿을 만들 필요도, 픽셀 좌표를 정의할 필요도 없습니다. "이 스크린샷에는 표가 있다"와 "이 스크린샷은 카드 기반 UI다"를 구분할 필요도 없습니다. AI는 레이아웃이 아니라 정보에 관심을 두기 때문입니다.

설정: 위치가 아닌 원하는 내용을 정의하세요

처리하는 스크린샷 유형에 관계없이 작업 흐름은 동일합니다. 각 단계에서 실제로 수행되는 작업은 다음과 같습니다.

스크린샷 유형별 작동하는 열 이름

가장 흔한 어려움은 열 이름 필드에 무엇을 입력해야 할지 아는 것입니다. 아래 예시는 가장 자주 처리되는 여섯 가지 스크린샷 유형을 다룹니다. 이를 직접 사용하거나, 특정 소스 UI에서 보이는 레이블과 일치하도록 조정하세요. 열 이름이 화면의 실제 필드 레이블과 가까울수록 AI가 올바른 값을 더 일관되게 찾습니다.

결제 앱 확인 화면 (Venmo, PayPal, Zelle, Cash App)

이 화면들은 각 거래에 대한 레이블-값 쌍을 보여줍니다. 캡처할 주요 필드:

참고: "플랫폼"은 여러 앱의 스크린샷을 하나의 테이블로 일괄 처리할 때 유용합니다. "메모"는 보낸 사람이 추가한 거래 설명을 캡처합니다. "결제 수단"(은행 계좌 vs 잔액 vs 신용카드)은 일부 플랫폼에 표시되며, 조정 작업 시 캡처할 가치가 있습니다.

BI 대시보드 KPI 카드

대시보드 스크린샷은 종종 개별 카드 형태의 지표를 보여줍니다. 타일당 하나의 숫자와 레이블, 때로는 비교 값이 있습니다. 권장 열:

참고: "지표 이름"은 각 카드의 레이블(예: "월간 매출", "활성 사용자")을 추출합니다. "기간"은 대시보드에 표시된 시간 범위를 캡처하며, 여러 날짜 범위의 스크린샷을 함께 일괄 처리할 때 유용합니다. "대시보드 이름"은 한 번에 여러 대시보드에서 데이터를 가져올 때 추가할 가치가 있습니다.

레거시 ERP / 터미널 화면

그린 스크린 ERP 및 구형 엔터프라이즈 시스템은 일반적으로 고정 폭 텍스트 필드로 데이터를 표시합니다. 열 정의는 특정 화면 유형에 따라 다르지만, 재고 또는 주문 화면의 경우:

참고: 가능하면 ERP 화면에 표시된 정확한 필드 레이블을 열 이름으로 사용하세요. 레거시 시스템은 종종 약어 레이블("QTY ON HAND", "WH LOC")을 사용합니다. 해당 약어를 그대로 사용하거나 설명적인 이름을 사용할 수 있으며, AI는 둘 다 이해합니다. 행이 많은 화면의 경우 AI는 화면의 데이터 행당 하나의 출력 행을 생성합니다.

채팅 기반 주문 (WhatsApp, WeChat, Messenger)

채팅 주문 스크린샷에는 자연어가 포함되어 있습니다. 필드 레이블 없이 문장만 있습니다. AI는 비정형 텍스트에서 구조화된 데이터를 추출합니다. 표준 주문 필드:

참고: 채팅 메시지에 특정 필드(예: 배송일)가 언급되지 않은 경우 해당 셀은 비어 있습니다. AI는 값을 임의로 생성하지 않습니다. "주문 메모"는 고객이 포함한 특별 지시사항이나 조건을 캡처합니다. 하나의 채팅 스레드에 여러 개의 개별 주문이 포함된 스크린샷의 경우 AI는 주문당 하나의 행을 생성합니다.

트레이딩 플랫폼 확인서

브로커리지 앱의 거래 확인 스크린샷은 일반적으로 각 체결에 대해 레이블-값 쌍을 표시합니다. 거래 일지의 경우:

참고: 열 이름에 "방향(매수/매도)"을 포함하면 AI가 예상하는 값 범위를 알 수 있어, 모호할 수 있는 필드의 추출 정확도가 향상됩니다. 손익을 직접 계산하려면 계산된 열을 추가하세요: 총 손익 (수량 × 체결가).

지출 영수증 및 비용 청구 스크린샷

지출 스크린샷은 소매 영수증, 식당 계산서, 호텔 숙박비 명세서 등 다양합니다. 비용 청구 워크플로우의 경우:

참고: 대부분의 영수증에 "카테고리"가 표시되지 않습니다. 비워두고 직접 입력하거나, AI가 가맹점명에서 카테고리를 추론하도록 조건부 로직이 있는 계산된 열을 정의하세요. "직원명"은 수집 링크 기능을 통해 팀의 지출 스크린샷을 한 번에 처리할 때 유용합니다.

사용해보기: 위 열 세트 중 하나를 복사하여 데모의 열 이름 필드에 붙여넣고, 일치하는 스크린샷을 업로드하면 AI가 찾는 내용을 확인할 수 있습니다.

스크린샷이 유일한 데이터 소스인 경우

스크린샷을 찍는 이유는 다양합니다. 사용 중인 도구가 데이터 내보내기를 지원하지 않거나, 데이터를 보낸 사람이 잘못된 형식을 선택했기 때문일 수 있습니다. 두 경우 모두 결과는 같습니다. 필요한 정보가 눈앞에 있지만, 다시 입력하지 않고는 사용할 방법이 없는 상황이죠.

스크린샷에서 열 이름을 추출하는 것이 가장 큰 차이를 만드는 시나리오는 다른 대안이 전혀 없는 경우입니다:

레거시 시스템. 회사에서 20년 된 녹색 화면의 ERP 터미널 인터페이스를 사용한다면, REST API는 기대하기 어렵습니다. CSV 내보내기도 없습니다. 화면이 유일한 출력 수단입니다. 하지만 AI는 API가 필요하지 않습니다. AI는 사용자가 보는 것을 보면 됩니다. 해당 터미널 화면의 스크린샷을 최신 웹 UI에 사용하는 것과 동일한 열 정의로 처리하면, 동일한 구조화된 출력을 얻을 수 있습니다. 시스템의 연식은 중요하지 않습니다. 화면에 있는 정보가 중요할 뿐입니다.

의도적으로 데이터 접근을 차단하는 앱. 은행 앱은 보안을 위해 복사-붙여넣기를 제한합니다. 의료 포털은 HIPAA 규정 준수를 위해 텍스트 선택을 비활성화합니다. 일부 기업용 대시보드는 스크래핑을 방지하기 위해 데이터를 이미지로 렌더링합니다. 이는 합리적인 보안 결정이지만, 동시에 자신의 데이터를 자신의 스프레드시트에 사용해야 하는 합법적인 사용자에게는 데이터를 얻을 방법이 없다는 것을 의미합니다. 스크린샷에서 AI 추출은 이러한 제약 내에서 작동합니다. 데이터를 볼 수 있으므로 캡처할 수 있고, AI가 그 캡처를 읽습니다.

다중 소스 집계. 세 개의 다른 플랫폼에서 결제 확인을 수집하거나, 다섯 개의 다른 채팅 앱에서 주문 세부 정보를 수집하거나, 네 개의 다른 대시보드에서 KPI 수치를 수집할 때, 데이터는 각기 다른 시각적 레이아웃으로 도착합니다. 템플릿 기반 도구는 다섯 가지 다른 설정이 필요합니다. 열 이름 추출은 하나만 필요합니다. AI에 원하는 정보를 알려주면, 모든 레이아웃 변형에서 이를 찾아냅니다. 이는 다중 형식 인보이스 추출이 작동하는 것과 동일한 원리로, 문서 대신 스크린샷에 적용됩니다.

영수증 스크린샷을 대규모로 처리해야 하는 팀을 위해, 수집 링크 기능은 배포 계층을 추가합니다. 공유 가능한 업로드 페이지를 생성하고, 팀원에게 링크를 보내면, 제출자가 별도로 등록할 필요 없이 스크린샷이 처리 대기열에 바로 들어옵니다.

스크린샷 추출 정확도에 영향을 미치는 요소

스크린샷은 AI 추출에 가장 깔끔한 입력 형식입니다. 기계가 렌더링한 결과물이기 때문에 일관된 폰트, 선명한 대비, 카메라 흔들림 없음, 조명 문제 없음, 페이지 컬 없음 등이 보장됩니다. 따라서 스크린샷 기반 추출은 사진 기반 추출보다 본질적으로 정확도가 높습니다. SAP 커뮤니티 블로그의 테스트에서도 이를 확인했습니다. 여러 AI 모델이 엔터프라이즈 스크린샷에서 구조화된 데이터를 안정적으로 추출했으며, 모델별로 성능 차이는 약간 있었습니다.

정확도는 여전히 몇 가지 요소에 따라 달라집니다:

• 해상도. 전체 해상도 스크린샷은 텍스트를 원래 픽셀 밀도로 캡처합니다. 이미지를 축소하는 메시징 앱에서 흔히 발생하는 압축 또는 크기 조정된 스크린샷은 미세한 디테일을 잃을 수 있습니다.
• 필드 명확성. "$"가 앞에 붙은 금액, 인식 가능한 형식의 날짜, 예측 가능한 패턴의 확인 번호 등 모호함이 없는 필드는 여러 방식으로 해석될 수 있는 자유 텍스트 필드보다 더 정확하게 추출됩니다.
• 정보 밀도. 깔끔한 배경에 세 개의 큰 KPI 숫자가 있는 대시보드는 50개 행의 빽빽한 데이터 테이블보다 더 안정적으로 추출됩니다. AI는 둘 다 처리할 수 있지만, 시각적 레이아웃이 단순할수록 예외 사례가 줄어듭니다.
• Thinking 모드. 복잡한 레이아웃이나 혼합 콘텐츠 유형(예: 일상적인 텍스트와 구조화된 주문 세부 정보가 모두 포함된 채팅 메시지)의 스크린샷의 경우 Thinking 모드를 활성화하면 AI가 추가 추론 단계를 거쳐 모호한 필드의 추출 정확도를 높일 수 있습니다.

깨끗한 스크린샷에서 추출한 인쇄된 테이블 데이터의 경우 정확도가 최대 99%에 달합니다. 테스트 후 SAP 블로그 작성자의 실용적인 결론은 다음과 같습니다. "출력 결과가 매우 정확했으며 수동 수정이 거의 필요하지 않았습니다." 이는 모든 것을 처음부터 다시 입력하는 것과 비교할 때 의미 있는 차이입니다.

자주 묻는 질문

특정 스크린샷 작업 흐름에 대해서는 결제 확인 데이터 추출, 지출 스크린샷 처리, EHR 스크린샷에서 임상 데이터 추출 가이드를 참조하세요. 스크린샷 대신 문서 작업을 하는 경우 AI 문서 추출의 실제 의미부터 시작하세요.

이론은 건너뛰고 바로 추출을 시작하려면 스크린샷을 Excel로 변환 도구를 사용하세요. 열을 정의하고 모든 출처의 스크린샷을 드롭하면 수동 입력 없이 몇 초 만에 깔끔한 스프레드시트를 얻을 수 있습니다.

참고: 스크린샷을 다시 입력하지 않고 스프레드시트로 변환하는 단계별 가이드 · 입력 형식 정확도 비교: 스크린샷 vs PDF vs 사진 vs 스캔