스크린샷에서
필요한 데이터 필드만 추출하는 방법

"모두 추출" 기능의 실제 비용

대부분의 스크린샷 추출 도구는 사용자가 페이지의 모든 데이터를 원한다는 가정을 합니다. 이 가정은 아무도 예산에 포함하지 않는 정리 단계를 만듭니다.

18개의 KPI 카드가 있는 대시보드 스크린샷을 예로 들어보겠습니다. 실제로 필요한 것은 MRR, 활성 사용자, 전환율 세 가지뿐입니다. 대부분의 사람들이 가장 먼저 사용하는 Excel의 기본 사진에서 데이터 기능은 모든 보이는 숫자를 셀에 추출합니다. 이제 행과 열로 얽힌 55개의 데이터 포인트가 생겼고, 대부분은 레이블에서 분리된 맥락 없는 값입니다. 필요한 세 가지를 사용하려면 먼저 55개 중에서 각각을 찾고, 올바른 값인지 확인한 후(글로벌 카드가 아닌 북미 카드의 "수익" 숫자), 나머지를 삭제하거나 보관해야 합니다.

이 작업을 주 2회 수행한다면, 정리 작업이 전체 워크플로 시간의 약 70%를 차지합니다. 추출 자체는 빠르지만, 분류 작업은 느립니다. 매주 다른 대시보드에서 지표를 추적하는 5명의 팀으로 확대하면, 매주 금요일마다 3-4시간의 눈에 보이지 않는 비용이 발생합니다. 아무도 이를 별도 작업으로 생각하지 않아 보고하지 않으며, 그냥 "Excel에 데이터 넣기"의 일부로 여겨집니다.

현장 데이터 수집 앱에서 600장의 스크린샷을 처리하던 Reddit 사용자가 명확히 밝혔듯이, 필요한 것은 각 이미지에서 "태그 번호, 길이, 무게, 이벤트 유형, 태거, 날짜, 시간, GPS/위치, 수온"이었습니다. 한 번에 10장씩 ChatGPT에 업로드하는 방식은 작동했지만 업로드 제한에 빠르게 부딪혔습니다. OCR 도구는 텍스트를 추출해 주었지만 "필드 구조를 항상 유지하거나 한 레코드의 두 스크린샷을 연결하지는 못했습니다." 두 접근 방식의 공통된 한계는 동일했습니다. 도구가 모든 것을 제공했지만, 사용자가 직접 구조를 다시 만들어야 했습니다.

열 기반 추출이 페이지 전체를 옮기는 대신 필드를 선택하는 방법

대부분의 도구가 전체 페이지를 제공하는 이유는 구조적 한계 때문입니다. 기존 OCR은 Tesseract, Google Cloud Vision, 또는 Excel의 사진 데이터 기능 뒤에 있는 Microsoft 자체 엔진을 막론하고, 이미지를 왼쪽에서 오른쪽, 위에서 아래로 스캔하여 보이는 모든 문자를 텍스트로 변환합니다. 표 구조가 있으면 텍스트가 행과 열로 구성되어 있음을 인식할 수 있지만, 사용자가 관심 있는 행이나 열을 구분할 메커니즘은 없습니다. 모든 것을 읽는 이유는 모든 것을 읽는 것이 목적이었던 문서 처리 시대를 위해 설계되었기 때문입니다.

선택적 필드 추출은 반대 방향에서 시작합니다. "이미지에 어떤 텍스트가 있나요?"라고 묻는 대신, "정의한 필드 이름에 대해 이 이미지에 어떤 값이 포함되어 있나요?"라고 묻습니다. 이것이 사용자 정의 열 추출입니다: "매출", "이탈률", "활성 사용자" 등 원하는 열 이름을 입력하면, AI가 위치가 아닌 의미를 기반으로 페이지 어디에서든 해당 값을 찾습니다. 입력한 열 이름이 출력 테이블의 정확한 헤더가 됩니다. AI가 픽셀 좌표를 기억하는 것이 아니라, 레이블과 화면상 데이터 간의 의미적 관계를 이해하기 때문에 각 값이 올바른 열에 배치됩니다.

Pragmile의 2025년 독립 벤치마크는 표 추출 품질을 포함한 6개 차원에서 10개의 OCR 및 문서 이해 도구를 테스트했습니다. 그 차이는 명확했습니다: Tesseract는 표 추출에서 2/10을 기록했으며 — "표를 열과 행으로 나누지 않고 연속된 텍스트로 처리했습니다." 원시 문자 OCR에서 10/10을 기록한 Azure Form Recognizer조차 표 추출에서는 4/10으로 떨어졌습니다. 문서의 의미를 이해하는 AI 엔진, 즉 문자 모양뿐만 아니라 문서의 의미를 이해하는 엔진이 의미 있는 구조를 보존합니다.

단계별 가이드: 원하는 필드만 추출하기

코드를 작성하거나, 템플릿을 구성하거나, 모델을 학습시키지 않고도 선택적 추출을 실행할 수 있습니다. 워크플로우는 세 단계로 구성되며, 가장 중요한 단계는 파일을 건드리기 전에 이루어집니다.

최적의 결과를 위한 필드 이름 지정 방법

출력 품질은 스크린샷 해상도보다 열 이름을 어떻게 지정하느냐에 더 크게 좌우됩니다. 이 단계에서 대부분의 추출 결과가 한 번에 깔끔하게 나오거나 두 번째 시도가 필요하게 됩니다.

열 이름을 "금액(Amount)"으로 쓰면 AI가 추측해야 합니다. 이게 송장 합계인지, 라인 항목 금액인지, 세금 금액인지, 소계인지? "송장 합계(세금 포함, USD)"라고 쓰면 AI는 명확한 대상을 알 수 있습니다. 열 이름에 단어가 많을수록 모델이 의미를 구분할 더 많은 맥락을 얻습니다. 이는 장황하게 쓰라는 것이 아니라, 의미 매칭 과정에서 추측을 없애라는 것입니다. 다음은 일관되게 더 깔끔한 결과를 만드는 세 가지 명명 규칙입니다:

선택적 추출이 뛰어난 경우 — 그렇지 않은 경우

선택적 추출은 특정 문제를 매우 잘 해결하지만, 모든 스크린샷 상황에 최적의 도구는 아닙니다. 그 경계를 알면 불필요한 시행착오를 줄일 수 있습니다.

확실히 유리한 경우: 25개 중 3개 지표만 필요한 대시보드 스크린샷. 수백 개 레코드에서 동일한 필드 집합을 수집하는 앱 스크린샷 — 예를 들어 스크린샷에서 고객 이름, 이메일, 전화번호, 등록일, 마지막 예약을 일괄 가져와 Excel로 옮기려는 Reddit 사용자의 사례. 크로스 플랫폼 데이터 통합 — Salesforce, Tableau, Google Analytics 스크린샷에서 동일한 KPI를 한 행으로 추출하는 작업은 동일한 레이아웃을 요구하는 템플릿 기반 도구로는 불가능합니다. 이 지점에서 스크린샷-스프레드시트 접근법은 수동 데이터 입력에서 자동화 파이프라인으로 전환됩니다.

전체 페이지 OCR이 더 나은 경우: 스크린샷에 어떤 필드가 있는지 아직 모를 때 — 추출할 대상을 결정하기 전에 먼저 내용을 발견해야 하는 경우. 규정 준수나 감사 목적으로 스크린샷 내용을 그대로 보관해야 하며, 완전성이 사용성보다 중요한 경우. 스크린샷에 모든 열이 실제로 필요한 단일 밀집 테이블이 포함되어 있고, 20개 열을 확인하는 것이 수동으로 옮겨 적는 것보다 여전히 빠른 경우.

이것은 이분법적 선택이 아닙니다. 가장 효율적인 워크플로는 종종 둘 다 사용합니다: 새 문서 유형을 조사하기 위해 빠른 전체 추출을 먼저 하고, 반복 작업에는 선택적 추출 템플릿을 사용합니다. 열을 정의하는 설정 비용은 한 번만 지불하면 되며, 이후 동일한 열로 추출할 때마다 거의 즉시 처리됩니다.

자주 묻는 질문

다음 스크린샷에서 선택적 추출을 시도해보세요. 열을 정의하고 업로드하면 출력 테이블에 요청한 필드만 포함됩니다.