컬러 배경에서 OCR이 실패하는 이유
및 워터마크 — 4가지 원인과 해결책

전통적인 OCR은 검은색 텍스트와 흰색 배경이라는 단순한 가정을 기반으로 설계되었습니다. Tesseract, ABBYY FineReader, Adobe Acrobat의 내장 OCR 등 대부분의 OCR 엔진은 이미지를 흑백 이진 표현(이진화라고 하는 단계)으로 변환한 후, 남은 어두운 영역을 문자 모양과 매칭합니다. 배경에 색상, 질감 또는 반투명 텍스트가 도입되는 순간, 이 가정은 무너집니다.

이는 자동 문서 추출에서 가장 까다로운 문제 중 하나입니다. 모든 경우를 처리하는 단일 해결책은 없습니다. 하지만 문제가 발생하는 이유를 이해하면 실질적인 이점을 얻을 수 있습니다. 문서에서 특정 원인을 진단하고, 올바른 해결책을 적용하며, 한계가 도구에 있는지 문서에 있는지 알 수 있습니다.

다음은 컬러 배경과 워터마크로 인해 OCR 추출이 실패하는 가장 일반적인 네 가지 상황과 각각에 대한 대처 방법입니다.

원인 1: 낮은 명암비 — 텍스트가 배경에 섞일 때

이진화는 대부분의 OCR 엔진이 가장 먼저 수행하는 작업입니다. 임계값을 사용하여 모든 픽셀을 검은색 또는 흰색으로 변환합니다. 임계값보다 어두운 픽셀은 문자 후보가 되고, 밝은 픽셀은 배경이 됩니다. 이는 밝은 흰색 종이에 진한 검은색 잉크가 있을 때 완벽하게 작동합니다. 텍스트 색상과 배경 색상의 차이가 특정 비율 이하로 떨어지면 실패합니다.

동일한 문제는 모든 배경의 밝은 회색 텍스트, 파스텔 색상 상자의 흰색 텍스트(현대 송장 템플릿에서 흔함), 그라데이션으로 채워진 테이블 헤더에 오버레이된 텍스트에서도 발생합니다. 구조적 문제는 동일합니다. 문자 픽셀과 배경 픽셀의 휘도가 너무 가까워 임계값으로 분리할 수 없습니다.

진단 방법: 스캔한 이미지를 사진 편집기에서 열고 회색조 필터를 적용합니다. OCR이 놓친 텍스트를 육안으로 읽기 어려워진다면 거의 확실히 이진화가 원인입니다.

원인 2: 반투명 워터마크 — DRAFT, CONFIDENTIAL, SAMPLE이 실제 내용으로 인식됨

워터마크는 사람 눈에는 보이되 내용을 가리지 않도록 설계됩니다. 문서 보안에는 유용하지만 OCR에는 치명적입니다. 반투명 텍스트는 이진화 임계값에서 "텍스트일 수도, 배경일 수도 있는" 픽셀 값을 만듭니다.

결과는 엔진마다 달라 예측이 어렵습니다. 일부 OCR 도구는 워터마크 픽셀을 배경으로 간주하여 제거하지만, 그 과정에서 실제 문자도 함께 사라져 빈 필드가 생성됩니다. 다른 도구는 워터마크를 주요 텍스트로 인식하여 실제 송장 합계 대신 DRAFT 12,345.67 CONFIDENTIAL 같은 결과를 출력합니다. Microsoft Azure AI Document Intelligence 포럼에서는 "SAMPLE"이나 "VOID" 같은 워터마크 문자열이 추출된 필드 값에 섞여 들어가 문자 수를 부풀리고 후속 검증 규칙을 무력화시킨다는 사용자 보고가 있습니다.

핵심 문제는 기존 OCR에 '의도'라는 개념이 없다는 점입니다. 보안 오버레이로 인쇄된 "DRAFT"와 계약 버전 레이블로 인쇄된 "DRAFT"를 구분하지 못합니다. 둘 다 단지 일련의 문자와 일치하는 픽셀 패턴일 뿐입니다.

진단 방법: 추출된 출력에 문서의 실제 필드와 일치하지 않는 "DRAFT", "CONFIDENTIAL", "SAMPLE", "COPY" 같은 추가 단어가 있는지 확인하세요. 동일 출처의 여러 문서에서 이런 단어가 반복해서 나타난다면 워터마크가 원인입니다.

원인 3: 컬러 교차 행 — 레이아웃 분석 혼란

교차 행 색상(일명 얼룩말 무늬)은 사람의 가독성을 높입니다. 하지만 OCR 레이아웃 분석에는 분할의 악몽을 초래합니다. 레이아웃 엔진은 일관된 시각적 구조를 기반으로 페이지를 텍스트 영역, 표, 블록으로 나눕니다. 행마다 배경색이 흰색에서 연한 파랑 또는 회색으로 바뀌면, 엔진은 각 행을 연속된 표의 일부가 아닌 별도의 텍스트 블록으로 해석할 수 있습니다.

이는 일반적으로 추출된 표에서 행 순서가 뒤바뀌거나, 일부 행이 완전히 누락되거나, 표가 짝수 행과 홀수 행을 위해 여러 개의 개별 표로 분할되는 형태로 나타납니다. 문자 인식 전에 실행되는 레이아웃 분석 단계에서 표 경계를 조기에 결정하는데, 컬러 행이 너무 많은 경계를 생성하도록 만듭니다.

이 문제는 얼룩말 무늬가 표준인 은행 거래 명세서, 재무 보고서, 노령 채권 보고서에서 특히 흔합니다. 사람에게는 깔끔하고 정돈된 명세서 레이아웃이 OCR로는 파편화된 추출 결과를 만들어 상당한 수동 정리가 필요합니다.

진단 방법: 추출된 출력의 행 순서를 원본 문서와 비교하세요. 한 행씩 건너뛰어 별도 표에 나타나거나 출력이 두 개의 표 블록 사이를 번갈아 가며 나타난다면, 교차 색상으로 인한 레이아웃 분석 실패입니다.

원인 4: 하이라이트 텍스트 — 배경 채움으로 인한 문자 손실

검은색 텍스트 위의 노란색 하이라이터는 문서 검토의 필수 요소입니다. OCR의 경우, 텍스트가 흐릿해서가 아니라 하이라이트가 각 문자 내부와 주변의 빈 공간을 채우기 때문에 텍스트와 배경 간의 실질적인 대비가 크게 떨어지는 상황이 발생합니다.

OCR 엔진은 문자 획 사이의 빈 공간을 이용하여 한 문자가 끝나고 다음 문자가 시작되는 위치를 결정합니다. 그 빈 공간이 노란색, 녹색, 분홍색 같은 밝은 색으로 채워지면, 예를 들어 n과 h를 구분하는 경계 감지가 신호를 잃습니다. 인접한 문자들이 서로 번져 보여 치환 오류가 발생합니다. "Confirm"은 "C0nfi rm"이 되고, 금액 숫자는 누락되며, 송장 번호는 기껏해야 부분적으로만 판독 가능하게 반환됩니다.

PDF의 디지털 하이라이트는 종이에 물리적 마커를 사용하는 것보다 훨씬 문제가 심각합니다. 하이라이트 레이어가 텍스트 레이어와 스캔 이미지 사이에 위치하는 반투명 오버레이로 렌더링되어, 이진화가 처리하도록 설계된 적 없는 3계층 투명도 문제를 만들기 때문입니다.

진단 방법: 원본 문서를 살펴보십시오. 텍스트에 리뷰어 마커의 노란색이든 디지털 주석의 색상이든 배경 하이라이트가 있고, 해당 필드에 대한 추출 결과에 문자가 병합되거나 숫자가 누락된 경우, 하이라이트 텍스트가 원인입니다.

색상 배경 및 워터마크 OCR 오류 수정 방법

네 가지 원인을 모두 해결하는 단일 기술은 없습니다. 다음은 가장 간단한 방법부터 가장 효과적인 방법 순으로 나열한 다섯 가지 실용적인 접근 방식과 각각이 해결하는 원인입니다.

1. 그레이스케일 변환 + 대비 향상

문서를 OCR에 보내기 전에 이미지를 그레이스케일로 변환하고 대비를 수동으로 조정하십시오. 이렇게 하면 색상이 변수로 작용하지 않게 됩니다. OCR 엔진은 텍스트-배경 분리가 순전히 밝기를 기반으로 하는 휘도 전용 이미지를 받게 됩니다. 대부분의 데스크톱 스캔 소프트웨어 및 PDF 도구(Adobe Acrobat, NAPS2, VueScan)에는 "그레이스케일" 또는 "색상 제거" 옵션이 있습니다. OCR 후가 아니라 전에 적용하십시오. 이 수정 방법은 원인 1과 4(낮은 대비 및 하이라이트 텍스트)에 가장 효과적입니다.

2. 적응형 임계값 처리

표준 이진화는 전체 페이지에 하나의 임계값을 적용합니다. 적응형 임계값 처리는 각 영역별로 로컬 임계값을 계산하므로, 진한 파란색 헤더 영역과 흰색 본문 영역이 함께 있는 문서도 각 영역에 서로 다른 임계값으로 처리됩니다. 일부 OCR 도구에서는 이를 "적응형" 또는 "로컬" 이진화 옵션으로 제공합니다. Tesseract는 이미지 전처리와 함께 --psm 및 --oem 플래그를 결합하여 이를 지원합니다. 이 수정은 원인 1과 4 — 동일 페이지의 영역별로 대비가 다른 모든 경우에 도움이 됩니다.

3. 스캔 "배경 제거" 옵션

많은 기업용 스캐너와 전문 OCR 패키지(ABBYY FineReader, Adobe Acrobat Pro)에는 이진화 전에 "배경 제거" 또는 "배경 제거" 전처리 필터가 포함되어 있습니다. 이 필터는 균일한 색상의 배경을 식별하고 제거합니다. 단색 헤더나 컬럼 배경이 있는 문서(원인 1)에는 효과적이지만, 워터마크(원인 2)에는 일반적으로 실패합니다. 워터마크는 필터가 "배경"으로 인식하기에 충분히 균일하지 않기 때문입니다.

4. 의미론적 AI 추출 (워터마크 인식 처리)

비전-언어 모델(VLM) — 최신 AI 추출 도구의 기반 기술 — 은 이진화에 의존하지 않습니다. 문서를 이미지로 읽고 각 텍스트 영역의 의미론적 의미를 이해합니다. VLM은 페이지에 대각선으로 표시된 "기밀 초안"이 워터마크이지 데이터 필드가 아님을 식별하여 추출 결과에서 제외할 수 있습니다. 마찬가지로 VLM은 전체 레이아웃 컨텍스트를 분석하고 이진 전경-배경 결정을 내리지 않기 때문에 컬러 배경이나 얼룩말 무늬 테이블을 더 유연하게 처리합니다.

이것이 만능 해결책은 아닙니다. 최고의 VLM도 조밀한 워터마크나 매우 낮은 대비의 텍스트에 혼란을 겪을 수 있습니다. 하지만 원인 2와 3(워터마크 및 교차 행)의 경우, 기존 OCR 엔진에서 VLM 기반 추출 도구로 전환하는 것이 가장 효과적인 단일 조치입니다. 이는 ImageToTable.ai가 To Table 모드에서 사용하는 접근 방식으로, 모델이 문서의 픽셀 값이 아닌 의도를 해석합니다.

5. 추출 후 키워드 필터링

문서에 일관된 워터마크(예: 모든 데모 인보이스의 "SAMPLE" 또는 초안 계약서의 "CONFIDENTIAL")가 있는 경우, 간단한 후처리 스크립트로 추출된 필드에서 이러한 알려진 문자열을 제거할 수 있습니다. 이는 임시방편일 뿐, 근본적인 해결책은 아닙니다. 원치 않는 텍스트가 정확히 무엇인지 알고 있을 때만 작동하며, 저대비로 인한 데이터 누락 문제는 해결하지 못합니다. 하지만 빠르고, 도구 변경이 필요 없으며, 예측 가능한 문서의 원인 2(워터마크 텍스트)를 안정적으로 정리합니다.

전환 시점: 기존 OCR로 처리 불가능한 문서 인식하기

일부 문서는 근본적으로 기존 OCR의 역량 범위를 벗어납니다. 이는 기술 자체의 결함 때문이 아니라, 추출 접근 방식 자체가 잘못된 도구이기 때문입니다.

문서에 다음 특성 중 하나라도 지속적으로 나타난다면, 전처리 조정만으로는 문제를 완전히 해결할 수 없습니다:

• 겹치는 여러 시각적 요소: 같은 페이지에 워터마크 + 컬러 헤더 + 표가 있는 경우. 각 요소가 독립적으로 신호를 저하시키며, 누적 효과는 임계값 처리나 배경 제거로 복구할 수 있는 수준을 넘어섭니다.
• 페이지 간 비균일 배경: 일부 페이지는 흰색, 다른 페이지는 연한 파란색 헤더, 또 다른 페이지는 스캔된 회색 그림자가 있습니다. 단일 전처리 파이프라인으로는 세 가지 모두에 적응할 수 없습니다.
• 페이지의 30% 이상을 덮는 워터마크 밀도: 밀도가 높은 워터마크는 워터마크 텍스트가 필터링되더라도 그 아래 픽셀이 충분히 변경되어 원래 문자 형태를 복구할 수 없음을 의미합니다.
• 동일 유형의 일반 문서에서도 추출이 이미 실패하는 경우: 깨끗한 흰색 배경의 인보이스에서도 도구가 필드를 놓친다면, 문제는 배경이 아니라 도구 자체에 있습니다. 문서에 색상이 추가되면 그 격차는 더 벌어질 뿐입니다.

이러한 경우, 올바른 전환은 더 나은 전처리가 아니라 근본적으로 다른 추출 아키텍처입니다. 임계값 처리가 아닌 이해를 통해 추출하는 비전-언어 모델이 다음 단계입니다. 그리고 매우 복잡한 레이아웃의 문서의 경우, 구조화된 전처리 가이드와 최신 AI 추출 도구를 결합하는 것이 깔끔한 결과를 얻을 수 있는 최선의 방법입니다.

다양한 문서 스타일에 따라 정확도가 떨어지는 이유에 대한 자세한 내용은 문서 유형별 OCR 정확도 차이에 관한 기사에서 다루고 있으며, 표 추출 문제 해결은 병합된 셀 추출 문제 해결 가이드에서 확인할 수 있습니다.

자주 묻는 질문