컬러 배경에서 OCR이 실패하는 이유
및 워터마크 — 4가지 원인과 해결책

전통적인 OCR은 검은색 텍스트와 흰색 배경이라는 단순한 가정을 기반으로 설계되었습니다. Tesseract, ABBYY FineReader, Adobe Acrobat의 내장 OCR 등 대부분의 OCR 엔진은 이미지를 흑백 이진 표현으로 변환한 후, 남은 어두운 영역을 문자 모양과 매칭합니다. 배경에 색상, 질감 또는 반투명 텍스트가 도입되는 순간, 이 가정은 무너집니다.

이는 자동 문서 추출에서 가장 까다로운 문제 중 하나입니다. 모든 경우를 처리하는 단일 해결책은 없습니다. 하지만 문제가 발생하는 이유를 이해하면 실질적인 이점을 얻을 수 있습니다. 문서에서 특정 원인을 진단하고, 올바른 해결책을 적용하며, 한계가 도구에 있는지 문서에 있는지 알 수 있습니다.

다음은 컬러 배경과 워터마크로 인해 OCR 추출이 실패하는 가장 일반적인 네 가지 상황과 각각에 대한 대처 방법입니다.

원인 1: 낮은 명암비 — 텍스트가 배경에 섞일 때

이진화는 대부분의 OCR 엔진이 가장 먼저 수행하는 작업입니다. 임계값을 사용하여 모든 픽셀을 검은색 또는 흰색으로 변환합니다. 임계값보다 어두운 픽셀은 문자 후보가 되고, 밝은 픽셀은 배경이 됩니다. 이는 밝은 흰색 종이에 진한 검은색 잉크가 있을 때 완벽하게 작동합니다. 텍스트 색상과 배경 색상의 차이가 특정 비율 이하로 떨어지면 실패합니다.

동일한 문제는 모든 배경의 밝은 회색 텍스트, 파스텔 색상 상자의 흰색 텍스트, 그라데이션으로 채워진 테이블 헤더에 오버레이된 텍스트에서도 발생합니다. 구조적 문제는 동일합니다. 문자 픽셀과 배경 픽셀의 휘도가 너무 가까워 임계값으로 분리할 수 없습니다.

진단 방법: 스캔한 이미지를 사진 편집기에서 열고 회색조 필터를 적용합니다. OCR이 놓친 텍스트를 육안으로 읽기 어려워진다면 거의 확실히 이진화가 원인입니다.

원인 2: 반투명 워터마크 — DRAFT, CONFIDENTIAL, SAMPLE이 실제 콘텐츠로 인식됨

워터마크는 기본 콘텐츠를 가리지 않으면서 사람의 눈에는 보이도록 설계되었습니다. 따라서 문서 보안에는 유용하지만 OCR에는 치명적입니다. 반투명 텍스트는 이진화 임계값에서 "텍스트일 수도, 배경일 수도 있는" 영역에 해당하는 픽셀 값을 생성합니다.

그 결과는 예측 불가능하며 엔진에 따라 다릅니다. 일부 OCR 도구는 워터마크 픽셀을 배경의 일부로 간주하여 버리지만, 그 과정에서 기본 문자도 함께 버려져 빈 필드가 생성됩니다. 다른 도구는 워터마크를 기본 텍스트로 간주하여 실제 송장 합계 대신 DRAFT 12,345.67 CONFIDENTIAL과 같은 결과를 출력합니다. Microsoft의 Azure AI Document Intelligence 포럼에서는 "SAMPLE" 또는 "VOID" 같은 워터마크 문자열이 추출된 필드 값에 섞여 들어가 문자 수를 부풀리고 다운스트림 검증 규칙을 깨뜨린다는 사용자 보고가 있습니다.

핵심 문제는 기존 OCR에는 의도라는 개념이 없다는 것입니다. 보안 오버레이로 인쇄된 "DRAFT"와 계약 버전 라벨로 인쇄된 "DRAFT"를 구분할 수 없습니다. 둘 다 문자 집합과 일치하는 픽셀 패턴일 뿐입니다.

진단 방법: 추출된 출력에 문서의 실제 필드와 일치하지 않는 "DRAFT", "CONFIDENTIAL", "SAMPLE" 또는 "COPY" 같은 추가 단어가 포함되어 있는지 확인하세요. 동일한 출처의 여러 문서에서 이러한 단어가 반복적으로 나타난다면 워터마크가 원인입니다.

원인 3: 색상 구분 교대 행 — 레이아웃 분석 혼란

교대 행 색상은 사람의 눈이 읽기 쉽게 해 줍니다. 그러나 OCR 레이아웃 분석에는 세분화의 악몽을 만들어 냅니다. 레이아웃 엔진은 일관된 시각적 구조를 기준으로 페이지를 텍스트 영역, 표, 블록으로 나눕니다. 한 줄씩 배경색이 흰색에서 연한 파란색이나 회색으로 바뀌면, 엔진은 각 행을 연속된 표의 일부가 아닌 별도의 텍스트 블록으로 해석할 수 있습니다.

이는 일반적으로 추출된 표에서 행 순서가 잘못되거나, 일부 행이 완전히 누락되거나, 표가 짝수 행과 홀수 행으로 여러 개의 별도 표로 분할되는 형태로 나타납니다. 문자 인식 전에 실행되는 레이아웃 분석 단계는 표 경계가 어디인지 조기에 결정하는데, 색상이 있는 행 때문에 경계가 너무 많이 생성됩니다.

이 문제는 얼룩말 줄무늬가 표준 관행인 은행 거래 명세서, 재무 보고서, 노령 채권 보고서에서 특히 흔합니다. 사람에게는 깔끔하고 체계적으로 보이는 명세서 레이아웃이 분할된 추출 결과를 만들어 상당한 수동 정리가 필요하게 됩니다.

진단 방법: 추출된 출력의 행 순서를 원본 문서와 비교하세요. 한 줄씩 건너뛰어 별도의 표에 나타나거나 출력이 두 표 블록 사이를 오가면, 교대 색상으로 인한 레이아웃 분석 실패가 원인입니다.

원인 4: 형광펜 텍스트 — 배경 채움이 문자를 삼킬 때

검은 텍스트 위의 노란 형광펜은 문서 검토의 필수 요소입니다. OCR의 경우 텍스트와 배경 사이의 유효 대비가 크게 떨어지는 상황을 만듭니다. 텍스트가 흐려서가 아니라 형광펜이 각 문자의 안과 주변의 빈 공간을 채우기 때문입니다.

OCR 엔진은 문자 획 사이의 빈 공간에 의존하여 한 문자가 끝나고 다음 문자가 시작되는 위치를 결정합니다. 그 빈 공간이 노란색, 초록색, 분홍색 같은 밝은 색으로 채워지면, 예를 들어 n과 h를 구분하는 가장자리 감지가 신호를 잃습니다. 인접한 문자가 서로 번져 보여 대체 오류가 발생합니다. "Confirm"이 "C0nfi rm"이 되고, 달러 금액의 숫자가 누락되며, 송장 번호는 기껏해야 부분적으로만 판독됩니다.

PDF의 디지털 형광펜은 종이에 물리적 마커로 표시한 것보다 더 문제가 큽니다. 형광펜 레이어가 텍스트 레이어와 스캔 이미지 사이에 있는 반투명 오버레이로 렌더링되어, 이진화가 처리하도록 설계된 적 없는 3계층 투명도 문제를 만들기 때문입니다.

진단 방법: 원본 문서를 살펴보세요. 검토자의 마커에서 나온 노란색이든 디지털 주석에서 나온 색상이든 배경색 하이라이트가 있는 텍스트가 있고, 해당 특정 필드의 추출 출력에 문자가 합쳐지거나 숫자가 누락된 경우, 형광펜 텍스트가 원인입니다.

컬러 배경 및 워터마크 OCR 오류를 해결하는 방법

네 가지 원인을 모두 해결하는 단일 기술은 없습니다. 가장 간단한 방법부터 가장 효과적인 방법까지 다섯 가지 실용적인 접근 방식과 각각이 해결하는 원인을 소개합니다.

1. 그레이스케일 변환 + 대비 향상

문서를 OCR에 보내기 전에 이미지를 그레이스케일로 변환하고 대비를 수동으로 조정하세요. 이렇게 하면 색상이 변수로 제거됩니다. OCR 엔진은 텍스트-배경 분리가 순수하게 밝기에 기반하는 휘도 전용 이미지를 받게 됩니다. 대부분의 데스크톱 스캔 소프트웨어와 PDF 도구(Adobe Acrobat, NAPS2, VueScan)에는 "그레이스케일" 또는 "색상 제거" 옵션이 있습니다. OCR 후가 아니라 전에 적용하세요. 이 방법은 원인 1과 4에 가장 효과적입니다.

2. 적응형 임계값 처리

표준 이진화는 전체 페이지에 하나의 임계값을 적용합니다. 적응형 임계값 처리는 각 영역에 대해 로컬 임계값을 계산하므로, 진한 파란색 헤더 영역과 흰색 본문 영역이 모두 있는 문서는 각 영역에서 서로 다른 임계값으로 처리됩니다. 일부 OCR 도구에서는 이를 "적응형" 또는 "로컬" 이진화 옵션으로 제공합니다. Tesseract는 이미지 전처리와 결합된 --psm 및 --oem 플래그를 통해 이를 지원합니다. 이 방법은 원인 1과 4 — 같은 페이지의 여러 영역에서 대비가 다른 모든 경우에 도움이 됩니다.

3. 스캔 "배경 제거" 옵션

많은 엔터프라이즈 스캐너와 전문 OCR 패키지(ABBYY FineReader, Adobe Acrobat Pro)에는 "배경 제거" 또는 "배경 제거" 전처리 필터가 포함되어 있습니다. 이 필터는 이진화 전에 균일한 컬러 배경을 식별하고 제거하려고 시도합니다. 단색 헤더나 열 배경이 있는 문서에서는 잘 작동하지만, 워터마크에서는 일반적으로 실패합니다. 워터마크는 필터가 "배경"으로 인식하기에 충분히 균일하지 않기 때문입니다.

4. 의미론적 AI 추출

비전-언어 모델(VLM) — 현대 AI 추출 도구의 기반 기술 — 은 이진화에 의존하지 않습니다. 문서를 이미지로 읽고 각 텍스트 영역의 의미론적 의미를 이해합니다. VLM은 페이지에 대각선으로 표시된 "DRAFT CONFIDENTIAL"이 워터마크이지 데이터 필드가 아니라는 것을 식별하고 추출 출력에서 제외할 수 있습니다. 마찬가지로 VLM은 전체 레이아웃 맥락을 분석하여 이진 전경-배경 결정을 내리는 대신 색상 배경과 얼룩말 줄무늬 테이블을 더 유연하게 처리합니다.

이것은 만능 해결책이 아닙니다 — 최고의 VLM도 밀집된 워터마크나 매우 낮은 대비 텍스트에 혼란을 겪을 수 있습니다. 그러나 원인 2와 3의 경우, 기존 OCR 엔진에서 VLM 기반 추출 도구로 전환하는 것이 가장 효과적인 단일 조치입니다. 이것이 ImageToTable.ai가 테이블로 모드에서 사용하는 접근 방식으로, 모델이 픽셀 값이 아닌 문서의 의도를 해석합니다.

5. 추출 후 키워드 필터링

문서에 일관된 워터마크가 있는 경우, 간단한 후처리 스크립트로 추출된 필드에서 이러한 알려진 문자열을 제거할 수 있습니다. 이것은 임시방편이지 해결책이 아닙니다 — 원치 않는 텍스트가 정확히 무엇인지 알 때만 작동하며 낮은 대비로 인한 누락 데이터에는 도움이 되지 않습니다. 그러나 빠르고 도구 변경이 필요 없으며 예측 가능한 문서의 원인 2를 안정적으로 정리합니다.

전환 시점: 기존 OCR의 한계를 넘어서는 문서 인식

일부 문서는 근본적으로 기존 OCR의 능력을 벗어납니다 — 기술에 결함이 있어서가 아니라 추출 접근 방식 자체가 잘못된 도구이기 때문입니다.

문서에 다음 특성이 일관되게 나타나는 경우, 전처리 조정만으로는 문제를 완전히 해결할 수 없습니다:

• 겹치는 시각적 요소가 여러 개: 같은 페이지에 워터마크 + 색상 헤더 + 테이블. 각 요소는 신호를 개별적으로 저하시키며 누적 효과는 임계값 처리나 배경 제거로 복구할 수 있는 수준을 초과합니다.
• 페이지 간 비균일 배경: 일부 페이지는 흰색, 다른 페이지는 밝은 파란색 헤더, 또 다른 페이지는 스캔된 회색 그림자가 있습니다. 단일 전처리 파이프라인으로는 세 가지를 모두 처리할 수 없습니다.
• 페이지의 30% 이상을 덮는 워터마크 밀도: 밀집된 워터마크는 워터마크 텍스트가 필터링되더라도 그 아래 픽셀이 충분히 변경되어 원래 문자 형태를 복구할 수 없음을 의미합니다.
• 동일 유형의 일반 문서에서도 추출이 이미 실패하는 경우: 깨끗한 흰색 배경 인보이스에서도 필드를 놓친다면 문제는 배경이 아니라 도구입니다. 문서에 색상을 추가하면 격차만 더 벌어질 뿐입니다.

이러한 경우 올바른 해결 방법은 더 나은 전처리가 아니라 근본적으로 다른 추출 아키텍처입니다. 임계값 설정이 아닌 이해를 통해 추출하는 비전-언어 모델이 다음 단계입니다. 레이아웃이 매우 복잡한 문서의 경우 구조화된 전처리 가이드와 최신 AI 추출 도구를 함께 사용하는 것이 깨끗한 결과를 얻을 수 있는 최선의 방법입니다.

문서 유형에 따라 정확도가 떨어지는 이유에 대한 자세한 내용은 문서 유형별 OCR 정확도 차이에 관한 문서에서 다루며, 표 추출 문제 해결은 병합 셀 추출 문제 해결 가이드에서 다룹니다.

자주 묻는 질문