컬러 배경에서 OCR이 실패하는 이유는?
4가지 원인과 구체적인 해결책

짜증 나는 점은, 문서가 당신 눈에는 멀쩡해 보인다는 겁니다. 읽을 수 있습니다. OCR 도구는 분명히 올바른 폰트를 학습했습니다 — 흰 페이지에서는 같은 텍스트를 완벽하게 처리합니다. 하지만 배경색이 연하게 들어가거나, 보안 패턴이 있거나, 희미한 "CONFIDENTIAL" 도장이 찍히면, 98% 정확도를 보여주던 엔진이 엉망진창 필드로 가득 찬 스프레드시트를 내놓습니다.

핵심 통찰: "배경 문제"는 하나의 문제가 아닙니다. 각각 다른 근본 원인과 해결책을 가진 네 가지 별개의 고장 메커니즘입니다. 잘못된 해결책을 적용하는 경우 — 예를 들어, 실제로는 워터마크 문제가 있는 문서에 대비를 더 높이는 것 — 올바른 계층을 해결하는 것이 아니므로 도움이 되지 않습니다. 각각을 진단하는 방법은 다음과 같습니다.

원인 1: 텍스트와 배경 간 낮은 대비

가장 흔한 원인이며, 고치기도 가장 쉽습니다. 전통적인 OCR은 이미지를 이진화(binarizing)하여 작동합니다 — 밝기 임계값을 기준으로 모든 픽셀을 검은색 또는 흰색으로 변환합니다. 픽셀이 임계값보다 어두우면 텍스트, 밝으면 배경입니다. 이는 흰 종이에 검은 텍스트가 있는 문서에서 잘 작동합니다. 잉크와 종이 사이의 밝기 차이가 충분히 커서 단일 전역 임계값이 둘을 깔끔하게 분리하기 때문입니다.

이제 연한 파란색 배경에 회색 텍스트를 놓아보십시오. 텍스트 픽셀은 배경 픽셀보다 약간만 더 어둡습니다. Tesseract 같은 전통적인 OCR 엔진이 기본적으로 사용하는 전역 임계값은 이 둘을 깔끔하게 분할할 수 없습니다. 일부 텍스트 픽셀이 잘못된 쪽으로 넘어갑니다. 문자가 합쳐지거나 사라집니다. 가로 막대가 사라져서 "7"이 "1"로 읽힙니다. 위쪽 고리가 임계값을 넘어 배경이 되어 "8"이 "3"이 됩니다.

진단 방법: 스캔한 이미지를 사진 편집기에서 열고 그레이스케일로 변환하십시오. 채도 제거 후 텍스트가 육안으로도 읽기 어려워진다면, 전통적인 OCR에는 대비가 너무 낮은 것입니다.

해결책: OCR을 실행하기 전에 대비 스트레치 또는 레벨 조정을 적용하십시오. 대부분의 스캔 소프트웨어와 이미지 편집기에는 "자동 대비" 또는 "자동 레벨" 기능이 있습니다 — 이것만으로도 종종 손실된 정확도의 10-15%를 회복할 수 있습니다. 업무 문서의 경우, 그레이스케일 모드(컬러나 흑백 이진 모드가 아닌)로 스캔해 보십시오. 미국 정부 인쇄국의 OCR 최적화 연구에 따르면, 그레이스케일 스캔은 표준 문서에서 98.26%의 정확도를 달성한 반면, 이진(순수 흑백) 스캔은 77.12%로 떨어졌습니다 — 이진화 단계가 OCR에 필요한 정보 자체를 제거하기 때문입니다(GPO, OCR 정확도 최적화).

원인 2: 패턴 배경

우연히 발생하는 저대비와 달리, 패턴 배경은 의도적으로 OCR을 무력화시키기 위해 설계되는 경우가 있습니다. 수표의 보안 패턴(가는 선의 기요셰 배경, 미세인쇄, 무지개색 띠), 증명서의 위조 방지 봉인, 공학 기록지의 모눈종이는 OCR 엔진이 걸러낼 수 없는 시각적 잡음층을 만듭니다.

작동 메커니즘은 저대비와 다릅니다. 수표의 보안 배경은 저대비가 아니라 고주파 세부 패턴입니다. OCR 엔진은 이진화 과정에서 패턴에 속하는 수백만 개의 작은 어두운 픽셀을 인식합니다. "무시해야 할 패턴 픽셀"과 "유지해야 할 텍스트 픽셀"을 구분하지 못합니다. 그 결과 텍스트가 잡음이 섞인 점박이 필드 위에 놓인 이진 이미지가 생성됩니다. 엔진은 실제 텍스트와 배경 인공물이 혼합된 상태에서 문자를 형성하려고 시도하여, 원본에 없는 추가 문자, 깨진 문자, 가상의 단어를 만들어냅니다.

진단 방법: 문서를 200-400%로 확대합니다. 주 텍스트 주변에 가는 선, 점, 물결 패턴 또는 미세 텍스트가 보이면 배경 패턴이 문제입니다. 텍스트 영역이 은행 수표 배경이나 증명서 테두리처럼 보인다면 이것이 원인입니다.

해결책: 전처리만으로는 패턴 배경을 거의 해결할 수 없습니다. 패턴을 지울 만큼 강력한 잡음 제거는 텍스트도 흐리게 만들기 때문입니다. 가장 실용적인 해결책은 그레이스케일 변환 후 로컬 적응형 임계값(Otsu 방법, Sauvola 알고리즘)을 전역 임계값 대신 사용하는 것입니다. 전체 이미지를 하나의 밝기 수준으로 자르는 단일 전역 임계값과 달리, 적응형 임계값은 이미지를 작은 창으로 나누고 창별로 최적의 임계값을 계산합니다. 이를 통해 패턴이 가장 조밀한 영역에서 텍스트 가장자리를 보존합니다.

별도의 솔직한 참고 사항: 일부 보안 패턴은 기계가 읽도록 설계되지 않았습니다. 은행 수표의 복잡한 배경은 사기 방지 기능입니다. 은행과 결제 처리업체는 전통적인 OCR이 수표 보안 배경에서 데이터를 안정적으로 추출할 수 없기 때문에 이미지 기반 결제 시스템(미국의 Check 21)으로 전환했습니다. 표준 OCR로 수표를 처리할 때 수취인 이름이나 금액이 계속 실패한다면 이는 도구 버그가 아닙니다. 의도된 대로 작동하는 것입니다.

원인 3: 워터마크

문서가 사람 눈에는 완벽하게 읽히기 때문에, 가장 숙련된 사용자도 이 원인에서 자주 실수합니다. "DRAFT" 또는 "CONFIDENTIAL" 워터마크는 페이지에 대각선으로 겹쳐진 반투명 텍스트입니다. 읽을 때는 무의식적으로 워터마크를 걸러내고 실제 내용만 읽습니다. 기존 OCR에는 이런 필터가 없습니다. 보이는 모든 픽셀(실제 텍스트와 겹치는 워터마크 픽셀 포함)을 읽습니다.

결과는 병합된 문자 스트림입니다. 문서에 "Invoice Total: $1,250.00"라고 적혀 있고 "Total"을 가로지르는 대각선 "CONFIDENTIAL" 워터마크가 있는 경우, OCR은 "CInovNoicfiedTeontiatal: $1,C20E0.N00T"를 출력할 수 있습니다. 워터마크는 PDF 편집 애플리케이션에서처럼 별도 레이어가 아니라 반투명 오버레이로 픽셀 데이터에 포함됩니다. OCR 엔진은 하나의 레이어만 보며, 그것은 모두 노이즈입니다.

진단 방법: 텍스트 영역에 희미한 두 번째 텍스트 문자열이 가로 또는 대각선으로 지나가고, 특히 "DRAFT", "SAMPLE", "COPY", "CONFIDENTIAL" 같은 단어가 반복된다면 워터마크 문제입니다. 워터마크가 매우 연해서 거의 보이지 않는 경우에는 본문이 올바르게 읽힐 수 있습니다. 위험 구간은 중간 불투명도의 워터마크로, 실제 텍스트와 워터마크 모두 문자 인식에 영향을 줄 만큼 충분한 픽셀 밀도를 가질 때입니다.

해결 방법: 이것은 가장 어려운 전처리 수정입니다. 대비나 패턴 문제와 달리 워터마크는 실제 텍스트와 동일한 픽셀을 물리적으로 겹칩니다. 임계값 조정만으로는 깔끔하게 분리할 수 없습니다. 원본 이미지에 깔끔한 분리가 없기 때문입니다.

제한된 경우에 도움이 될 수 있는 몇 가지 접근 방식이 있습니다. 밝기를 높이면 희미한 워터마크 픽셀이 감지 임계값 아래로 줄어들 수 있습니다. 주파수 영역 필터(FFT 기반 대역 저지)는 일관된 대각선 각도와 간격을 가진 워터마크를 제거할 수 있습니다. 하지만 두 기술 모두 문서별 조정이 필요하며, 그 과정에서 실제 텍스트 품질이 저하됩니다. Microsoft Azure Form Recognizer 제품 팀은 워터마크 간섭을 알려진 제한 사항으로 확인했으며, 일반적인 해결 방법은 없습니다(Microsoft Q&A, 2023-2024).

신뢰할 수 있는 해결 방법은 아키텍처 수준에서 접근하는 것입니다. 픽셀 단위가 아닌 의미론적으로 문서를 읽는 도구를 사용하는 것입니다.

원인 4: 그라데이션 배경

그라데이션은 대비 문제의 특수한 경우이며, 전역 임계값 처리의 근본적인 한계를 드러냅니다. 그라데이션 배경은 페이지 상단에서 어둡게 시작하여 하단으로 갈수록 밝아지거나, 헤더에서 파란색이었다가 본문에서 흰색으로 변합니다. 그라데이션 위에 있는 텍스트는 여러 밝기 영역을 가로지릅니다. 그라데이션의 어두운 부분에서는 텍스트와 배경 간의 대비가 낮습니다. 밝은 부분에서는 동일한 텍스트의 대비가 높습니다.

전역 임계값(페이지 전체에 적용되는 하나의 밝기 기준)으로는 두 영역을 동시에 해결할 수 없습니다. 어두운 영역의 텍스트를 포착하도록 임계값을 설정하면 밝은 영역의 배경이 텍스트로 분류됩니다(오탐지). 밝은 영역을 정리하도록 설정하면 어두운 영역의 텍스트가 사라집니다. 동일한 문자 "5"가 그라데이션 하단에서는 올바르게 읽히지만 상단에서는 완전히 누락될 수 있습니다.

진단 방법: 문서 헤더나 배너 영역을 살펴보십시오. 배경색이 한 색조에서 다른 색조로 점진적으로 전환되는 경우(진한 남색 헤더가 연한 파란색으로 희미해지거나, 인보이스 상단의 빨간색 배너가 흰색 본문으로 희미해짐)와 텍스트가 그 전환을 가로지르는 경우, 원인은 그라데이션입니다. 증상은 일관성이 없습니다. 동일한 글꼴, 동일한 크기, 동일한 문서에서 한 영역에서는 올바르게 추출되고 다른 영역에서는 오류가 발생합니다.

해결 방법: 적응형 임계값 처리는 그라데이션에 대한 표준 솔루션입니다. 각 로컬 윈도우에 대해 별도의 임계값을 계산하기 때문에 그라데이션의 어두운 쪽 텍스트와 밝은 쪽 텍스트가 각각 최적의 이진화를 얻습니다. 대부분의 이미징 라이브러리(OpenCV, Pillow, LEADTOOLS)는 적응형 방법을 지원합니다. 평균 문자 너비의 약 3배 크기인 윈도우를 적용하십시오. 너무 작으면 알고리즘이 큰 균일 영역을 노이즈로 처리하고, 너무 크면 다시 전역 임계값처럼 작동합니다.

전처리가 효과적인 경우와 그렇지 않은 경우

원인별로 어떤 전처리 기법이 효과적인지 실용적인 의사 결정 트리를 소개합니다:

전환 시점: 비전 AI가 네 가지 모두 더 잘 처리하는 이유

위의 전처리 수정을 시도했지만, 특히 워터마크가 있는 문서나 패턴이 심한 배경에서 여전히 불안정한 추출이 발생한다면 문제는 이미지가 아닙니다. 문제는 추출 아키텍처입니다. 기존 OCR은 픽셀 수준 기술입니다. 모든 픽셀에서 이진 결정(텍스트 또는 배경)을 내리고 그 결과로 문자를 구성합니다. 픽셀이 모호할 때 엔진은 백업 전략이 없기 때문에 실패합니다.

비전 AI 모델(VLM 기반 또는 LLM OCR이라고도 함)은 의미 수준에서 문서를 읽습니다. 이미지를 이진화하지 않습니다. 전체 컬러 이미지를 처리하고, 문서 구조를 이해하며, 텍스트 영역을 식별한 후 문맥에 따라 텍스트를 읽습니다. 이는 사람이 워터마크가 있는 문서를 읽을 때 무의식적으로 오버레이를 무시하는 방식과 같습니다. 이러한 아키텍처 차이로 인해 비전 AI는 네 가지 배경 문제를 모두 더 잘 처리하며, 종종 전처리 없이도 가능합니다:

• 낮은 대비: 비전 AI는 깨끗한 흑백 픽셀 경계를 찾는 대신 문자 모양과 단어 문맥을 인식하여 희미한 텍스트를 읽습니다
• 패턴 배경: 모델은 학습 중에 텍스트와 배경 패턴을 구별하는 방법을 배워, 패턴을 텍스트 후보가 아닌 시각적 노이즈로 처리합니다
• 워터마크: 비전 AI는 문서의 내용을 이해하여 실제 텍스트를 읽습니다. "DRAFT"라는 오버레이에 혼동되지 않는 이유는 의미적 문맥이 문서 본문에 속하는 텍스트를 알려주기 때문입니다
• 그라데이션: 단일 밝기 임계값에 의존하지 않으므로 그라데이션 전환이 문자 단위 인식 실패를 유발하지 않습니다

ImageToTable.ai는 다음과 같은 비전 AI 방식을 사용합니다: 문서를 있는 그대로(컬러 배경, 워터마크, 그라데이션 또는 이들 모두) 업로드하고 필요한 데이터를 알려주면, AI가 사람처럼 전체 페이지를 읽어 문서 내 어디에 있든 지정한 필드를 추출합니다. 이것이 위치 기반 추출(비표준 배경에서 취약함)과 의미 기반 추출(문서 모양에 관계없이 작동함)의 차이입니다.

함께 읽어볼 만한 내용: AI가 흐릿한 문서를 읽을 수 있을까?에서는 비전 AI가 이미지 품질 문제에 어떻게 우아하게 대처하는지 다루며, 동일한 아키텍처적 장점이 배경 간섭에도 적용됩니다. 또한 텍스트 기반과 이미지 전용 콘텐츠가 혼합된 문서를 다루는 경우, PDF 유형 분석을 통해 도구가 어떤 레이어에서 읽고 있는지 파악하는 데 도움이 됩니다.

자주 묻는 질문