필기, 스캔 PDF 및 표에서
OCR 정확도가 떨어지는 이유 — 그리고 해결 방법

OCR 정확도에 대한 오해

시중의 모든 OCR 도구는 높은 정확도를 주장합니다. Tesseract, Google Cloud Vision, Amazon Textract — 모두 95-99% 범위의 수치를 발표합니다. AIMultiple OCR 벤치마크는 주요 클라우드 OCR 서비스가 카테고리 1 문서에서 99.2%를 초과하는 정확도를 달성함을 확인합니다. 그러나 동일한 벤치마크는 다른 사실도 드러냅니다. 카테고리 3에서는 정확도가 54%에서 85% 사이로 급락합니다. 동일한 도구, 동일한 엔진. 전적으로 어떤 종류의 문서가 입력되는지에 따라 45포인트의 격차가 발생합니다.

기준 — 깨끗한 디지털 PDF

깨끗한 디지털 PDF — 회계 소프트웨어에서 내보낸 인보이스, Word에서 저장한 계약서, 웹 포털에서 다운로드한 은행 명세서 — 는 모든 OCR 시스템에 이상적인 입력입니다. 텍스트는 선명하고, 글꼴은 표준이며, 대비는 거의 완벽합니다. 이러한 문서에서 최신 OCR 엔진은 일상적으로 99% 이상의 문자 정확도를 달성합니다. 남은 오류는 일반적으로 특수한 경우에 국한됩니다: 특이한 합자, 매우 작은 글꼴 크기, 또는 머리글의 장식 문자 등입니다. 이것이 "99% 정확도" 주장의 근거가 되는 시나리오이며, 다른 모든 문서 유형이 측정 가능한 성능 저하를 나타내는 기준점입니다.

스캔된 PDF — 품질 저하가 시작되는 지점

스캔된 PDF는 인쇄된 페이지의 사진이며, 해당 이미지는 디지털 PDF에는 없는 여러 오류 원인을 도입합니다. 해상도 손실이 첫 번째입니다: 200 DPI로 스캔하면 엔진은 10포인트 문자의 높이에 대해 약 8픽셀을 얻습니다. 일괄 스캔에서 흔한 150 DPI로 낮추면 동일한 문자의 높이는 6픽셀에 불과합니다. 엔진은 몇 픽셀에서 획을 추측해야 합니다.

노이즈와 아티팩트는 또 다른 계층을 추가합니다. 스캐너 센서는 그레인을 도입하고, 종이 질감은 엔진이 문자의 일부로 잘못 해석할 수 있는 패턴을 추가합니다. 기울어짐 — 2-3도만 어긋나도 — 엔진이 문자를 분할하기 전에 회전을 보정해야 하므로 오류율이 측정 가능하게 증가합니다. 그리고 겹치는 콘텐츠 — 인쇄된 텍스트 위의 도장, 서명, 워터마크 — 는 픽셀 수준의 OCR로는 해결할 수 없는 모호성을 만듭니다: 인보이스 합계 위의 "PAID" 도장은 둘 다 읽을 수 없게 만듭니다.

깨끗한 인쇄 텍스트의 우수한 300 DPI 스캔은 여전히 95-98%의 문자 정확도를 달성합니다. 동일한 문서의 저품질 150 DPI 스캔은 90% 미만으로 떨어질 수 있습니다.

손글씨 — 근본적인 경계 문제

손글씨 텍스트는 인쇄 텍스트의 더 어려운 버전이 아닙니다. 이는 근본적으로 다른 인식 문제입니다. 인쇄된 문자는 명확하고 일관된 경계 — 글자 사이의 간격, 균일한 기준선, 예측 가능한 형태 — 를 가지고 있습니다. OCR 엔진은 이러한 간격을 사용하여 인쇄된 단어를 개별 문자로 분할한 다음 각 형태를 라이브러리와 대조합니다. 이는 분할 신호가 신뢰할 수 있기 때문에 작동합니다.

필기체는 이러한 경계를 완전히 제거합니다. 글자가 연결됩니다. 한 문자의 끝이 다음 문자의 시작입니다. 소문자 "n" 뒤에 "i"가 오면 "u"와 동일하게 보일 수 있습니다. "r" 뒤에 "n"이 오면 "m"처럼 보일 수 있습니다. 엔진은 빠르게 쓰면서 간격이 의도적으로 제거되었기 때문에 단어를 분할할 수 없습니다.

업계 수치가 이를 확인합니다. AIMultiple의 벤치마크에 따르면 인쇄 텍스트에서 99%를 초과하는 기존 클라우드 OCR 서비스는 손글씨에서 60-85% 범위로 떨어집니다. 지저분한 필기체나 인쇄-손글씨 혼합 문서에서는 그 격차가 40퍼센트 포인트 이상에 달할 수 있습니다. 인쇄체 스타일 손글씨는 경계를 유지하므로 더 나은 성과를 보이지만, 무한한 형태 변형이라는 자체 문제를 야기합니다. 두 사람이 같은 방식으로 "G"를 쓰는 경우는 없으며, 어떤 패턴 매칭 라이브러리에도 사각지대가 있습니다. 이를 처리하도록 설계된 도구에 대해서는 손글씨 OCR 비교를 참조하세요.

휴대폰 사진 — 복합적인 열화 요인

스캔 문서가 두세 가지 요인으로 정확도를 떨어뜨린다면, 휴대폰 사진은 다섯 여섯 가지를 동시에 결합합니다. 원근 왜곡이 가장 파괴적입니다. 휴대폰이 문서와 완벽하게 평행하게 유지되지 않는 한 — 거의 항상 그렇지 않습니다 — 페이지가 각도로 촬영되어 문자 크기와 줄 간격이 이미지 전체에서 일관되지 않게 변하는 사다리꼴이 만들어집니다.

조명 변화가 문제를 악화시킵니다. 중앙의 밝은 부분, 가장자리의 그림자, 숫자 줄을 가로지르는 그림자로 인해 문자가 합쳐져 보일 수 있습니다. 미세한 손떨림으로 인한 모션 블러는 문자 가장자리를 1-2픽셀 흐리게 만듭니다. 광택지의 반사와 눈부심은 텍스트의 전체 섹션을 완전히 지워버릴 수 있습니다.

누적 효과는 극적입니다. 디지털 PDF에서 99%를 기록하는 도구가 같은 문서의 휴대폰 사진에서는 70% 아래로 떨어질 수 있습니다. 정보는 모두 물리적 페이지에 존재하지만, 이미지가 신뢰할 수 있는 인식 수준을 넘어 열화시킨 것입니다.

복잡한 표와 병합된 셀 — 구조가 무너질 때

표는 다른 종류의 도전 과제를 제시합니다. 문자를 읽는 문제가 아닙니다 — 최신 OCR은 셀 안의 숫자를 비교적 잘 읽을 수 있습니다. 문제는 구조적입니다: 엔진은 각 값이 어느 셀에 속하는지 판단해야 하며, 이를 위해서는 표의 문자뿐만 아니라 그리드를 이해해야 합니다. 병합된 셀이 가장 흔한 문제 원인입니다. 3개 열에 걸친 헤더, 2개 행에 걸친 "메모" 셀, 첫 번째 열에 걸쳐 병합된 소계 라벨 — 이러한 패턴은 대부분의 OCR 엔진이 표를 재구성할 때 사용하는 행 단위 가정을 깨뜨립니다.

학술 연구는 이것이 해결되지 않은 문제임을 확인합니다. 2024년 arXiv 연구에 따르면, 전문화된 표 추출 모델조차 병합된 셀과 불규칙한 구조가 있는 복잡한 표에서 62-78%의 정확도만 달성합니다 — 단순 표 인식보다 20포인트 이상 낮은 수치입니다. 중첩 표와 헤더 위치가 바뀌는 다중 페이지 표는 실패율을 더욱 높입니다. VLM 기반 추출은 표를 의미적으로 읽습니다 — 헤더가 몇 개의 셀에 걸쳐 있든 "품목 설명"이 그 아래 열을 지배한다는 것을 인식할 수 있습니다. 필드 수준 정확도가 문자 지표와 어떻게 다른지에 대한 자세한 내용은 OCR 정확도의 실제 의미에 대한 가이드를 참조하세요.

실제로 제어할 수 있는 요소

정확도에 영향을 주는 여러 요인은 사용자가 제어할 수 있으며, 이를 개선하는 것이 엔진을 바꾸는 것보다 더 큰 효과를 내는 경우가 많습니다.

문서 준비. 보편적으로 권장되는 OCR 해상도인 최소 300 DPI로 스캔하세요. 최대 대비를 위해 흰 종이에 검은 잉크를 사용하세요. 접히거나 구겨진 문서는 스캔 전에 펴세요. 텍스트 줄을 가로지르는 접힌 자국은 데이터 누락과 같습니다.

도구 선택. 핵심 차별점은 도구가 패턴 매칭 OCR을 사용하는지, 아니면 비전-언어 모델 추출을 사용하는지입니다. VLM 기반 도구는 문서를 의미적으로 읽습니다. 주변 맥락을 활용해 모호한 문자를 해석할 수 있습니다. 달러 기호와 ".00" 사이의 번진 숫자는 거의 확실히 8이 아닌 9입니다. VLM은 그런 추론을 할 수 있지만, 픽셀 기반 OCR 엔진은 할 수 없습니다.

후처리 검증. 워크플로우에 형식 기대치를 구축하세요. 송장 번호는 패턴을 따르고, 날짜는 달력을 따르며, 합계는 양수입니다. 추출된 데이터가 패턴을 위반하면 검토용으로 표시하세요. 도구가 나쁘기 때문이 아니라 특정 문서 유형은 항상 불확실한 결과를 만들기 때문입니다. "합계는 품목 합계 ± 0.01과 같아야 함"과 같은 규칙은 모든 필드를 검토하지 않고도 가장 중요한 오류를 잡아냅니다.

공급업체 정확도 주장 읽는 법

모든 OCR 공급업체는 수치를 발표합니다. 이를 읽는 방법은 다음과 같습니다.

테스트된 문서 유형을 물어보세요. 공급업체가 명시하지 않았다면 가장 쉬운 유형을 가정하세요. 사용된 지표를 물어보세요. 문자 수준 정확도(CER)는 가장 관대한 지표입니다. 필드 수준 정확도 — 추출된 각 데이터 포인트가 완전히 올바른지 여부 — 가 워크플로우의 성공 여부를 결정합니다. CER 99%인 도구는 같은 문서에서 필드 수준 정확도가 80%일 수 있습니다. 이에 대한 설명은 OCR 정확도 지표 가이드를 참조하세요. 오류 분포를 물어보세요. 오류가 숫자, 코드, 식별자에 집중된다면 — OCR 엔진이 가장 유사하게 보이는 문자들이기 때문에 흔한 경우입니다 — 같은 오류율도 치명적일 수 있습니다. 자체 문서로 테스트하세요. 최악의 문서 3개로 5분간 테스트하는 것이 게시된 어떤 벤치마크보다 더 많은 정보를 제공합니다.

FAQ

손글씨에서 OCR 정확도가 왜 이렇게 많이 떨어지나요?

기존 OCR은 텍스트를 개별 문자로 분할하여 작동합니다. 필기체는 분할이 의존하는 간격을 제거합니다 — 글자가 연결되어 엔진이 한 문자가 끝나고 다음 문자가 시작되는 위치를 판단할 수 없습니다. 이는 품질 문제가 아니라 구조적 문제입니다. 필기체의 완벽한 해상도 스캔도 인쇄된 텍스트의 평범한 스캔보다 낮은 정확도를 생성합니다.

OCR용 문서 스캔에 가장 적합한 해상도는 무엇인가요?

300 DPI가 업계 표준입니다. 200 DPI 미만에서는 문자 가장자리가 안정적인 분할에 너무 거칠어져 정확도가 눈에 띄게 떨어집니다. 600 DPI 이상에서는 정확도 향상 없이 파일 크기만 커집니다.

AI 기반 OCR 도구가 기존 OCR이 처리할 수 없는 문서 유형을 처리할 수 있나요?

비전-언어 모델(VLM) 도구는 픽셀 단위가 아닌 의미적으로 읽기 때문에 더 넓은 범위의 문서 유형을 처리합니다. 문맥을 사용하여 모호한 문자를 해결하고 표와 병합된 셀의 구조적 인식을 유지합니다. 그러나 모든 유형에서 동일한 정확도를 달성하는 도구는 없으며, 매우 낮은 품질의 입력은 모든 시스템을 저하시킵니다.

문서 형식(PDF vs JPG vs PNG)이 OCR 정확도에 영향을 미치나요?

형식보다 내용이 더 중요합니다. 텍스트가 포함된 디지털 PDF는 OCR이 필요 없습니다 — 텍스트가 이미 기계 판독 가능하기 때문입니다. 동일한 문서의 스캔 PDF와 JPG는 동일한 해상도와 압축에서 동일한 정확도를 생성합니다.

내 OCR 도구가 인보이스에서는 잘 작동하는데 배송 명세서에서는 실패하는 이유는 무엇인가요?

이것은 구조 문제입니다. 인보이스는 예측 가능한 키-값 레이아웃을 따릅니다. 배송 명세서는 종종 병합된 셀, 불규칙한 행 높이, 여러 줄 셀이 있는 복잡한 테이블을 사용합니다 — 기존 OCR이 제대로 처리하지 못하는 구조적 패턴입니다. 엔진은 변경되지 않았습니다. 문서가 도구가 구문 분석할 수 없는 구조적 임계값을 넘어선 것입니다.

전처리가 어려운 문서 유형에서 OCR 정확도를 향상시킬 수 있나요?

기본 전처리 — 기울기 보정, 회색조 변환, 적응형 임계값 — 스캔 문서와 휴대폰 사진에서 정확도를 5-15% 향상시킬 수 있습니다. 그러나 손글씨나 복잡한 테이블의 격차를 해소하지는 못합니다. 이는 이미지 품질 문제가 아니라 구조적 인식 문제이기 때문입니다.