OCR이 깨진 텍스트를 출력하는 이유는?3가지 근본 원인과 해결법

문서를 OCR로 처리했는데 깨끗한 텍스트 대신 é, ’, 물음표로 가득 찬 네모, 또는 누군가 키보드를 계단 아래로 떨어뜨린 듯한 문자열이 나왔나요? 문자 깨짐(文字化け, 일본어로 "문자 변형")이라고 불리는 이 현상에는 기술적 근본 원인이 있으며, 이를 이해하면 해결은 간단해집니다.

수작업 입력은 그만 — AI가 대신 읽어드립니다
이미지나 PDF를 업로드하세요 — 10초 만에 정형 데이터로
지금 체험하기 →
Blog cover image with title 'Why Is Your OCR Producing Garbled Text? 3 Root Causes (And How to Fix Each One)' and three icons for Encoding Mismatch, Font Encoding, and Low Resolution

핵심 요약

  1. é가 있어야 할 자리에 보이는 é는 깨진 데이터가 아니라 Windows-1252 렌즈로 해석된 UTF-8 바이트이며, 읽는 렌즈를 바꾸면 파일의 모든 문자가 즉시 복원됩니다.
  2. 깨진 OCR을 만드는 원인은 인코딩 불일치, 손상된 글꼴 맵, 저해상도 문자 교체의 세 가지이며, 각각은 도구를 열기도 전에 어떤 해결법을 써야 할지 알려주는 진단 흔적을 남깁니다.
  3. 가장 고질적인 깨진 텍스트 사례는 OCR이 PDF 내부의 손상된 숨은 텍스트 레이어를 읽기 때문에 발생합니다. OCR이 렌더링된 페이지를 직접 읽도록 강제하면 깨진 문자가 사라집니다.

깨진 출력이 보인다면, 당신만 그런 게 아닙니다. 자신의 문자 깨짐이 "혹시 무슨 언어인지" 알아내려는 사람들을 위한 서브레딧 커뮤니티가 따로 있을 정도입니다. Adobe Acrobat 커뮤니티 포럼에는 일본어 OCR이 읽을 수 있는 텍스트 대신 蟷エ莉」繧「繧ク繧「縺ォ縺翫¢繧九げ繝ュ繝シ繝舌Ν蛹悶� 같은 문자열을 만들어낸 사용자들의 수십 개의 미해결 스레드가 있습니다. 문자 깨짐을 고치는 전용 도구인 Python ftfy 라이브러리가 수백만 번 다운로드된 이유도 이것이 업계 전반에서 반복되는 문제이기 때문입니다.

좋은 소식은, 깨진 OCR 텍스트가 무작위 손상이 아니라는 점입니다. 이는 세 가지 근본 메커니즘 중 하나로 인해 발생하는 예측 가능한 패턴을 따릅니다. 패턴을 파악하고 나면 해결 방법은 반복 가능합니다.

원인 1 — 인코딩 불일치: 가장 흔한 원인

Comparison diagram showing wrong output 'corazón' with a red X versus correct output 'corazón' with a green checkmark for encoding mismatch

증상: 악센트 문자, 통화 기호, 스마트 따옴표가 여러 문자로 이루어진 깨진 글자로 바뀝니다. 스페인어 corazón은 corazón이 됩니다. 유로 기호 €는 €로 나타납니다. 곱은 따옴표는 “이렇게 보입니다”. 문서는 대부분 읽을 수 있지만, 모든 비ASCII 문자가 잘못되어 있습니다.

왜 발생하는가: 문자 인코딩은 바이트를 글자로 매핑하는 방식에 대한 파일과 판독기 간의 약속입니다. OCR 엔진이 파일을 한 인코딩(예: UTF-8)으로 읽지만 파일이 다른 인코딩(예: Windows-1252)으로 생성된 경우, 동일한 바이트가 전혀 다른 문자로 매핑됩니다. 그 결과는 체계적인 손상입니다. 마치 인치로 그린 지도를 센티미터로 읽는 것과 같습니다. 모든 측정값이 같은 비율로 어긋나며, 잘못된 패턴을 보면 어떤 변환이 적용되었는지 정확히 알 수 있습니다.

어떤 인코딩 불일치인지 확인하는 방법

특정 문자 깨짐 패턴은 매우 독특해서 출력만 보고도 인코딩 오류를 진단할 수 있습니다:

이렇게 보이면원본은다음으로 읽힘
é 대신 éUTF-8Latin-1 / Windows-1252
' 대신 ’UTF-8Windows-1252
–(en dash) 대신 –UTF-8Windows-1252
日本 대신 日本Shift-JISUTF-8 또는 Latin-1
상자 ▯▯▯ 또는 ????Unicode시스템에 글꼴 없음 / 잘못된 인코딩

인코딩 불일치를 해결하는 방법

방법 1: 올바른 인코딩으로 다시 저장합니다. 원본 문서(또는 OCR 출력)를 VS Code나 Notepad++처럼 인코딩을 명시적으로 변경할 수 있는 텍스트 편집기에서 엽니다. 다른 이름으로 저장 → UTF-8을 사용하세요. 파일이 원래 Windows-1252였다면, 올바른 문자 감지와 함께 UTF-8로 다시 저장하면 대개 해결됩니다.

방법 2: 문자 깨짐 복구 도구를 사용합니다. 대량 또는 자동 수정의 경우, ftfy Python 라이브러리(pip install ftfy)가 일반적인 인코딩 오류를 자동으로 감지하고 되돌립니다 — 텍스트가 잘못된 인코딩으로 디코딩된 후 다시 인코딩되고, 두 번째로 잘못 디코딩된 다중 계층 손상까지 포함합니다. ftfy.fix_text()를 한 번 호출하면 대부분의 단일 및 이중 인코딩 실수를 처리합니다.

방법 3: OCR 엔진이 텍스트 레이어 대신 이미지 레이어를 다시 읽도록 강제합니다. PDF에서 깨진 텍스트 문제의 상당수는 기반 PDF에 손상되었거나 사용자 정의 인코딩된 텍스트 레이어가 있지만 시각적 이미지 레이어는 완벽하게 정상인 경우 발생합니다. OCR 도구를 페이지를 이미지로 처리하도록 설정하면(기존 텍스트 레이어에서 추출하는 대신) 렌더링된 글리프에서 모든 문자를 다시 인식하여 존재하는 인코딩 손상을 우회합니다. Adobe Acrobat에서는 OCR 설정에서 "Searchable Image (Compact)" 대신 "ClearScan" 또는 "Searchable Image (Exact)"를 선택하는 것을 의미합니다.

핵심 통찰: 인코딩 불일치로 인한 문자 깨짐은 가장 고칠 수 있는 종류입니다 — 잘못된 키로 읽은 데이터일 뿐, 손실된 데이터가 아닙니다. 올바른 키를 찾으면 모든 문자가 복구됩니다.

원인 2 — 글꼴 인코딩: 글리프는 맞는데 문자 코드가 틀린 경우

글꼴 인코딩 문제를 보여주는 비교 다이어그램: 깨진 텍스트 레이어 출력 'GLYPH<38>'에 빨간 X, 올바른 시각적 레이어 출력 'Invoice #1024'에 초록 체크 표시

증상: PDF가 화면에서는 완벽하게 렌더링됩니다. 모든 문자가 올바르게 보입니다. 하지만 텍스트를 복사하거나 OCR을 실행하면 GLYPH<38>, 9%)A:\2A 같은 엉터리 문자나 의미 없는 문자 시퀀스가 반복해서 나옵니다. 시각적 페이지는 깨끗한데 텍스트 레이어는 엉망입니다.

왜 발생하는가: PDF 파일에는 두 가지 "텍스트" 레이어가 있습니다. 화면에 렌더링되어 보이는 시각적 글리프와, 텍스트 추출기나 OCR 엔진이 읽는 문자-글리프 매핑입니다. 보통은 이 두 레이어가 일치합니다. 하지만 잘못 생성된 PDF에서는 글꼴 파일에 사용자 정의 글리프 인코딩이 포함될 수 있습니다. 글리프 모양은 올바르므로(페이지는 정상으로 보임) 페이지는 괜찮아 보이지만, 매핑되는 문자 코드가 비표준이거나 Unicode 매핑이 아예 없습니다.

이 상황은 의외로 흔합니다. 문서에 실제 사용된 문자만 포함하는 서브셋 글꼴은 내부 매핑에 비표준 문자 ID(CID)를 사용하는 경우가 많습니다. 텍스트 추출기가 표준 인코딩 테이블로 그 CID를 해석하려 하면 쓰레기 값이 나옵니다. Docling 프로젝트에 보고된 이슈가 바로 이 사례를 보여줍니다. PDF는 정상 표시되고 OCR은 do_ocr=True로 설정했는데 출력이 '() +,- .+.. /01 02034567638469:; 4<8:=>였습니다. 글꼴의 내부 인코딩이 표준 Unicode에 매핑되지 않았기 때문입니다.

글꼴 인코딩으로 인한 깨짐이 가장 발생하기 쉬운 시나리오:

  • 특수 소프트웨어로 생성된 PDF: CAD 도구(AutoCAD, Archicad), ERP 보고서 생성기, 레거시 인쇄-PDF 드라이버는 사용자 정의 인코딩 테이블이 있는 글꼴을 포함하는 경우가 많습니다. Adobe 포럼의 커뮤니티 토론에서는 Segoe UI가 포함된 PDF를 사용하는 Archicad 사용자가 여전히 깨진 텍스트를 얻은 사례를 설명합니다. 글꼴 포함만으로는 표준 문자 매핑이 보장되지 않기 때문입니다.
  • PDF/A 또는 디지털 서명 문서: 규정 준수 중심의 문서 형식은 변환 과정에서 문자 매핑 정보를 제거하거나 수정하는 경우가 있습니다.
  • 이전 OCR 과정에서 숨겨진 텍스트 레이어가 추가된 스캔 문서: 이전 OCR이 잘못된 문자를 생성하고 그 텍스트 레이어가 포함된 상태로 PDF가 저장되었다면, 이후 추출은 새로 인식하지 않고 캐시된 잘못된 텍스트를 읽습니다.
  • 비라틴 문자 문서: 일본어 Shift-JIS 글꼴, 한국어 EUC-KR 글꼴, 중국어 GB 인코딩 글꼴은 PDF 뷰어나 OCR 엔진이 다른 코드 페이지를 기본값으로 사용할 때 인코딩 불일치가 자주 발생합니다.

글꼴 인코딩 깨짐을 해결하는 방법

방법 1: 이미지 레이어에서 OCR을 강제로 새로 실행합니다. 가장 확실한 해결책입니다. OCR 도구가 기존 텍스트 레이어를 무시하고 렌더링된 페이지 이미지에서 직접 읽도록 설정하세요. Acrobat Pro에서는 도구 → 스캔 및 OCR → 텍스트 인식 → 이 파일에서로 이동한 뒤 OCR 엔진이 문서를 스캔 이미지로 처리하도록 하세요. ocrmypdf에서는 --force-ocr 플래그를 사용해 기존 텍스트 레이어를 완전히 덮어쓰세요.

방법 2: 무손실 이미지 형식으로 변환한 뒤 다시 OCR합니다. PDF 페이지를 고해상도 TIFF 또는 PNG 파일(최소 300 DPI)로 내보낸 다음 해당 이미지에 OCR을 실행하세요. 이렇게 하면 깨진 글꼴 인코딩 메타데이터가 모두 제거되고 OCR 엔진에 깨끗한 시각적 소스가 제공됩니다. 일본어 문자 깨짐에 관한 Adobe Acrobat 커뮤니티 스레드에서는 TIFF로 내보낸 뒤 다시 OCR하는 방식이 PDF 직접 OCR이 실패했던 문제를 해결했다고 밝혔습니다.

방법 3: Preflight로 글꼴 임베딩을 확인합니다. Adobe Acrobat Pro에서 도구 → 인쇄 제작 → Preflight를 사용해 글꼴 분석 프로필을 실행하세요. 그러면 글꼴이 완전히 임베딩되었는지, 서브셋으로 임베딩되었는지, 누락되었는지, 그리고 Unicode 문자 맵을 포함하는지 확인할 수 있습니다. 글꼴이 적절한 /ToUnicode 테이블 없이 서브셋으로 임베딩되어 있다면 그것이 결정적 단서입니다.

원인 3 — 해상도와 문자 혼동: 이미지 품질이 OCR을 실패하게 만들 때

Comparison diagram showing low resolution 72 DPI with character confusion '5 → S' marked with a red X versus high resolution 300 DPI with correct output '5 → 5' marked with a green checkmark

증상: 개별 문자가 그럴듯한 대체 문자처럼 잘못 인식됩니다. 5가 S로, 0이 O로, 1이 l(소문자 L)로, rn이 m으로 바뀝니다. 구두점이 사라집니다. e나 a 같은 문자의 얇은 획이 누락되어 단어가 축약된 것처럼 보입니다. 결과물이 완전히 엉망인 것은 아니지만, 미묘하고 답답할 정도로 잘못되어 있습니다.

왜 발생하는가: OCR 엔진은 문자 모양을 알려진 글리프 모델과 대조하여 작동합니다. 입력 이미지의 해상도가 충분하지 않으면 시각적으로 유사한 문자를 구분하기에 픽셀이 부족합니다. 72 DPI에서 문자 S는 세로로 약 10~12픽셀을 차지합니다. 그 해상도에서는 5의 세리프와 S의 곡선이 동일하게 보일 수 있습니다. 이는 인코딩 문제가 아니라 근본적인 정보 이론의 제약입니다. 이미지에 각 문자의 구별되는 특징을 표현할 픽셀이 충분하지 않다면, 아무리 발전한 OCR 엔진이라도 매번 완벽하게 추측할 수 없습니다.

이 유형의 오류는 특히 다음과 같은 경우에 자주 발생합니다.

  • 어두운 곳이나 비스듬한 각도에서 휴대폰으로 촬영한 문서 사진
  • 팩스로 보내거나 여러 번 복사하여 세대가 거듭될수록 세부 정보가 손실된 페이지
  • 역사 기록을 담은 오래된 마이크로필름 스캔본
  • 작은 글꼴 크기(8포인트 이하)의 문서를 200 DPI 이하로 스캔한 경우

해상도 관련 문자 깨짐을 해결하는 방법

방법 1: 입력 해상도를 높입니다. OCR의 업계 표준은 최소 300 DPI이며, 작거나 빽빽한 텍스트에는 400–600 DPI를 권장합니다. 휴대폰 사진을 사용하는 경우, OCR 엔진에 이미지를 보내기 전에 업스케일링, 샤프닝, 기울기 보정 같은 이미지 전처리 단계가 도움이 될 수 있습니다.

방법 2: 기존 OCR 대신 비전 기반 추출 도구를 사용합니다. 이것이 구조적인 해결책입니다. 기존 OCR 엔진(Tesseract, ABBYY, Adobe OCR)은 문자별 패턴 매칭에 의존하기 때문에 픽셀 하나만 빠져도 5가 S로 바뀔 수 있습니다. 최신 비전-언어 모델(VLM) 추출(ImageToTable.ai 및 유사 도구가 사용하는 방식)은 전체 단어와 문장을 시각적 객체로 읽고, 의미적 맥락을 활용해 모호함을 해결합니다. 엔진이 "Order S units"를 보고 주변 맥락이 청구서라면, S가 5일 가능성이 높다고 이해합니다. 문자 모양을 더 잘 인식하기 때문이 아니라, "Order 5 units"가 "Order S units"와 달리 말이 되기 때문입니다. 이것이 기존 OCR과 어떻게 다른지에 대한 설명은 OCR이란 무엇이며 그 한계는 어디에서 비롯되는가를 참고하세요.

방법 3: OCR 전에 이미지 전처리를 적용합니다. 단순한 전처리만으로도 문자 혼동을 크게 줄일 수 있습니다. 그레이스케일로 변환하고, 적응형 임계값을 적용해 텍스트를 이진화하고, 노이즈(반점, 배경 패턴)를 제거하면 OCR 엔진에 더 깨끗한 신호를 제공합니다. 현장에서 검증된 전처리 워크플로는 OCR 정확도 향상 가이드를 참고하세요.

언제 에스컬레이션할까: 어떤 해결책도 효과가 없을 때 해야 할 일

인코딩을 확인하고, 글꼴을 점검하고, 이미지를 전처리했는데도 출력이 여전히 깨져 있다면, 해당 도구 자체가 그 문서 유형에 적합하지 않을 수 있습니다. 여러 문자 체계가 섞이거나, 장식용 글꼴, 수학 기호, 또는 과도한 스탬프 오버레이가 있는 문서는 기존 OCR의 설계 한계를 넘어섭니다.

이런 경우 실용적인 해결책은 문서를 전체적으로 읽는 템플릿 불필요 비전-AI 추출 도구로 전환하는 것입니다. ImageToTable.ai 같은 도구는 기존 텍스트 레이어가 아니라 페이지의 시각적 렌더링에서 의미를 추출하기 때문에 인코딩 및 글꼴 문제를 완전히 우회합니다. 문서를 업로드하고 원하는 열 이름을 지정하면, AI가 문서의 시각적·의미적 구조를 이해하여 데이터를 추출합니다. 글꼴에 의존하는 텍스트 레이어도, 걱정할 인코딩 테이블도 없습니다.

FAQ

PDF가 화면에서는 멀쩡해 보이는데 복사하면 왜 문자 깨짐이 발생하나요?

이는 거의 항상 폰트 인코딩 문제(원인 2)입니다. PDF의 시각적 레이어는 올바른 모양의 글리프를 사용하지만, 기반이 되는 문자-유니코드 매핑이 깨져 있거나 비표준입니다. PDF 리더는 글리프를 완벽하게 렌더링하지만, 텍스트를 복사하거나 OCR 엔진이 숨겨진 텍스트 레이어를 읽을 때는 깨진 매핑을 따르기 때문에 문자가 깨집니다. 해결 방법은 기존 텍스트 레이어를 무시하고 이미지 레이어를 직접 OCR하는 것입니다.

소프트웨어로 깨진 OCR 텍스트를 자동으로 고칠 수 있나요?

네, 인코딩 불일치로 인한 문자 깨짐(원인 1)의 경우 ftfy(Python), iconv(Linux/macOS), VS Code 같은 편집기의 "인코딩 감지" 기능으로 손상된 부분을 자동으로 식별하고 복원할 수 있습니다. 폰트 인코딩 및 해상도 문제의 경우, 문제가 바이트-문자 매핑에 있는 것이 아니라 원본 데이터 자체에 있기 때문에 자동 복구의 신뢰성이 떨어집니다. 이런 경우에는 다른 설정이나 다른 추출 방식으로 다시 처리해야 합니다.

DPI를 높이면 깨진 OCR이 항상 해결되나요?

DPI를 높이면 해상도와 관련된 문자 혼동(원인 3)은 해결되지만, 인코딩 불일치(원인 1)나 폰트 인코딩 문제(원인 2)에는 효과가 없습니다. 원본 파일이 /ToUnicode 테이블이 깨진 PDF라면 600 DPI로 스캔해도 도움이 되지 않습니다. 같은 근본 문제를 더 높은 해상도로 만들 뿐입니다. 다시 스캔하기 전에 근본 원인을 진단하세요.

ImageToTable.ai가 기존 OCR보다 깨진 텍스트를 더 잘 처리하나요?

ImageToTable.ai는 중간 텍스트 레이어가 아닌 문서의 시각적 콘텐츠를 읽는 비전-언어 모델을 사용하기 때문에 문자 깨짐의 두 가지 원인인 인코딩 불일치와 폰트 인코딩 문제를 모두 피할 수 있습니다. AI가 렌더링된 페이지 이미지를 직접 처리하므로 맞춤 CID 매핑, 서브셋 폰트, 누락된 /ToUnicode 테이블이 방해하지 않습니다. 해상도와 관련된 모호함에 대해서는 모델의 문서 맥락에 대한 의미적 이해가 문자 기반 OCR에 없는 추가적인 보정 계층을 제공합니다. 다만 원본 이미지 자체가 심하게 손상된 경우(흐릿함, 극도로 낮은 해상도, 부분적으로 판독 불가)에는 비전 AI를 포함한 어떤 방법으로도 애초에 캡처되지 않은 정보를 복구할 수 없습니다.

깨진 OCR 텍스트는 무작위가 아닙니다 — 다음에 할 일은 이것입니다

OCR 결과가 마치 누군가 알파벳을 뒤섞어 놓은 것처럼 보이면, 소프트웨어 탓으로 돌리고 넘어가기 쉽습니다. 하지만 여기서 다룬 세 가지 원인 — 인코딩 불일치, 폰트 인코딩 문제, 해상도로 인한 문자 혼동 — 은 각각 뚜렷한 특징과 그에 맞는 해결책이 있습니다. 이들을 구별하는 법을 익히면 답답한 미스터리가 반복 가능한 진단으로 바뀝니다.

증상부터 시작하세요: 악센트 주변의 여러 문자 깨짐(예: é) → 인코딩 불일치, 재인코딩 또는 ftfy로 해결. 화면에는 완벽하게 보이지만 OCR이 엉뚱한 글리프를 생성 → 폰트 인코딩 문제, 이미지 레이어 OCR을 강제하여 해결. 개별 문자가 비슷하게 생긴 문자로 바뀜(5→S) → 해상도 문제, 전처리 또는 문맥 인식 도구로 해결.

마지막 선택지 — 문자 기반 OCR에서 비전 기반 추출로 전환 — 는 사람이 문서를 읽는 방식으로 읽음으로써 근본 원인을 완전히 우회합니다: 픽셀 패턴을 대조하거나 인코딩 테이블을 탐색하는 대신 의미를 이해하는 것입니다.

직접 깨진 문서로 테스트해 보세요. 엔진이 더 이상 텍스트 레이어에 의존하지 않을 때 문제가 사라지는지 확인해 보세요.

수작업 입력은 그만 — AI가 대신 읽어드립니다
이미지나 PDF를 업로드하세요 — 10초 만에 정형 데이터로
지금 체험하기 →
📮 contact email: [email protected]