AI 손글씨 인식 vs 전통적 OCR: 격차가 대부분 팀의 예상보다 큰 이유

기존 OCR이 잘하는 것과 한계점

기존 광학 문자 인식(OCR)은 페이지의 픽셀 패턴을 분석하고, 이를 알려진 문자 형태와 대조한 후 텍스트 문자열을 출력하는 방식으로 작동합니다. 300 DPI로 스캔한 깨끗한 기계 인쇄 문서의 경우 95% 이상의 문자 정확도를 보이며 뛰어난 성능을 발휘합니다. 방금 인쇄된 청구서, PDF 양식, 타이핑된 계약서 등이 OCR이 설계된 입력값이며, 여전히 최적의 시나리오로 남아 있습니다.

하지만 문자 정확도와 데이터 정확도는 같지 않습니다. 페이지 어딘가에 "1,234.56"이라는 문자가 있다는 사실만으로는 그것이 청구서 합계인지, 수량인지, 참조 번호인지 알 수 없습니다. 그 해석에는 여전히 사람이 필요하거나, OCR 출력 위에 구축하고 유지 관리해야 하는 규칙 계층이 필요합니다. 기계 인쇄 텍스트의 경우 이 격차는 후처리 스크립트와 필드 위치 템플릿으로 관리할 수 있습니다. 하지만 필기체의 경우 그 격차는 심연으로 벌어집니다.

근본적인 문제는 구조적입니다. 기존 OCR은 상향식(bottom-up)으로 작동합니다. 먼저 개별 문자를 읽은 다음, 이를 단어로, 다시 줄로 조합하려고 시도합니다. 문서가 무엇에 관한 것인지에 대한 개념이 전혀 없습니다. 모든 문자가 선명하고 예측 가능할 때는 이 방식이 잘 작동합니다. 하지만 필기체처럼 문자가 연결되고, 크기가 다양하며, 예측 불가능하게 기울어지거나 서로 번질 때, 상향식 접근 방식은 단어 수준에 도달하기도 전에 붕괴됩니다.

기존 OCR이 필기체에서 무너지는 세 가지 지점

모든 사람의 필체는 고유한 데이터셋입니다. 획 굵기, 기울기 각도, 글자 연결, 기준선 흔들림 등은 사람마다 다를 뿐만 아니라, 같은 사람이라도 날짜, 펜, 종이 표면에 따라 달라집니다. 기존 OCR은 서로 악화되는 세 가지 특정 실패 모드에 직면합니다.

문자 인식 시작 전에 문자 분할이 먼저 이루어집니다

OCR은 각 문자가 분리 가능한 경계 상자(bounding box)를 차지한다고 가정합니다. 필기체는 이 가정을 완전히 무너뜨립니다. 문자들이 명확한 경계 없이 서로 이어져 흐릅니다. 엔진은 여러 글자를 하나의 덩어리로 합쳐버리거나, 하나의 글자를 두 개의 상자로 나누어 버립니다. 실제 운영 환경의 독립적인 벤치마크에 따르면, 가장 널리 사용되는 오픈소스 OCR 엔진인 Tesseract는 일반 필기체에 대해 45~50%의 단어 정확도를 보입니다. 즉, 필기체로 작성된 두 단어 중 하나는 잘못 읽힌다는 뜻입니다. 인쇄체와 필기체가 섞인 50개 필드 양식의 경우, 사람의 검토가 시작되기 전에 약 25개 필드에 오류가 포함됩니다.

문맥 이해가 없으면 오류 복구가 전혀 불가능합니다

사람이 배송 양식의 번진 단어를 읽을 때, 주변 필드는 그 번짐이 합리적으로 무엇일 수 있는지 제약 조건을 제공합니다. "총액" 필드의 숫자는 이름이 될 수 없습니다. "생년월일" 필드의 날짜는 내년이 될 수 없습니다. 기존 OCR에는 이러한 추론 능력이 전혀 없습니다. 페이지의 모든 위치에 무엇이 있어야 하는지와 관계없이 동일한 문자 매칭 알고리즘을 적용합니다. 가격 열에 있는 번진 "5"는 픽셀 패턴이 모호하기 때문에 "S"로 분류됩니다. 그리고 엔진은 통화 필드에서 "S"가 말이 안 된다는 것을 알릴 방법이 없습니다.

레이아웃 변동성은 템플릿 기반 파이프라인을 무너뜨립니다

많은 실제 OCR 설정은 템플릿에 의존합니다. 각 필드에 대한 고정 좌표를 정의하고, 엔진은 해당 상자 안에 나타나는 문자를 읽습니다. 이는 단일 출처의 표준화된 양식에는 효과적입니다. 그러나 공급업체가 양식 레이아웃을 변경하거나, 필드가 1.27cm라도 이동하거나, 누군가 지정된 상자 대신 여백에 메모를 작성하는 순간 실패합니다. 손으로 작성된 문서는 이 문제를 더욱 악화시킵니다. 작성자는 상자를 넘어 쓰거나, 여백에 주석을 추가하거나, 화살표를 사용하여 정보의 위치를 변경하는 경우가 빈번하기 때문입니다. "이름: [____________]"를 위해 만들어진 템플릿은 "이름: [김철수—— 첨부 신분증 참조]"를 처리할 수 없습니다. 해당 필드의 OCR 출력은 잘리거나, 깨지거나, 비어 있을 것이며, 이후 워크플로우는 그 사실을 알 방법이 없습니다.

AI 필기 인식이 다르게 사고하는 방식

비전 언어 모델(VLM) — GPT-4o, Claude, Gemini 같은 AI 모델을 포함하는 클래스 — 은 문서를 상향식이 아닌 하향식으로 처리합니다. 개별 글자 모양을 찾는 것부터 시작하지 않습니다. 전체 페이지 이미지를 보고 구조와 용도를 이해한 다음, 그 맥락 안에서 텍스트를 해독합니다. 이는 사람이 읽는 방식에 더 가깝습니다. 각 펜 획을 따로 검토하지 않고, 인보이스 하단에 합계가 있을 것이라고 예상하기 때문에 "Total"이라는 단어를 인식하고, 맥락상 통화 금액이어야 하므로 옆의 숫자를 통화로 해석합니다.

실질적인 결과는 VLM 기반 추출이 사람처럼 모호함을 처리한다는 것입니다. 페이지에 있는 내용과 페이지에 있어야 할 내용을 교차 참조하는 방식입니다. "5" 또는 "S"처럼 보이는 문자가 숫자 필드에 나타나면 "5"로 해석됩니다. "Jan 5 25"로 작성된 날짜는 모델이 날짜 형식을 이해하므로 "2025-01-05"로 정규화됩니다. 이러한 맥락적 모호성 해소는 문자 수준 OCR에 비해 사소한 개선이 아닙니다. 바로 사용 가능한 출력과 두 번째 사람의 검토가 필요한 출력의 차이입니다.

실제로 이 접근 방식을 기반으로 구축된 도구를 사용하면 맞춤 열 추출을 정의할 수 있습니다. "Invoice Number", "Due Date", "Total Amount" 등 원하는 필드 이름을 입력하면 AI가 필드 레이블의 의미를 이해하여 페이지 어디에서든 각 값을 찾습니다. 템플릿 좌표도, 공급업체별 설정도, 양식 레이아웃이 변경될 때 재구성도 필요 없습니다. AI가 위치가 아닌 의미를 찾기 때문에 동일한 정의가 다양한 출처의 여러 문서에서도 작동합니다.

수치로 보는 정확도 격차

숫자는 차이를 구체적으로 보여줍니다. 2025~2026년에 발표된 여러 독립 벤치마크는 일관된 패턴을 보여줍니다. 인쇄 텍스트의 경우 전통적 OCR과 VLM 기반 추출 간의 격차는 좁습니다. 그러나 손글씨에서는 그 격차가 급격히 벌어집니다.

측정 기준에 대한 두 가지 참고 사항입니다. 첫째, VLM 열은 필드 수준 정확도, 즉 추출된 각 값이 스프레드시트의 올바른 열에 들어가는지 여부를 측정하며 원시 문자 인식이 아닙니다. 필드 수준 정확도는 문서 맥락이 모호한 문자를 해석하기 때문에 원시 문자 오류율(CER)보다 높게 나타납니다. 합계 필드의 번진 숫자는 S가 아닌 5로 읽힙니다. 둘째, 전통적 OCR 열은 동일한 문서에 대한 원시 인식 결과로, 이것이 바로 격차가 크게 보이는 이유입니다. IAM 벤치마크의 원시 문자 수준 지표에 대한 자세한 내용은 손글씨 인식 작동 방식에 대한 심층 분석을 참조하세요.

패턴은 미묘하지 않습니다. 가장 깨끗한 필기에서는 그 격차가 감당할 만합니다. 전통적 OCR도 일부 후처리로 "충분히 좋은" 결과를 낼 수 있습니다. 하지만 필기가 악화될수록 — 인쇄체에서 혼합 필기체로, 제한된 칸에서 자유 형식 필드로, 스캔 문서에서 휴대폰 사진으로 — 전통적 OCR의 정확도는 급락하는 반면 VLM 기반 추출은 점진적으로 저하됩니다. 동일한 2026 벤치마크에서 Google Document AI의 필기 전용 엔진을 필기체로 테스트한 결과 단어 정확도가 약 63%였습니다. Amazon Textract는 동일한 입력에서 약 89.5%로 더 나은 성과를 보였지만, 두 시스템 모두 기울기 보정, 대비 향상, 노이즈 제거를 위한 별도의 전처리 파이프라인이 필요했습니다. VLM 기반 시스템은 추가 설정 없이 추론 시점에 이러한 작업을 처리합니다(Suparse, 2026).

주당 인쇄 문서와 필기 문서가 섞인 100건을 처리하는 실제 워크플로우를 기준으로, 누적 차이는 전통적 OCR에서 주당 약 4~6시간의 수동 수정이 필요한 반면 VLM 기반 추출에서는 30~45분에 불과합니다. 이 격차는 단순한 편의 문제가 아닙니다. 필기가 포함된 자동화가 전담 검토 단계 없이 운영될 수 있는지를 결정합니다.

비교가 복잡해지는 지점: 속도, 비용, 그리고 환각

정확도 비교만이 전부라면 결정은 간단할 것입니다. 그러나 VLM 기반 추출에는 세 가지 트레이드오프가 있어 무조건적인 권장은 부정직합니다.

속도

전통적 OCR은 빠릅니다. 일반 하드웨어에서 한 페이지를 2초 안에 처리합니다. VLM은 더 풍부한 추론을 수행하기 때문에 더 느립니다. 페이지 수준 추출을 위한 일반적인 VLM 호출은 문서 복잡성과 모델 크기에 따라 5~12초가 걸립니다. 500페이지 배치의 경우, 이는 15분과 1시간 이상의 차이입니다. 워크플로가 볼륨에 민감하고 문서가 일관되게 깨끗한 인쇄 텍스트라면, 전통적 OCR이 여전히 더 빠른 옵션이며, 그것만으로 충분할 수도 있습니다.

비용

전통적 OCR은 저렴합니다. Tesseract는 무료이며 오픈소스입니다. 클라우드 OCR API는 페이지당 약 $0.001~0.005를 청구합니다. VLM 기반 추출은 계산량이 더 많기 때문에 페이지당 비용이 더 높습니다. 하지만 페이지당 API 가격에서 멈추면 비교가 오해의 소지가 있습니다. 프로덕션에서 150,000페이지 이상을 처리한 Reddit 사용자는 수동 수정 비용을 고려하면 전통적 OCR의 페이지당 비용 이점이 사라진다고 지적했습니다: "전통적 OCR 플랫폼은 비용 효율적으로 보이지만, 필기 인식 정확도가 낮아(~45-50%) 필기 콘텐츠가 많은 비즈니스 워크플로에는 사용할 수 없습니다. 오류를 수동으로 수정하는 데 드는 시간 때문에 실제 비용은 전문 솔루션보다 훨씬 높습니다" (r/computervision, 2025). 실제 비용 방정식은 페이지당 추출 비용 + 오류당 수정 비용 × 오류율입니다. 인쇄 문서의 경우 페이지당 비용이 지배적입니다. 필기 문서의 경우 수정 비용이 지배적이며, 바로 여기서 VLM의 높은 정확도가 계산을 바꿉니다.

환각

대부분의 비교 기사가 놓치는 부분이 있습니다: VLM은 환각을 일으킬 수 있습니다. 페이지에 있어야 할 내용을 추론하기 때문에, 실제로는 없는 정보를 삽입하는 경우가 있습니다. 필드가 비어 있는데 그럴듯한 날짜를 넣거나, 필기가 실제로 읽을 수 없는데 추측한 금액을 넣는 식입니다. 전통적 OCR은 반대 방식으로 실패합니다. 따라서 오류를 더 쉽게 감지할 수 있습니다. VLM 환각은 올바르게 보이기 때문에 더 위험합니다. 자신 있게 틀린 Tesseract 출력("OOO OOO")과 자신 있게 틀린 VLM 출력의 차이는, VLM 버전이 실제 데이터처럼 읽히고 자동 검증을 통과할 수 있다는 점입니다. 오류 비용이 큰 필드의 경우, 어떤 기술을 선택하든 신뢰도 점수와 인간 개입 검토가 여전히 필요합니다 (F22 Labs, 2026).

하이브리드 접근법: 언제 무엇을 사용할까

대부분의 팀에게 실용적인 답은 "모든 것을 AI로 전환"하거나 "OCR에만 의존"하는 것이 아닙니다. 각 문서의 특성에 따라 올바른 엔진으로 라우팅하는 하이브리드 파이프라인이 정답입니다.

100% 기계 인쇄되고 형식이 일관되며 300+ DPI로 스캔된 문서의 경우, 전통적 OCR이 더 빠르고 저렴하며 충분합니다. 출력에 필드 위치 후처리가 필요할 수 있지만, 문자 수준 정확도가 충분히 높아 후처리 규칙이 안정적입니다.

손글씨가 포함된 문서 — 단 한 필드라도 — 하이브리드 전략으로 전환해야 합니다. 인쇄된 부분에는 전통적 OCR을 사용하고 손글씨 필드는 VLM으로 라우팅하세요. 이렇게 하면 페이지의 대부분에서 OCR의 속도 이점을 활용하면서 OCR이 처리할 수 없는 부분에는 맥락 기반 AI를 사용할 수 있습니다. 라우팅 로직은 간단합니다. 필드에 대한 OCR 신뢰도가 임계값 아래로 떨어지면 해당 필드는 VLM 경로를 통해 다시 처리됩니다. 문자 수 하한은 OCR이 4개의 올바르게 읽은 문자에 대해 높은 신뢰도를 주장하면서 나머지 페이지를 완전히 놓치는 경우를 잡아내는 두 번째 게이트 역할을 합니다.

임계값 접근법은 비용도 통제합니다. 차이가 있는 필드에 대해서만 VLM 처리 비용을 지불하면 됩니다. 문서의 30%에 손글씨가 포함되고 각 문서에 평균 15개 필드가 있는 워크플로우의 경우, 페이지 전체가 아닌 문서당 약 5개 필드만 VLM 경로를 통과합니다. 규모가 커지면 그 차이는 중요해집니다.

문서 워크플로우에 미치는 영향

전통적 OCR과 AI 손글씨 인식 사이의 선택은 기술 선택이 아니라 워크플로우 설계 선택입니다. 문서 접수가 100% 인쇄되고 템플릿화되어 있다면 전통적 OCR이 작동하며 계속 작동할 것입니다. 문서의 상당 부분에 손글씨가 포함되어 있다면 — 운전자 메모가 있는 배송 확인서, 현장 관찰이 있는 검사 보고서, 환자 서명이 있는 의료 접수 양식, 손글씨 신고서가 있는 금융 신청서 — 전통적 OCR만 사용하는 파이프라인은 모든 배치에서 조용히 데이터를 잃고 있습니다.

가장 흔한 오산은 도구의 마케팅 페이지에 손글씨 지원이 나열되어 있다는 이유로 "OCR이 처리한다"고 가정하는 것입니다. 나열된 기능과 실제 문서에서의 실제 성능 — 공급업체의 정리된 데모 샘플이 아닌 — 사이의 격차가 자동화가 작동하는지, 아니면 절약하는 것보다 더 많은 작업을 만드는지를 결정합니다. 특히 접수 문서 중 가장 지저분한 10%를 대상으로 자체 문서로 테스트하는 것이 순수 OCR, 순수 VLM, 또는 하이브리드 중 어떤 접근법이 프로덕션 부하에서 견딜 수 있는지 아는 유일한 방법입니다.

FAQ

전통적 OCR이 필기체를 전혀 읽을 수 없나요?

읽을 수는 있지만 신뢰할 수 없습니다. Tesseract 4.x와 같은 LSTM 기반 엔진조차 필기체 단어 수준 정확도는 일반적으로 50% 미만입니다. 연결된 필기체의 문자는 하향식 패턴 매칭에 너무 모호합니다. 전통적 OCR은 이러한 입력 유형을 위해 설계되지 않았으며, 매개변수 조정만으로는 근본적인 아키텍처 한계를 극복할 수 없습니다.

AI 필기 인식이 수동 데이터 입력을 대체할 만큼 정확한가요?

많은 워크플로에서 그렇습니다 — 단, 조건이 있습니다. 제한된 양식 필드의 인쇄체 필기의 경우 AI 추출은 85–93%의 필드 수준 정확도를 달성하여 수동 입력이 예외가 됩니다. 지저분한 필기체나 저화질 사진의 경우 정확도는 65–80%로 떨어지지만, 이는 전통적 OCR의 20% 미만보다 훨씬 개선된 수치입니다. 다만 중요 필드에 대한 검토 단계 없이 완전 자동 처리를 하기에는 충분하지 않습니다. 실질적인 최적점은 신뢰도 기반 라우팅을 통한 추출입니다. 신뢰도가 높은 필드는 자동으로 처리되고, 신뢰도가 낮은 필드는 인간 검토를 위해 표시됩니다. 입력 품질과 필드 설계에 따라 정확도가 어떻게 달라지는지 자세히 알아보려면 정확도 개선 가이드를 참조하세요.

속도는 어떤가요 — AI 추출이 OCR보다 느린가요?

페이지당으로는 그렇습니다 — VLM 기반 추출은 일반적으로 5–12초인 반면 전통적 OCR은 2초 미만입니다. 하지만 공정한 비교에는 필기 필드의 OCR 오류를 수동으로 수정하는 데 드는 시간 절약이 포함되어야 합니다. 필기 콘텐츠가 40%인 100페이지 배치의 경우, VLM 추출은 약 10분의 처리 시간 + 30분의 검토 시간이 걸립니다. 전통적 OCR은 약 3분의 처리 시간 + 3–5시간의 수정 시간이 걸립니다. 필기가 포함된 배치에서는 전체 워크플로 시간이 VLM에 유리합니다.

동일한 파이프라인에서 전통적 OCR과 AI 추출을 함께 사용할 수 있나요?

네, 가능합니다 — 그리고 이것이 대부분의 실제 배포 환경에서 나타나는 형태입니다. 신뢰도가 75% 임계값 이상이고 최소 문자 수 기준을 충족하는 기계 인쇄 페이지에는 전통적 OCR을 사용하세요. 해당 임계값 미만의 모든 항목 — 필기로 표시된 문서를 포함하여 — VLM 경로로 라우팅하세요. 이 하이브리드 아키텍처는 OCR이 작동하는 곳에서 비용 및 속도 이점을 확보하면서, OCR이 해결할 수 없는 필기 공백을 보완합니다.

AI 추출 도구가 페이지에 없는 데이터를 환각으로 생성하나요?

그럴 수 있습니다. VLM 기반 시스템은 실제로 비어 있거나 읽기 어려운 필드에 대해 그럴듯해 보이는 데이터를 생성할 때가 있습니다. 이것은 전통적 OCR의 실패 방식과 가장 중요한 차이점입니다: 전통적 OCR은 명백히 잘못된 결과물을 반환하지만, VLM 환각은 정확해 보여 검증 과정을 무사히 통과할 수 있습니다. 지불 금액, 법적 날짜, 환자 식별자와 같이 오류 비용이 큰 필드의 경우, 어떤 추출 기술을 사용하든 신뢰도 점수와 인간 검토가 여전히 필요합니다.

가장 중요한 유일한 벤치마크

벤치마크와 비교 표는 평균적으로 사실인 내용을 알려줍니다. 하지만 여러분의 문서에 대해 사실인 내용은 알려주지 않습니다 — 공급업체의 필기, 현장 직원의 약어, 수십 년 된 스캔 양식이 담긴 문서 말입니다. 전통적 OCR과 AI 필기 인식의 차이는 퍼센트 포인트로 측정되지만, 그 차이가 중요한지 여부는 전적으로 워크플로우에서 필드를 잘못 읽었을 때 어떤 일이 발생하는지에 달려 있습니다. 잘못 읽은 송장 합계는 지불 오류입니다. 잘못 읽은 검사 결과는 규정 위반입니다. 잘못 읽은 환자 기록은 안전 문제입니다.

여러분의 문서로 테스트하세요. 가장 깨끗한 문서가 아니라 — 커피 얼룩과 여백 메모가 있는, 스테이플러로 묶인 여덟 장의 양식으로 말입니다. 이러한 문서가 추출 파이프라인이 실제로 작동하는지, 아니면 누군가 오류를 발견할 때까지 작동하는 것처럼 보이는지 결정합니다.