AI 손글씨 인식 vs 전통적 OCR: 대부분의 팀이 예상하는 것보다 더 큰 격차

전통적 OCR이 잘하는 것 — 그리고 한계가 시작되는 지점

전통적 광학 문자 인식(OCR)은 페이지의 픽셀 패턴을 분석하고, 이를 알려진 문자 형태와 대조한 뒤 텍스트 문자열을 출력하는 방식으로 작동합니다. 300 DPI로 스캔한 깨끗한 기계 인쇄 문서의 경우 성능이 우수합니다 — 문자 정확도가 95%를 넘는 경우가 많습니다. 갓 인쇄된 인보이스, PDF 양식, 타이핑된 계약서: 이러한 입력값이 바로 OCR이 설계된 대상이며, 여전히 최상의 시나리오로 남아 있습니다.

그러나 문자 정확도는 데이터 정확도와 같지 않습니다. "1,234.56"이라는 문자가 페이지 어딘가에 있다는 사실만으로는 그것이 인보이스 합계인지, 수량인지, 참조 번호인지 알 수 없습니다. 그 해석에는 여전히 사람이 필요합니다 — 또는 OCR 출력 위에 직접 구축하고 유지 관리해야 하는 규칙 계층이 필요합니다. 기계 인쇄 텍스트의 경우 이 격차는 후처리 스크립트와 필드 위치 템플릿으로 관리할 수 있습니다. 필기체의 경우 그 격차는 협곡으로 벌어집니다.

근본적인 문제는 구조적입니다. 전통적 OCR은 상향식(bottom-up)으로 작동합니다. 먼저 개별 문자를 읽은 다음, 이를 단어로 조합하고, 그다음 줄로 조합합니다. 문서가 무엇에 관한 것인지에 대한 개념이 없습니다. 모든 문자가 선명하고 예측 가능할 때는 이 방식이 작동합니다. 문자가 서로 연결되고, 크기가 다르고, 기울기가 불규칙하거나, 서로 번져 보일 때 — 필기체가 그런 경우 — 상향식 접근 방식은 단어 수준에 도달하기 전에 붕괴됩니다.

전통적 OCR이 필기체에서 무너지는 세 가지 지점

모든 사람의 필기체는 고유한 데이터셋입니다. 획 굵기, 기울기 각도, 글자 연결, 기준선 흔들림 — 이러한 요소는 사람마다 다를 뿐만 아니라, 같은 사람의 글씨도 날짜, 펜, 표면에 따라 달라집니다. 전통적 OCR은 서로를 악화시키는 세 가지 특정 실패 모드를 만나게 됩니다.

문자 인식 시작 전에 문자 분할이 먼저 이루어집니다

OCR은 각 문자가 분리 가능한 경계 상자(bounding box)를 차지한다고 가정합니다. 필기체는 이 가정을 완전히 무너뜨립니다. 문자들이 명확한 경계 없이 서로 이어져 흐릅니다. 엔진은 여러 글자를 하나의 덩어리로 합쳐버리거나("clear"를 "dear"로 읽음), 하나의 글자를 두 개의 상자로 나누어 버립니다("m"을 "rn"으로 읽음). 실제 운영 환경의 독립적인 벤치마크에 따르면, 가장 널리 사용되는 오픈소스 OCR 엔진인 Tesseract는 일반 필기체에 대해 45~50%의 단어 정확도를 보입니다. 즉, 필기체로 작성된 두 단어 중 하나는 잘못 읽힌다는 뜻입니다. 인쇄체와 필기체가 섞인 50개 필드 양식의 경우, 사람의 검토가 시작되기 전에 약 25개 필드에 오류가 포함됩니다.

문맥 이해가 없으면 오류 복구가 전혀 불가능합니다

사람이 배송 양식의 번진 단어를 읽을 때, 주변 필드(날짜, 주소, 품목 목록)는 그 번짐이 합리적으로 무엇일 수 있는지 제약 조건을 제공합니다. "총액" 필드의 숫자는 이름이 될 수 없습니다. "생년월일" 필드의 날짜는 내년이 될 수 없습니다. 기존 OCR에는 이러한 추론 능력이 전혀 없습니다. 페이지의 모든 위치에 무엇이 있어야 하는지와 관계없이 동일한 문자 매칭 알고리즘을 적용합니다. 가격 열에 있는 번진 "5"는 픽셀 패턴이 모호하기 때문에 "S"로 분류됩니다. 그리고 엔진은 통화 필드에서 "S"가 말이 안 된다는 것을 알릴 방법이 없습니다.

레이아웃 변동성은 템플릿 기반 파이프라인을 무너뜨립니다

많은 실제 OCR 설정은 템플릿에 의존합니다. 각 필드에 대한 고정 좌표를 정의하고, 엔진은 해당 상자 안에 나타나는 문자를 읽습니다. 이는 단일 출처의 표준화된 양식에는 효과적입니다. 그러나 공급업체가 양식 레이아웃을 변경하거나, 필드가 1.27cm(0.5인치)라도 이동하거나, 누군가 지정된 상자 대신 여백에 메모를 작성하는 순간 실패합니다. 손으로 작성된 문서는 이 문제를 더욱 악화시킵니다. 작성자는 상자를 넘어 쓰거나, 여백에 주석을 추가하거나, 화살표를 사용하여 정보의 위치를 변경하는 경우가 빈번하기 때문입니다. "이름: [____________]"를 위해 만들어진 템플릿은 "이름: [김철수—— 첨부 신분증 참조]"를 처리할 수 없습니다. 해당 필드의 OCR 출력은 잘리거나, 깨지거나, 비어 있을 것이며, 이후 워크플로우는 그 사실을 알 방법이 없습니다.

AI 필기 인식이 어떻게 다르게 사고하는지

비전 언어 모델(VLM) — GPT-4o, Claude, Gemini 같은 모델을 포함하는 AI 계열 — 은 문서를 상향식이 아닌 하향식으로 처리합니다. 개별 글자 모양을 찾는 것부터 시작하지 않습니다. 전체 페이지 이미지를 보고 구조와 목적을 이해한 다음, 그 맥락 안에서 텍스트를 해독합니다. 이는 사람이 읽는 방식에 더 가깝습니다. 각 펜 획을 따로 검토하지 않고, 인보이스 하단에 합계가 있을 것이라고 예상하기 때문에 "Total"이라는 단어를 인식하고, 맥락상 통화 금액이어야 하므로 옆의 숫자를 통화로 해석하는 것과 같습니다.

실질적인 결과로, VLM 기반 추출은 사람처럼 모호함을 처리합니다 — 페이지에 있는 내용과 페이지에 있어야 할 내용을 교차 참조하는 방식입니다. "5" 또는 "S"처럼 보이는 문자가 숫자 필드에 나타나면 "5"로 해석됩니다. "Jan 5 25"로 작성된 날짜는 모델이 날짜 형식을 이해하기 때문에 "2025-01-05"로 정규화됩니다. 이러한 맥락적 모호성 해소는 문자 수준 OCR에 비해 사소한 개선이 아닙니다 — 바로 사용 가능한 출력과 두 번째 사람의 검토가 필요한 출력 사이의 차이입니다.

실제로 이 접근 방식에 기반한 도구를 사용하면 맞춤 열 추출을 정의할 수 있습니다. "Invoice Number," "Due Date," "Total Amount" 같은 필드 이름을 입력하면 AI가 필드 레이블의 의미를 이해하여 페이지 어디에서든 각 값을 찾아냅니다. 템플릿 좌표도, 공급업체별 설정도, 양식 레이아웃이 바뀔 때 재구성도 필요 없습니다. AI가 위치가 아닌 의미를 찾기 때문에 동일한 정의가 다양한 출처의 서로 다른 문서에서도 작동합니다.

정확도 격차: 숫자로 보기

숫자는 차이를 구체적으로 보여줍니다. 2025~2026년에 발표된 여러 독립 벤치마크가 일관된 패턴을 보여줍니다. 인쇄 텍스트에서는 전통적 OCR과 VLM 기반 추출 간의 격차가 작습니다(3~7% 포인트). 그러나 손글씨에서는 그 격차가 폭발적으로 커집니다.

측정 대상에 대한 두 가지 참고 사항입니다. 첫째, VLM 열은 필드 수준 정확도입니다. 즉, 추출된 각 값이 스프레드시트의 올바른 열에 들어가는지 여부를 측정하며, 원시 문자 인식이 아닙니다. 필드 수준 정확도는 원시 문자 오류율(CER)보다 높게 나타나는데, 문서 맥락이 모호한 문자를 해석해 주기 때문입니다. Total 필드의 번진 숫자는 S가 아닌 5로 읽힙니다. 둘째, 전통적 OCR 열은 동일한 문서에 대한 원시 인식 결과로, 그래서 격차가 크게 보이는 것입니다. IAM 벤치마크의 원시 문자 수준 지표에 대한 자세한 내용은 손글씨 인식 작동 방식에 대한 심층 분석을 참조하세요.

패턴은 분명합니다. 가장 깨끗한 필기(제한된 칸 안의 블록 대문자)에서는 격차가 관리 가능합니다. 전통적 OCR은 일부 후처리만으로도 "충분히 좋을" 수 있습니다. 하지만 필기가 악화됨에 따라 — 블록 문자에서 혼합 필기체로, 제한된 칸에서 자유 형식 필드로, 스캔 문서에서 휴대폰 사진으로 — 전통적 OCR 정확도는 급락하는 반면 VLM 기반 추출은 점진적으로 저하됩니다. 동일한 2026년 벤치마크는 Google Document AI의 필기 전용 엔진을 필기체에서 테스트했습니다: 약 63% 단어 정확도. Amazon Textract는 동일한 입력에서 약 89.5%로 더 나은 성과를 보였지만, 두 시스템 모두 왜곡 보정, 대비 향상, 노이즈 제거를 위한 별도의 전처리 파이프라인이 필요했습니다 — VLM 기반 시스템은 추가 설정 없이 추론 시 처리하는 작업입니다 (Suparse, 2026).

주당 100개의 혼합 문서(절반은 인쇄물, 절반은 필기)를 처리하는 실제 워크플로우에서 누적 차이는 전통적 OCR 기준 주당 약 4~6시간의 수동 수정인 반면, VLM 기반 추출 기준 30~45분에 불과합니다. 이 격차는 편의성의 문제가 아닙니다. 필기가 포함된 자동화가 전담 인간 검토 단계 없이 운영될 수 있는지를 결정합니다.

비교가 복잡해지는 지점: 속도, 비용, 그리고 환각

정확도 비교가 전부라면 결정은 간단할 것입니다. 그러나 VLM 기반 추출에는 포괄적인 추천을 부정직하게 만드는 세 가지 트레이드오프가 있습니다.

속도

전통적 OCR은 빠릅니다. 일반 하드웨어에서 한 페이지를 2초 이내에 처리합니다. VLM은 더 풍부한 추론을 수행하기 때문에 더 느립니다. 페이지 수준 추출을 위한 일반적인 VLM 호출은 문서 복잡성과 모델 크기에 따라 5~12초가 걸립니다. 500페이지 배치의 경우, 이는 15분과 1시간 이상의 차이입니다. 워크플로우가 처리량에 민감하고 문서가 일관되게 깨끗한 인쇄 텍스트라면, 전통적 OCR이 여전히 더 빠른 선택지이며 — 필요한 전부일 수도 있습니다.

비용

전통적 OCR은 저렴합니다. Tesseract는 무료 오픈소스입니다. 클라우드 OCR API는 페이지당 약 $0.001~0.005를 청구합니다. VLM 기반 추출은 계산량이 더 많아 페이지당 비용이 더 높습니다 — 하지만 페이지당 API 가격만으로 비교하면 오해의 소지가 있습니다. 프로덕션에서 150,000페이지 이상을 처리한 Reddit 사용자는 수동 교정 비용을 고려하면 전통적 OCR의 페이지당 비용 이점이 사라진다고 지적했습니다: "전통적 OCR 플랫폼은 비용 효율적으로 보이지만(~$0.001-0.005/페이지), 필기 인식 정확도가 낮아(~45-50%) 필기 콘텐츠가 많은 비즈니스 워크플로우에는 사용할 수 없습니다. 오류를 수동으로 교정하는 데 드는 시간 때문에 실제 비용은 전문 솔루션보다 훨씬 높습니다" (r/computervision, 2025). 실제 비용 방정식은 페이지당 추출 비용 + 오류당 교정 비용 × 오류율입니다. 인쇄 문서의 경우 페이지당 비용이 지배적입니다. 필기 문서의 경우 교정 비용이 지배적이며 — 바로 그 지점에서 VLM의 더 높은 정확도가 계산을 바꿉니다.

환각

대부분의 비교 기사가 건너뛰는 부분이 있습니다: VLM은 환각을 일으킬 수 있습니다. 페이지에 있어야 할 내용을 추론하기 때문에, 실제로 없는 정보를 삽입하기도 합니다 — 필드가 비어 있는데 그럴듯한 날짜를 넣거나, 필기가 실제로 판독 불가능한데 추측한 금액을 넣는 식입니다. 전통적 OCR은 반대의 실패 모드를 보입니다(아무것도 반환하지 않거나 쓰레기를 반환). 따라서 오류를 감지하기 더 쉽습니다. VLM 환각은 정확해 보이기 때문에 더 위험합니다. Tesseract의 자신만만한 오류 출력("OOO OOO")과 VLM의 자신만만한 오류 출력의 차이는, VLM 버전이 실제 데이터처럼 읽히고 자동 검증을 통과할 수 있다는 점입니다. 오류 비용이 높은 필드(결제 금액, 계약 날짜, 규정 준수 데이터)의 경우, 어떤 기술을 선택하든 신뢰도 점수와 인간 개입 검토가 여전히 필요합니다 (F22 Labs, 2026).

하이브리드 접근법: 언제 무엇을 사용할까

대부분의 팀에게 실용적인 답은 "모든 것을 AI로 전환"하거나 "OCR을 고수"하는 것이 아닙니다. 각 문서의 특성에 따라 올바른 엔진으로 라우팅하는 하이브리드 파이프라인입니다.

100% 기계 인쇄되고, 형식이 일관되며, 300+ DPI로 스캔된 문서의 경우, 전통적 OCR이 더 빠르고 저렴하며 충분합니다. 출력에는 필드 위치 후처리가 필요할 수 있지만, 문자 수준 정확도가 충분히 높아 후처리 규칙이 안정적입니다.

손글씨가 포함된 문서(단일 필드라도)의 경우, 하이브리드 전략이 전환됩니다. 인쇄된 부분에는 전통적 OCR을 사용하고, 손글씨 필드는 VLM으로 라우팅하세요. 이렇게 하면 페이지의 대부분에서 OCR의 속도 이점을 활용하면서, OCR이 처리할 수 없는 부분에는 맥락 기반 AI를 사용할 수 있습니다. 라우팅 로직은 간단합니다. 필드에 대한 OCR 신뢰도가 임계값(일반적으로 70~75%) 아래로 떨어지면 해당 필드는 VLM 경로를 통해 다시 처리됩니다. 문자 수 하한(페이지당 최소 40자)은 OCR이 올바르게 읽은 4자에 대해 높은 신뢰도를 주장하지만 페이지의 나머지 부분을 완전히 놓친 페이지를 잡아내는 두 번째 게이트 역할을 합니다.

임계값 접근 방식은 비용도 통제합니다. 차이가 있는 필드에 대해서만 VLM 처리 비용을 지불하게 됩니다. 문서의 30%에 손글씨가 포함되고 각 문서에 평균 15개의 필드가 있는 워크플로우의 경우, 페이지 전체가 아닌 문서당 약 5개의 필드가 VLM 경로를 통과한다는 의미입니다. 규모가 커지면 그 차이는 중요해집니다.

이것이 문서 워크플로우에 의미하는 바

전통적 OCR과 AI 손글씨 인식 사이의 선택은 기술 선택이 아니라 워크플로우 설계 선택입니다. 문서 유입이 100% 인쇄되고 템플릿화되어 있다면 전통적 OCR이 작동하며 계속 작동할 것입니다. 문서의 상당한 비율에 손글씨가 포함되어 있다면 — 운전자 메모가 있는 배송 확인서, 현장 관찰이 있는 검사 보고서, 환자 서명이 있는 의료 접수 양식, 손으로 쓴 진술이 있는 금융 신청서 — 전통적 OCR 전용 파이프라인은 모든 배치에서 조용히 데이터를 잃고 있습니다.

가장 흔한 오판은 도구의 마케팅 페이지에 손글씨 지원이 나열되어 있기 때문에 "OCR이 처리한다"고 가정하는 것입니다. 나열된 기능과 실제 문서에서의 실제 성능 간의 차이 — 공급업체의 정리된 데모 샘플이 아닌 — 가 자동화가 작동하는지 아니면 절약하는 것보다 더 많은 작업을 만드는지를 결정합니다. 실제 문서, 특히 유입 중 가장 지저분한 10%로 테스트하는 것이 순수 OCR, 순수 VLM, 또는 하이브리드 중 어떤 접근 방식이 프로덕션 부하에서 견딜지 아는 유일한 방법입니다.

FAQ

전통적 OCR이 필기체를 전혀 읽을 수 있나요?

네, 하지만 신뢰할 수 없습니다. Tesseract 4.x와 같은 LSTM 기반 엔진에서도 필기체 정확도는 단어 수준에서 일반적으로 50% 미만입니다. 연결된 필기체의 문자는 하향식 패턴 매칭에 너무 모호합니다. 전통적 OCR은 이 입력 클래스를 위해 설계되지 않았으며, 매개변수 조정으로 근본적인 아키텍처 한계를 바꿀 수 없습니다.

AI 손글씨 인식이 수동 데이터 입력을 대체할 만큼 정확한가요?

많은 워크플로우에서 네 — 단, 주의사항이 있습니다. 제한된 양식 필드의 블록 인쇄 손글씨에서 AI 추출은 85–93%의 필드 수준 정확도를 달성하여 수동 입력을 규칙이 아닌 예외로 만듭니다. 지저분한 필기체나 저화질 휴대폰 사진에서는 정확도가 65–80%로 떨어집니다 — 여전히 전통적 OCR의 20% 미만보다 극적으로 개선된 수치이지만, 중요한 필드에 검토 단계 없이 완전 자동 처리를 하기에는 충분히 높지 않습니다. 실용적인 최적점은 신뢰도 기반 라우팅이 있는 추출입니다: 신뢰도가 높은 필드는 자동으로 처리되고, 신뢰도가 낮은 필드는 인간 검토를 위해 표시됩니다. 입력 품질과 필드 설계에 따라 정확도가 어떻게 달라지는지 더 자세히 알아보려면 정확도 개선 가이드를 참조하세요.

속도는 어떤가요? AI 추출이 OCR보다 느린가요?

페이지당으로 보면 그렇습니다. VLM 기반 추출은 보통 5~12초가 걸리지만, 전통적 OCR은 2초 미만이 걸립니다. 하지만 공정한 비교에는 손글씨 필드의 OCR 오류를 수동으로 교정하는 데 드는 시간이 포함되어야 합니다. 손글씨 비율이 40%인 100페이지 배치의 경우, VLM 추출은 처리 시간 약 10분 + 검토 시간 30분이 걸립니다. 전통적 OCR은 처리 시간 약 3분 + 교정 시간 3~5시간이 걸립니다. 손글씨가 포함된 배치라면 전체 작업 시간은 VLM이 유리합니다.

같은 파이프라인에서 전통적 OCR과 AI 추출을 함께 사용할 수 있나요?

네, 가능합니다. 그리고 이것이 대부분의 실제 운영 환경에서 쓰이는 방식입니다. 신뢰도가 75% 임계값 이상이고 최소 문자 수 기준을 충족하는 기계 인쇄 페이지에는 전통적 OCR을 사용하세요. 그 임계값 미만의 모든 항목과 손글씨가 포함된 것으로 표시된 문서는 VLM 경로로 보내세요. 이 하이브리드 아키텍처는 OCR이 효과적인 곳에서는 비용과 속도 이점을 살리면서, OCR이 해결하지 못하는 손글씨 공백을 메워 줍니다.

AI 추출 도구가 페이지에 없는 데이터를 환각으로 만들어 내나요?

그럴 수 있습니다. VLM 기반 시스템은 실제로 비어 있거나 읽을 수 없는 필드에 대해 그럴듯해 보이는 데이터를 생성하기도 합니다. 이것이 전통적 OCR의 실패 방식과 가장 중요한 차이점입니다. 전통적 OCR은 명백히 틀린 결과물을 반환하지만, VLM의 환각은 정확해 보여서 검증 단계를 무사히 통과할 수 있습니다. 결제 금액, 법적 날짜, 환자 식별자처럼 오류 비용이 큰 필드에서는 어떤 추출 기술을 사용하든 신뢰도 점수와 인간 검토가 여전히 필요합니다.

가장 중요한 유일한 벤치마크

벤치마크와 비교 표는 평균적으로 맞는 이야기를 알려줍니다. 하지만 여러분의 문서에 맞는 이야기는 알려주지 않습니다. 거래처 직원의 손글씨, 현장 직원의 약어, 수십 년 된 스캔 양식이 담긴 문서 말입니다. 전통적 OCR과 AI 손글씨 인식의 차이는 퍼센트 포인트로 측정되지만, 그 차이가 실제로 중요해지는지는 전적으로 워크플로우에서 필드를 잘못 읽었을 때 어떤 일이 벌어지느냐에 달려 있습니다. 잘못 읽은 청구서 합계는 결제 오류입니다. 잘못 읽은 검사 결과는 규정 위반입니다. 잘못 읽은 환자 기록은 안전 문제입니다.

여러분의 실제 문서로 테스트하세요. 가장 깨끗한 문서가 아니라, 커피 자국과 여백 메모가 있고 스테이플러로 묶인 여덟 장짜리 양식으로 말입니다. 바로 그 문서들이 추출 파이프라인이 실제로 작동하는지, 아니면 누군가 오류를 발견하기 전까지만 작동하는 것처럼 보이는지를 결정합니다.