ChatGPT와 Claude가 손글씨를 읽을 수 있나요? 네 — 하지만 추출은 다른 작업이에요

필사(Transcription)와 추출(Extraction): 손글씨 문서에서 중요한 차이점

누군가 손글씨 페이지 사진을 ChatGPT에 업로드하고 "읽어줘"라고 요청하면, 돌아오는 결과는 필사(transcription)입니다. AI가 페이지에서 본 내용을 선형 텍스트로 표현한 것이죠. 출력 결과는 이렇게 보일 수 있습니다: "Invoice #1042. Date May 12 2026. Customer Acme Corp. Item Widget A Qty 5 Price $12.00 Total $60.00. Paid by check." 유용해 보입니다. 편지나 일기장을 디지털화하려는 경우라면 실제로 유용합니다.

하지만 이미지를 업로드한 사람은 편지를 디지털화하려는 것이 아닙니다. 인보이스를 처리하려는 것입니다. 그리고 실제로 필요한 것은 문단 텍스트가 아니라 스프레드시트의 네 개 셀입니다: 인보이스 번호(1042), 날짜(2026-05-12), 고객(Acme Corp), 합계($60.00). "페이지에 적힌 내용"과 "내가 필요한 구조화된 데이터" 사이의 간격이 바로 필사와 추출의 차이이며, 바로 이 지점에서 모든 범용 AI 챗봇은 더 이상 적절한 도구가 아닙니다.

이 차이는 학문적인 것이 아닙니다. 문서 처리 워크플로우가 유용한 결과물로 끝나는지, 아니면 또 다른 수동 작업(ChatGPT 결과물에서 값을 스프레드시트에 셀 하나씩 복사하는 작업)으로 끝나는지를 결정합니다. 특히 손글씨 문서의 경우, 필사 우선 접근 방식은 두 번째 문제를 야기합니다. AI가 손글씨는 올바르게 읽지만, 해당 값이 속한 필드를 잘못 해석하여 잘못된 열에 값을 넣을 수 있습니다.

ChatGPT와 Claude가 잘하는 것 — 그리고 한계가 드러나기 시작하는 지점

진정으로 인상적인 부분부터 분명히 짚어보겠습니다. ChatGPT의 비전 모델은 지저분한 손글씨 사진을 보고 말이 되는 필사본을 만들어냅니다. Reddit의 r/OpenAI에서 사용자들은 필기체, 대소문자 혼용, 심지어 역사적 서체까지 손글씨 선명도에 따라 60%에서 거의 100%에 가까운 정확도로 처리한다고 보고합니다. Claude도 구조화된 손글씨 문서에서 비슷한 성능을 보입니다 — 비전 분석이 한 페이지 분량의 양식과 메모에 대해 일관된 출력을 만들어냅니다.

이것은 마법이 아닙니다. 이 모델들은 텍스트를 처리하는 것과 같은 방식으로 이미지를 처리합니다: 보고 있는 것에 대한 맥락적 이해를 구축하는 방식입니다. 손글씨 단어를 볼 때 문자 모양을 매칭하는 것이 아니라 — 사람이 하듯 시각적 장면을 해석하며, 주변 단어와 예상 패턴을 사용해 모호한 글자를 판별합니다. 그래서 전통적인 OCR보다 손글씨에서 더 나은 성능을 보이는 것입니다: 맥락이 불명확한 획을 보완하기 때문입니다.

하지만 한계는 읽기와 구조화 사이의 경계에서 드러납니다. ChatGPT는 페이지에 무엇이 있는지 말해줄 수 있습니다. 그러나 명시적이고 반복적인 프롬프트 없이는 그 정보를 미리 정의된 열로 안정적으로 정리하지 못합니다 — 그리고 프롬프트를 사용하더라도 출력 형식은 응답마다 달라집니다. 어떤 프롬프트는 쉼표로 구분된 값을 반환할 수 있습니다. 다음은 마크다운 테이블을 반환할 수 있습니다. 또 다음은 값이 문장 속에 포함된 단락을 반환할 수 있습니다. 일회성 작업이라면 이런 비일관성은 짜증나는 정도입니다. 그러나 일주일에 50개 문서를 동일한 스프레드시트 형식으로 처리해야 하는 워크플로우라면, 사용이 불가능합니다.

Claude도 비슷한 문제가 있습니다: "권위 있어 보이거나 설득력 있게 들릴 수 있지만 사실에 근거하지 않은 인용문을 표시"할 수 있습니다. 문서를 처리할 때 Claude는 실제로 페이지에 없는 값을 자신 있게 진술할 수 있습니다 — 오작동 때문이 아니라, 언어 생성 메커니즘이 통계적으로 그럴듯한 내용으로 빈틈을 채우기 때문입니다. 일상적인 사용에서 허구의 송장 번호는 불편한 정도입니다. 회계에서는 중대한 오류입니다.

환각: 손글씨가 문제를 개선하지 않고 오히려 악화시키는 이유

모든 대규모 언어 모델(LLM)은 환각을 일으킵니다. 즉, 실제로는 정확해 보이지만 입력 데이터에 근거하지 않은 내용을 생성합니다. 문서 추출에서 환각이란 AI가 페이지에 존재하지 않는 값을 반환하는 것을 의미합니다. 예를 들어 $50 차이가 나는 인보이스 합계, 그럴듯해 보이지만 실제로는 작성된 적 없는 날짜, 맞는 것처럼 들리지만 다른 계정에 속한 고객 이름 등이 있습니다.

손글씨는 이러한 위험을 증폭시킵니다. 그 이유는 다음과 같습니다. 환각은 모델이 모호함을 마주할 때 가장 자주 발생합니다. "5"인지 "S"인지 구분하기 어려운 문자, "5/12"인지 "12/5"인지 애매한 날짜, 두 항목 사이에 있어 어느 쪽에 속하는지 불분명한 합계 등이 그 예입니다. 인쇄된 텍스트는 일관된 서체를 통해 모호함을 최소화합니다. 반면 손글씨는 개인마다 다른 필체로 인해 모호함을 극대화합니다. 모호한 획 하나하나가 모델이 선택해야 하는 결정 지점이 되며, 선택이 불분명할 때 모델의 언어 생성 본능(일관성 있는 결과물 생성)이 추출 의무(검증 가능한 것만 반환)를 압도합니다.

DocuPipe의 비교 분석은 이 문제를 단호하게 지적합니다. ChatGPT는 "값을 환각"하고 "다중 페이지 문서에서 테이블 헤더를 잊어버립니다." 헤더를 잊어버리는 문제는 명확한 테이블 구조가 없는 경우가 많은 손글씨 문서에서 특히 심각합니다. AI가 손글씨 값을 추출하더라도 어떤 열이 무엇이었는지 놓쳐서 잘못된 필드 라벨에 값을 할당할 수 있습니다.

목적에 맞게 설계된 추출 도구는 이 문제를 다르게 처리합니다. 텍스트를 생성하고 출력이 정확하기를 기대하는 대신, 처리 전에 정의한 열 이름에 추출을 고정합니다. 핵심 질문은 "이 페이지에 무엇이 쓰여 있나?"가 아니라 "이 페이지에서 'Invoice Number'에 해당하는 값은 어디에 있나?"입니다. 이렇게 제한된 질문은 환각이 발생하기 쉬운 모호성 공간을 줄입니다. AI는 페이지 전체를 설명하는 것이 아니라 특정 대상을 찾는 것입니다. 이러한 구조적 차이(제한된 추출 대 개방형 생성)가 목적에 맞게 설계된 도구가 문서 데이터에서 훨씬 적은 환각을 일으키는 이유입니다.

목적에 맞게 제작된 추출 도구가 일반 챗봇보다 제공하는 다섯 가지 기능

ChatGPT의 손글씨 읽기 능력과 문서 처리 워크플로우에서 실제로 필요한 것 사이의 격차는 다섯 가지 구체적인 측면으로 나뉩니다. 그중 어느 것도 AI가 "더 똑똑하다"는 것과 관련이 없습니다. 핵심은 AI가 작업에 맞게 특별히 설계되었다는 점입니다.

일괄 처리의 차이만으로도 주당 몇 장 이상의 문서를 처리하는 모든 사람에게 결정적입니다. ChatGPT의 이미지당 메시지 하나 모델은 손글씨 송장 20장을 처리하려면 업로드 20회, 프롬프트 20회, 결과를 스프레드시트에 복사하여 붙여넣는 작업 20회가 필요함을 의미합니다. 목적에 맞게 제작된 추출 도구는 두 번째 ChatGPT 프롬프트를 작성하는 시간보다 짧은 시간에 20장 모두를 단일 배치로 처리합니다. 업로드 한 번, 출력 파일 하나, 행 20개입니다.

열 정의의 지속성은 소리 없는 강점입니다. ChatGPT에서는 새 문서 배치를 시작할 때마다 빈 상태에서 시작합니다 — 매번 필요한 필드를 다시 설명해야 합니다. 목적에 맞게 설계된 도구에서는 열 정의가 계정에 저장됩니다. 지난주에 사용한 동일한 네 개의 필드 이름이 이번 주 배치를 업로드할 때 기다리고 있습니다. 열 정의가 어떻게 작동하고 필기 문서에서 왜 중요한지 자세히 알아보려면 필기 문서용 맞춤 열 추출 가이드를 읽어보세요.

ChatGPT를 사용해야 할 때 — 사용하지 말아야 할 때

그렇다고 ChatGPT가 문서 작업에 쓸모없다는 뜻은 아닙니다. 특정 작업에는 적합한 도구입니다:

판단 기준은 어떤 AI가 더 똑똑한지가 아니라 어떤 도구의 구조가 작업에 맞는지입니다. ChatGPT는 대화와 개방형 생성에 맞게 설계되었습니다. 목적에 맞게 설계된 추출 도구는 제한적이고 반복 가능하며 검증 가능한 데이터 출력에 맞게 설계되었습니다. 둘 다 이미지를 보고 이해할 수 있다는 사실이 두 도구를 서로 바꿔 쓸 수 있게 만들지는 않습니다 — 스위스 아미 나이프와 셰프 나이프가 둘 다 자를 수 있다고 해서 서로 바꿔 쓸 수 없는 것과 같습니다. 이 구분의 올바른 쪽에 서 있다면, 필기 인식 및 데이터 추출 도구 비교에서 목적에 맞게 설계된 옵션을 더 자세히 다룹니다.

자주 묻는 질문

더 나은 ChatGPT 프롬프트를 작성하면 구조화된 출력을 얻을 수 있지 않나요?

신중한 프롬프트 작성으로 출력 형식을 개선할 수 있습니다 — JSON 요청, 필드 이름 지정, 예시 제공 등이 가능합니다. 하지만 두 가지 문제가 남습니다. 첫째, 출력 형식은 여전히 확률적입니다: 동일한 이미지에 동일한 프롬프트를 사용해도 실행마다 JSON 구조가 약간씩 달라질 수 있습니다. 둘째, 근본적인 환각 위험은 사라지지 않습니다 — 더 나은 프롬프트는 ChatGPT에게 어떻게 형식을 지정할지 알려줄 뿐, 페이지에 실제로 무엇이 있는지는 알려주지 않습니다. 내용을 검증하지 않고 용기만 다듬는 셈입니다.

Claude가 ChatGPT보다 문서를 더 잘 처리하나요?

Claude의 비전 분석은 일부 문서 유형, 특히 복잡한 레이아웃을 가진 문서에서 더 깔끔한 전사를 생성하며, Projects 기능을 통해 여러 문서에 걸쳐 더 일관된 프롬프트 템플릿을 사용할 수 있습니다. 그러나 동일한 아키텍처적 한계를 공유합니다. 범용 언어 모델이지 구조화된 추출 엔진이 아니라는 점입니다. Claude는 어떤 경우에는 ChatGPT보다 페이지 내용을 더 잘 설명할 수 있지만, 50개 문서를 단일 스프레드시트로 일괄 처리하거나, 페이지 간 열 이름 정렬을 보장하거나, 신뢰도가 낮은 필드를 검토용으로 표시하는 것은 여전히 불가능합니다.

Google의 Gemini나 다른 AI 모델은 어떤가요?

어떤 범용 모델을 사용하든 전사 대 추출의 차이는 동일하게 적용됩니다. Gemini, DeepSeek 및 기타 비전 지원 LLM은 모두 손글씨를 읽을 수 있으며, 일부는 더 잘 읽고, 특히 Gemini는 구조화된 문서 이해에서 강력한 성능을 보여줍니다. 그러나 그들 중 어느 것도 추출 워크플로우(일괄 처리, 열 유지, 구조화된 출력 형식, 정확도 검증)를 위해 설계되지 않았습니다. 모두 문서를 이해하는 데는 뛰어납니다. 그러나 그 이해를 반복 가능한 데이터 파이프라인으로 운영화하는 데는 모두 부족합니다. 사용하는 도구에 관계없이 추출 정확도를 개선하는 팁은 AI 손글씨 추출 결과 개선 가이드를 참조하세요.

ChatGPT와 목적에 맞게 설계된 도구 간의 정확도 차이가 정말 그렇게 큰가요?

단일 페이지의 경우 전사 정확도 차이는 좁을 수 있습니다. ChatGPT는 손글씨 단어의 85%를 올바르게 읽는 반면 목적에 맞게 설계된 도구는 90%를 달성할 수 있습니다. 그러나 추출 정확도는 단어 수준에서 측정되지 않습니다. 필드 수준에서 측정됩니다. 올바른 값이 올바른 열에 들어갔는지 여부입니다. 이 지표에서 범용 모델은 문서 간 필드 수준 정렬을 유지하도록 설계되지 않았기 때문에 빠르게 뒤처집니다. 올바르게 읽었지만 잘못된 열에 할당된 단어는 필드 수준 오류이며, 이러한 오류는 문서 수가 증가함에 따라 누적됩니다. 10개 문서의 경우 정렬 오류를 수동으로 잡을 수 있습니다. 50개의 경우 검증 작업이 시간 절약 효과를 상쇄합니다.

ChatGPT API를 사용해 나만의 추출 파이프라인을 구축할 수 있나요?

기술적으로는 가능합니다 — 실제로 그렇게 하는 개발자도 있습니다. 이미지 전처리, 구조화된 출력을 위한 프롬프트 엔지니어링, JSON 스키마 강제, 출력 검증, 문서 간 집계, 환각 탐지를 직접 처리해야 합니다. API는 원시 비전 기능만 제공합니다. 나머지 — 배치 처리, 열 유지, 형식 정규화, 신뢰도 점수 — 는 처음부터 직접 구축해야 합니다. 일회성 내부 도구라면 그럴 만한 가치가 있을 수 있습니다. 매주 의존하는 워크플로우라면 개발 및 유지보수 비용이 목적에 맞게 만들어진 도구 가격을 훨씬 초과하는 경우가 일반적입니다. 핵심 질문은 "할 수 있느냐"가 아니라 "문서 추출 플랫폼을 직접 만들고 유지할 것인지, 아니면 문서에서 데이터를 추출할 것인지"입니다.

ChatGPT와 Claude는 손글씨를 이해하는 데 뛰어납니다. 하지만 이해하는 것과 추출하는 것은 다릅니다 — 그리고 그 차이에 실제 병목이 있습니다. 목적에 맞게 만들어진 추출 도구는 열 이름을 질문으로, 각 문서를 답변으로 삼아 그 차이를 메우고, 모든 답변을 하나의 스프레드시트에 담아냅니다.