지저분하고 일관성 없는 인보이스에서
신뢰할 수 있는 데이터 확보: 실용적인 정확도 가이드

"99% 정확도"는 마케팅 숫자입니다. 실제 의미는 이렇습니다.

송장 추출에는 두 가지 정확도 수치가 있으며, 그 의미는 완전히 다릅니다. 이 둘을 혼동하는 것이 팀이 공급업체 데모에서 실제 송장으로 전환할 때 가장 큰 실망을 초래하는 원인입니다.

페이지 수준 정확도 — 공급업체 웹사이트에서 볼 수 있는 98-99% — 는 페이지의 전체 문자 중 개별 문자가 올바르게 읽힌 비율을 측정합니다. 송장에 2,000자가 있고 OCR이 그중 20자를 잘못 읽었다면 페이지 수준 정확도는 99%입니다. 좋아 보입니다. 하지만 그 20자가 마침내 송장 번호(INV-2456이 INV-2465로 읽힘), 송장 합계($17,820이 $17,280으로 읽힘), 지불 조건(Net 30이 Net 3으로 읽힘)이라면, 지불 오류를 초래할 필드 수준 실패가 세 건 발생한 것입니다 — 공급업체 대시보드는 여전히 99% 정확도를 보고하지만요.

필드 수준 정확도가 실제로 중요한 수치입니다. 이는 송장 번호, 날짜, 합계, 라인 항목, 세액, 공급업체 이름 등 각 개별 데이터 필드가 완전하고 정확하게 추출되었는지를 측정합니다. 10자리 송장 번호에서 한 자리만 잘못 읽어도 해당 필드는 오류로 간주됩니다. 필드 수준 정확도는 항상 페이지 수준 정확도보다 낮으며, 지저분한 송장에서는 그 격차가 극적으로 벌어집니다. 99%의 페이지 수준 점수는 OCR 오류가 재정적으로 중요한 필드에 집중될 경우 75%의 필드 수준 점수를 가릴 수 있습니다.

AP 워크플로우에서 중요한 유일한 정확도 수치는 실제 송장과 실제 추출 필드로 측정한 필드 수준 정확도입니다. 그 외의 모든 것은 낙관적인 방향으로 틀릴 수밖에 없는 대략적인 근사치일 뿐입니다.

정확도가 좌우되는 요소 — 사용자가 통제하는 요소와 AI가 통제하는 요소

추출 정확도는 두 가지 상호작용 시스템의 결과물입니다. AI에 입력되는 문서의 물리적 품질과 AI 모델이 이를 해석하는 능력입니다. 대부분의 정확도 가이드는 두 번째 시스템에만 집중하고 첫 번째 시스템을 무시합니다. 하지만 첫 번째 시스템은 도구를 바꾸지 않고도 오늘 오후에 개선할 수 있는 부분입니다.

사용자가 통제하는 요소 — 문서 파이프라인:

• 해상도. 200 DPI 미만에서는 문자가 서로 뭉개져 OCR 엔진이 추측하기 시작합니다. PDFExcel의 필기 인식 분석에 따르면 필기 콘텐츠에는 400-600 DPI를 권장합니다. 인쇄된 송장의 경우 300 DPI가 실질적인 최소 기준입니다. 오래된 보관 문서에서 흔히 볼 수 있는 150 DPI로 스캔된 PDF는 AI가 아무리 좋아도 눈에 띄게 나쁜 결과를 냅니다.
• 색상 모드. 흑백(2단계) 스캔은 유사한 문자를 구분하는 미묘한 음영 차이를 제거합니다. Grooper의 필기 OCR 연구에 따르면 컬러 스캔이 흑백보다 더 나은 결과를 냅니다. AI는 특히 재무 필드와 겹치는 필기 주석, 도장, 워터마크에 추가 데이터가 필요합니다.
• 문서 상태. 접힘, 그림자, 기울어짐(비스듬한 페이지), 압축 아티팩트는 인식을 저하시킵니다. 깨끗한 인쇄 송장을 평판 스캔한 것은 거의 완벽한 입력입니다. 동일한 송장을 사무실 조명 아래서 휴대폰으로 비스듬히 찍은 사진은 훨씬 나쁩니다. 복사본을 다시 스캔한 문서는 문제를 더 악화시킵니다. 대부분의 AP팀은 송장이 도착하는 상태를 통제할 수 없지만, 150 DPI 흑백으로 스캔할지 300 DPI 컬러로 스캔할지는 통제할 수 있습니다.
• 형식 일관성. 단일 페이지 대 다중 페이지, 포함된 표 대 첨부 파일, 네이티브 PDF 대 스캔 이미지를 PDF로 저장한 것 — 이 모든 것이 AI가 보는 내용을 바꿉니다. 네이티브 PDF에는 AI가 직접 읽을 수 있는 선택 가능한 텍스트가 포함되어 있습니다. 스캔된 PDF는 먼저 인식된 후 해석되어야 하는 텍스트 이미지입니다. 동일한 공급업체 송장이 한 달은 네이티브 PDF로, 다음 달은 스캔 이미지로 도착하면 내용이 동일하더라도 정확도가 달라집니다.

AI가 통제하는 요소 — 인식 계층:

• 템플릿 기반 vs 템플릿 없는 추출. 템플릿 기반 시스템은 고정된 위치에서 데이터를 찾습니다("송장 번호는 x:420, y:180 좌표에 있습니다"). 하지만 공급업체가 레이아웃을 자주 변경하면 실패합니다. LlamaIndex의 실제 송장 변동성 분석에서 이를 잘 보여줍니다. 템플릿 없는 AI는 의미적으로 읽습니다. 즉, '송장 #' 레이블 옆에 있는 값이 어디에 있든 송장 번호임을 이해합니다. 템플릿 기반 방식은 더 빠르고 저렴하지만 안정적인 형식에서만 작동합니다. 템플릿 없는 방식은 변동성을 처리하지만 페이지당 비용이 더 듭니다.
• OCR vs 비전-언어 모델. 기존 OCR은 이미지를 텍스트로 변환하지만 텍스트를 이해하지는 못합니다. 비전-언어 모델(VLM)은 사람처럼 문서를 읽습니다. 레이아웃을 보고, 의미적으로 관련된 필드를 이해하며, 다른 송장에서 '총 납부액'과 '지불 금액'이 같은 의미임을 압니다. 인쇄된 정형화된 송장의 경우 OCR만으로도 높은 정확도를 달성할 수 있습니다. 하지만 필기 메모, 겹친 도장, 다국어 콘텐츠, 불규칙한 레이아웃 등 OCR이 인식하지 못하는 요소가 포함된 송장의 경우, 95% 이상의 필드 수준 정확도를 달성하려면 VLM이 필요합니다.
• 공급업체별 학습. 반복할수록 정확도가 향상됩니다. Precoro의 설명에 따르면, 동일한 공급업체의 송장을 10~20건 처리한 후 AI 시스템은 해당 형식에 대한 신뢰할 수 있는 추출 패턴을 개발합니다. 새로운 공급업체의 첫 번째 송장은 90% 정확도로 추출될 수 있습니다. 동일한 공급업체의 20번째 송장은 98% 정확도로 추출될 수 있습니다. 이것이 '무작위 다양한 송장'에 대한 정확도 벤치마크가 안정적인 운영 환경에서의 정확도보다 낮은 이유이며, 5개의 테스트 송장으로 도구를 평가하는 팀이 3개월 운영 후에 보게 될 수치보다 낮은 수치를 기대해야 하는 이유입니다.

인보이스 유형별 정확도 — 깨끗한 PDF, 손글씨, 카본지, 혼합 형식에서 기대할 수 있는 수준

모든 인보이스가 동일하게 생성되는 것은 아니며, 모든 인보이스에 동일한 정확도 기대치를 적용하는 것은 도구를 잘못 평가하는 가장 빠른 방법입니다. 다음은 현재 기술적으로 달성 가능한 수준을 기준으로 한 인보이스 유형별 기대치입니다 — 공급업체 마케팅 주장이 아닙니다:

이 표에 관한 두 가지 중요한 주의사항. 첫째, 정확도는 배치 단위가 아닌 문서 단위입니다. 100개의 인보이스 배치에는 이상치가 포함됩니다 — 합계 바로 위에 QR 코드가 인쇄된 인보이스, 월 중간에 레이아웃을 변경한 공급업체 — 이러한 문서는 배치 평균보다 낮은 점수를 받습니다. 둘째, 정확도는 필드 간에 누적됩니다. 인보이스에 10개의 필드가 있고 각 필드가 독립적으로 정확할 확률이 98%라면, 10개 모두 정확할 확률은 대략 82%입니다 — 그리고 이는 일부 필드가 상호 의존적이라는 점(잘못된 PO 번호는 다른 모든 필드가 정확하더라도 3자 매칭을 실패하게 만듦)을 고려하기 전의 수치입니다.

직접 정확도 테스트 실행 방법 — 송장 20개, 오후 1개

공급업체의 정확도 주장은 타인의 송장을 기준으로 합니다. 신뢰할 수 있는 유일한 정확도 수치는 직접 측정한 값입니다. 다음은 오후 하나면 충분하며 실행 가능한 수치를 제공하는 실용적인 프로토콜입니다:

1단계: 송장 20개를 선정합니다. 가장 깔끔한 20개나 가장 최근 20개를 고르지 마세요. 대표성을 갖춘 표본을 선택하세요: 매달 처리하는 최다 거래량 공급업체 10개, 다양한 형식의 간헐적 공급업체 5개, 손글씨 주석이나 도장이 있는 3개, 과거에 문제를 일으킨 2개. 업무 흐름에 해당한다면 최소 1개의 다중 페이지 송장과 최소 1개의 비영어 송장을 포함하세요. 목표는 실제 송장 구성을 대표하는 표본이지, 엄선된 데모 세트가 아닙니다.

2단계: 기준 진실(Ground Truth)을 정의합니다. 각 송장에 대해 추출하려는 모든 필드 값을 수동으로 기록합니다: 송장 번호, 날짜, 마감일, 총액, 세액, 소계, 공급업체명, 구매 주문 번호, 그리고 모든 라인 항목 세부 정보(설명, 수량, 단가, 라인 합계). 스프레드시트에 작성하세요 — 행당 송장 1개, 열당 필드 1개입니다. 이것이 기준 진실입니다. 다른 사람이 20개 중 5개를 점검하여 기준 진실이 올바른지 확인하세요. 추출 결과를 측정하기 전에 기준 진실이 정확해야 합니다.

3단계: 추출을 실행합니다. 20개의 송장을 도구에 업로드하고, 기준 진실에서 정의한 것과 동일한 필드 이름을 지정합니다. 결과를 내보냅니다. 비교 전에 출력을 정리하거나 수정하지 마세요 — 이것이 테스트의 핵심입니다.

4단계: 필드별로 비교합니다. 각 송장에 대해 추출된 각 필드를 기준 진실과 비교합니다. 추출된 값이 기준 진실과 정확히 일치하면(동일한 형식, 동일한 내용) 해당 필드는 올바른 것입니다. "17,820" 대 "17820"은 다운스트림 처리에서 형식 차이를 처리할 수 있으면 올바른 것으로 간주합니다. 가져오기 실패를 유발한다면 잘못된 것으로 처리합니다. "2025년 1월 15일" 대 "2025-01-15" — 동일한 규칙을 적용합니다. 추적할 사항: 어떤 필드가 실패했는지, 어떤 송장 유형에서 발생했는지, 실패가 완전 누락(빈 필드), 부분 누락(잘못된 값), 또는 형식 불일치(올바른 값, 잘못된 형식)인지 여부입니다.

5단계: 필드 수준 정확도를 계산합니다. 필드 수준 정확도 = 올바르게 추출된 필드 수 ÷ 모든 송장의 총 필드 수. 20개의 송장에 각각 10개의 필드(총 200개 필드)가 있고 15개 필드가 잘못된 경우, 필드 수준 정확도는 92.5%입니다. 이것이 중요한 수치입니다. 또한 재현율(recall)을 계산하세요 — 추출되어야 했던 모든 필드 중 몇 퍼센트가 발견되었는가? (비어 있어서는 안 될 필드가 비어 있으면 재현율 실패입니다.) 그리고 정밀도(precision) — 추출된 모든 필드 중 몇 퍼센트가 올바른가?

"충분히 좋은" 수준이 언제인가 — 인보이스 규모별 정확도 기준

필요한 정확도는 처리 규모에 따라 달라집니다. 월 100건의 인보이스를 처리하는 경우, AP 담당자 1명이 추출된 모든 필드를 수동으로 검증할 수 있습니다. 따라서 85%의 정확도라도 상당한 시간을 절약해 줍니다. 담당자가 직접 입력하는 대신 검토만 하면 되기 때문입니다. 그러나 월 5,000건의 경우, 필드 수준 정확도 85%는 750건의 인보이스에 최소 하나 이상의 오류가 있음을 의미합니다. 팀이 이를 모두 검토할 수 없습니다. 놓친 오류는 그대로 지급으로 이어지고, 수정 비용은 추출로 절약한 비용보다 더 큽니다.

규모별 필드 수준 정확도 기준:

98% 점근선. 필드 수준 정확도가 98%를 넘어서면, 추가 개선에는 기하급수적인 투자가 필요합니다 — 더 나은 스캔 장비, 더 엄격한 공급업체 형식 요구사항, 통합 검증 규칙, 전담 예외 처리 담당자. 월 10,000장 이상의 인보이스를 처리하고 규제 준수 요구사항이 완벽에 가까운 정확도를 요구하지 않는 한, 99.5%를 추구하는 것은 거의 가치가 없습니다. 마지막 1.5% 정확도의 비용은 일반적으로 그것이 방지할 오류를 처리하는 비용을 초과합니다.

절대적인 수치를 달성하는 것보다 더 중요한 것은 올바른 방향으로 추세를 만드는 것입니다. 3개월 만에 필드 정확도를 88%에서 94%로 끌어올린 팀이 승리하고 있습니다. 페이지 수준 정확도 99%에 머물면서 필드의 20%가 틀린 팀은 패배하고 있습니다 — 그들은 잘못된 수치를 측정하고 있기 때문에 아직 그것을 모를 뿐입니다.

다른 도구를 구매하지 않고 정확도 개선하기

정확도가 예상보다 낮다면, 도구를 바꾸는 것이 첫 번째 해결책인 경우는 드뭅니다. 대부분의 정확도 문제는 도구에 입력되는 데이터와 데이터 요청 방식을 변경하여 개선할 수 있습니다 — 입력 측과 지시 측입니다. 이러한 변경은 비용이 들지 않으며 모든 추출 시스템에서 작동합니다.

입력 측 — AI가 보는 것을 개선하세요:

• 최소 300 DPI, 컬러로 스캔하세요. 이 한 가지만으로도 스캔된 인보이스의 필드 수준 정확도를 5-10% 포인트 높일 수 있습니다. 많은 AP 부서에서 파일 크기 문제로 150-200 DPI 흑백으로 스캔합니다. 파일 크기 차이(5MB 대 1MB)는 추출 오류를 수정하는 인건비에 비하면 무의미합니다.
• 기울기를 보정하고 곧게 펴세요. 인보이스가 기울어져 들어오면(휴대폰 사진과 빠른 스캔에서 흔함), AI는 페이지 형상을 회전하고 재해석해야 합니다. 기울기 보정된 이미지는 이러한 오버헤드를 제거합니다. 대부분의 스캐너 소프트웨어에는 자동 기울기 보정 기능이 포함되어 있습니다. 활성화하세요.
• 재스캔을 피하세요. 인쇄, 스캔, 이메일 전송, 재인쇄, 재스캔을 거친 인보이스는 모든 세대의 누적된 아티팩트를 담고 있습니다. 원본 디지털 PDF에 접근할 수 있다면 그것을 사용하세요. 1세대 문서는 항상 N세대 문서보다 추출 품질이 좋습니다.
• 다중 페이지 인보이스를 올바르게 분리하세요. 3페이지 인보이스의 1페이지가 업로드 중 2-3페이지와 분리되면, AI는 부분 문서를 보게 됩니다. 1페이지에 헤더가 있고 3페이지에 합계가 있을 수 있습니다. 파일을 단일 처리 단위로 결합하는 배치 업로드 도구는 이를 자동으로 처리합니다.

지시 측 — 데이터를 더 정확하게 요청하세요:

• 명시적 필드 이름을 사용하세요. "Invoice Number"는 "Inv #"보다 더 정확하게 추출됩니다. AI가 의미적으로 일치하는 라벨을 찾기 때문입니다. "Total Amount"는 "Total"보다 낫고, "Tax Amount"는 "Tax"보다 낫습니다. 모호한 이름은 AI가 어떤 필드를 의미하는지 추측하게 만들고, 추측은 오류를 발생시킵니다.
• 복잡한 필드를 원자 단위로 분리하세요. "Vendor Address"를 하나의 필드로 요청하는 대신 "Vendor Street," "Vendor City," "Vendor State," "Vendor ZIP"을 각각 요청하세요. AI는 한 필드가 끝나고 다음 필드가 시작되는 위치를 추측하는 대신 각 구성 요소를 정확하게 찾을 수 있습니다.
• 파생 값에는 열 이름 계산을 사용하세요. 문서에 세금이 포함된 "Total"이 표시되지만 인쇄되지 않은 세전 소계가 필요한 경우, "Subtotal (Total − Tax Amount)"와 같은 열 이름은 AI가 사용 가능한 데이터에서 누락된 필드를 계산하도록 지시합니다. 이는 AI가 라벨이 없는 값을 추측하도록 기대하는 것보다 더 안정적이며, 추출 실패(누락된 필드)를 성공(계산된 필드)으로 전환합니다.
• 공급업체 이름을 표준화하세요. 추출 도구가 과거 데이터에서 학습할 수 있다면, 동일한 공급업체에 대해 항상 동일한 공급업체 이름을 사용하세요. "Acme Corp", "Acme Corporation", "Acme Corp."는 패턴 매칭 시스템에서 서로 다른 세 공급업체입니다. 필드 이름과 참조 데이터의 일관성은 추출의 일관성을 향상시킵니다.

이러한 변경의 누적 효과는 공급업체 A와 공급업체 B의 기본 정확도 차이보다 더 큰 경우가 많습니다. 입력 품질과 필드 정의를 최적화하는 팀은 평범한 도구로 95%의 필드 정확도를 추출할 수 있습니다. 시중 최고의 도구에 원본 휴대폰 사진을 그대로 넣는 팀은 85%를 얻을 수도 있습니다. 도구도 중요하지만, 도구에 무엇을 어떻게 입력하는지가 더 중요합니다.

송장 구성에 적합한 추출 방식을 선택하는 데 도움이 필요하면 AI 송장 추출 도구 비교를 참조하세요. 수동 데이터 입력이 정확도를 그토록 중요하게 만드는 구조적 병목 현상이 된 더 큰 맥락은 AP 팀이 여전히 수동 송장 입력에 의존하는 이유에 대한 분석을 참조하세요.