LLM 판정 모델의 위양성
Table OCR 벤치마크에서

모든 테이블 OCR 점수는 판정 모델을 거칩니다

테이블 OCR 벤치마크 점수는 두 가지를 동시에 측정합니다. 파서와, 그 파서를 채점하는 점수 함수입니다.

결정적 지표는 파싱된 테이블을 참조 데이터와 고정된 방식으로 비교합니다. TEDS(Tree-Edit-Distance-based Similarity)는 두 테이블을 트리로 바꾸고 그 사이의 편집 횟수를 셉니다. 셀 수준 F1은 위치별로 값을 비교합니다. CER(character error rate)은 문자 삽입, 치환, 삭제를 셉니다. 각각은 재현 가능하고 저렴하며, 하나의 정규화 결정 위에 세워집니다. 대소문자를 구분하는지, 1,234.00이 1234와 같은지, 빈 셀이 빈 문자열과 같은지입니다.

LLM judge는 그 고정 규칙을 의미적 판단으로 대체합니다. 테이블 이미지와 파싱된 출력을 받아 내용, 구조, 서식이 보존되었는지 답합니다. 이는 문자열 지표가 벌하는 정당한 변형을 처리하는 동시에, 두 번째 오류 원인을 추가합니다. 판정 모델이 올바른 출력을 틀렸다고 표시할 수 있습니다.

판정 모델의 오류율은 논문이 보고하든 하지 않든 벤치마크의 일부입니다.

이 패턴은 LLM judge에만 국한되지 않습니다. 여덟 개 영수증 엔진을 자체 비교한 결과, CER과 필드 수준 F1이 같은 시스템들을 서로 반대 방향으로 순위 매겼습니다(문서 파싱에서 CER이 오해를 부르는 이유). 지표는 형태를 지닌 렌즈이며, 대부분의 보고서는 그중 하나만 설명합니다.

LLM 판정 모델이 테이블을 하나의 숫자로 바꾸는 방법

LLM 판정 모델은 수백 개의 셀 단위 판단을 하나의 결론으로 압축하며, 각 압축 단계마다 올바른 출력이 틀렸다고 표시될 수 있습니다.

먼저 매칭입니다. 어떤 파싱된 테이블이 어떤 참조 데이터 테이블에 대응하는지 결정해야 합니다. 파서는 하나의 테이블을 둘로 나누고, 둘을 하나로 합치며, 여러 열로 된 페이지에서 테이블 순서를 바꿉니다. 매칭 단계는 흔히 또 다른 모델 호출로 이루어지며 대응 관계를 선택합니다. 이 선택이 틀리면 판정 모델은 올바른 테이블을 잘못된 참조 데이터와 비교해 존재하지 않는 오류를 보고합니다. LLM 판정을 검증한 2026년 연구는 이 파이프라인을 명시적으로 구축했습니다(arXiv:2603.18652).

다음은 평가 기준입니다. 일반적인 판정 모델은 각 쌍마다 세 가지를 묻습니다. 셀 값이 맞는지, 구조가 맞는지, 서식이 맞는지. 일부 프롬프트는 세 개의 불리언을 반환하고, 다른 프롬프트는 0에서 10까지의 점수를 요구합니다. 어느 쪽이든 판정 모델은 "같은 테이블"의 의미를 결정하며, 그 결정은 어디에도 검사 가능한 형태로 기록되지 않습니다.

그다음은 집계입니다. 세 개의 불리언은 플래그 표시 여부로 축소됩니다. 0에서 10까지의 점수는 테스트 세트 전체의 평균으로 축소됩니다. 40행 테이블과 4행 테이블은 각각 하나의 숫자만 기여합니다. 누락된 행, 전치된 열, 열 배나 어긋난 합계가 모두 하나의 감점 단위가 됩니다.

위양성이 들어오는 지점

위양성은 다섯 가지 특정 지점에서 들어오며, 각각은 서로 다른 종류의 잘못된 숫자를 만들어냅니다.

첫 번째 진입점에는 문서화된 해법이 있습니다. 독일의 OCR 조정 프로젝트인 OCR-D는 비교에 앞서 채점 규칙을 정의합니다. 명시적인 정답 데이터 전사 수준, Unicode NFC 정규화, 정규화된 CER입니다(OCR-D 품질 보증 명세). 그 전사 지침은 인쇄 오류를 교정하지 않는다고 덧붙입니다. 충실성에는 그것도 포함되기 때문입니다(OCR-D 정답 데이터 지침). LLM judge는 두 결정을 호출마다 프롬프트 안에서 내리며, 버전 관리되는 규칙집이 없습니다.

구조도 같은 모양새입니다. TEDS는 HTML 트리를 채점하므로, 사람이 같은 표라고 부를 두 인코딩이 서로 다른 트리를 만들 수 있습니다. GriTS 논문(2023)은 부분 점수 지표가 인기를 얻은 이유 중 하나가 정답 데이터 노이즈에 덜 민감하기 때문이라고 지적합니다(arXiv:2203.12555). 정답 데이터 노이즈를 흡수하는 지표는 실제 오류도 흡수하는데, 이는 연구에는 합리적인 절충이지만 구매 결정에는 위험한 절충입니다.

이 결정들은 각각 따로 보면 정당화할 수 있습니다. 그러나 합쳐지면 점수는 파서의 출력만큼이나 판정 모델의 선호도를 반영하는 함수가 됩니다.

정밀도와 재현율의 절충은 판정 모델의 몫입니다

판정 모델을 더 엄격하게 조여 손상된 표를 더 많이 잡아내면 위양성률이 올라가고, 낮은 오류율에서는 위양성률이 곧 보고하는 숫자가 됩니다.

판정 모델에는 두 가지 관련 속성이 있습니다. 진양성률(TPR)은 실제로 손상된 출력 중 판정 모델이 표시한 비율입니다. 위양성률(FPR)은 올바른 출력 중에서도 판정 모델이 표시한 비율입니다. 벤치마크 용어로 정밀도는 표시된 표 중 실제로 틀린 비율이고, 재현율은 틀린 표 중 표시된 비율입니다. 두 비율이 일정하다면 보고되는 오류율은 다음과 같습니다.

보고 오류율 = FPR + 실제 오류율 × (TPR − FPR)

TPR 95퍼센트, FPR 8퍼센트인 판정 모델을 대입해 봅니다. 이 숫자들은 특정 벤치마크가 아니라 공식에서 나온 것입니다.

이 가정 아래에서 99퍼센트 정확한 파서가 91.1퍼센트로 발표됩니다. 99퍼센트와 95퍼센트 파서의 순위는 여전히 유지되지만, 격차는 4포인트에서 3.5포인트로 줄어듭니다. 절대 숫자는 판정 모델의 노이즈 하한에 실제 오류율을 압축한 값입니다.

순서는 FPR이 일정할 때만 유지되며, 그것이 일정하다고 가정할 근거는 거의 없습니다. 밀집한 테이블은 4개 셀짜리 테이블보다 판정 모델이 문제 삼을 셀이 더 많고, 레이아웃 관행은 문서 유형마다 다르므로 이 비율은 문서 구성에 따라 달라집니다. 단순 테이블에서 FPR 5퍼센트, 복잡한 테이블에서 15퍼센트라면, 복잡한 테이블에 더 강한 파서가 단순 테이블에 더 강한 파서에게 질 수 있습니다. 순위가 조용히 뒤집힙니다.

이 트레이드오프는 파서의 속성이 아니라 설정입니다. 주입된 모든 오류를 잡도록 조정된 벤치마크는 높은 재현율로 작동하며 위양성을 감수합니다. 프로덕션 게이트는 보통 정밀도에 맞춰 조정되며 놓친 오류를 감수합니다. 팀이 벤치마크 점수를 개선하고도 프로덕션에서 동일한 예외율을 볼 수 있습니다.

프로덕션 팀은 이미 이 레버를 관리합니다. 신뢰도 임계값은 정밀도와 재현율을 움직이며, 그 임계값이 검토 큐의 크기를 결정합니다(문서 자동화 예외율). 판정 모델의 작동점 없이 단일 점수만 보고하는 벤치마크는 같은 선택을 숨깁니다.

평가를 운영하는 한 엔지니어가 r/mlops 스레드에서 이 루프를 설명했습니다. 판정 모델은 문구 변경에 일관성이 없고, "더 긴 답변에 편향되어" 있으며, 정답 데이터가 틀렸다고 표시한 출력을 합리화하고, 보정은 "위양성이 줄어들기를 바라며 프롬프트 규칙 위에 프롬프트 규칙을 쌓는" 일이 된다고 했습니다(r/mlops).

증거가 실제로 보여주는 것

LLM 판정 모델은 어떤 문자열 지표보다 인간 판단을 더 잘 따라가며, 훈련된 인간보다 서로 더 잘 일치합니다. 바로 이 부분을 조심해서 다뤄야 합니다.

현재 가장 강력한 증거는 1,500건 이상의 인간 평가를 포함한 2026년 테이블 파싱 연구입니다(arXiv:2603.18652). LLM 판정 모델은 인간 점수와 r = 0.93으로 상관관계를 보였고, TEDS는 0.68, GriTS는 0.70이었습니다. 테이블을 아예 놓친 파서를 제외하면 TEDS는 나머지를 0.66에서 0.88로 압축했는데, 이는 자체 척도의 약 22퍼센트에 해당하며, LLM 점수는 5.75에서 9.55까지 분포했습니다. 의미 기반 판정은 결정론적 지표가 평평하게 만든 차이를 되살렸습니다.

그 연구는 경고도 함께 보고했습니다. 선두 판정 모델들은 서로 0.93에서 0.95로 상관관계를 보였는데, 이는 인간 주석자들의 0.81에서 0.91보다 높습니다. 저자들은 이를 공유된 LLM 사전 지식이라고 설명하며, 정답 데이터가 아니라 노이즈가 적은 합의로 읽어야 한다고 말합니다. 판정 모델 간의 일치는 판정 모델이 옳다는 증거가 아닙니다. 그들이 사각지대를 공유한다는 증거일 수 있습니다.

판정 모델에 주어지는 참조 데이터는 오류율을 크게 바꿉니다. 2026년 분석에 따르면, 올바른 참조 데이터가 없으면 판정 모델은 주로 스스로 답할 수 있는 질문에서만 전문가와 일치하며, 인간이 작성한 참조 데이터는 위양성과 위음성을 모두 줄입니다. 약간 틀린 참조 데이터는 아예 없는 것보다 나쁠 수 있습니다(arXiv:2503.05061). MT-Bench 연구는 2023년에 호환되는 결과에 도달했습니다. 수학 질문에서 기본 판정 프롬프트는 20건 중 14건의 잘못된 판정을 냈고, 참조 데이터를 활용한 프롬프트는 3건을 냈습니다(arXiv:2306.05685). 같은 연구는 위치 편향과 장황성 편향도 문서화했습니다.

참조 데이터가 있는 판정 모델은 비교합니다. 없는 판정 모델은 질문에 다시 답하고 자기 답에 점수를 매깁니다.

더 강력한 판정 모델로도 망가진 평가를 고치는 경우는 드뭅니다. 편향이 바뀔 뿐, 구조는 그대로입니다. 효과가 있는 것은 참조 데이터, 작성된 평가 기준, 그리고 판정 모델 자체의 측정된 오류율입니다.

판정 모델의 수치를 신뢰하기 전에 감사하는 방법

파서의 점수를 묻기 전에, 구조적으로 정답인 출력에 대한 판정 모델의 위양성률을 먼저 요구하십시오.

판정 모델이 아니라 공급업체를 평가하는 경우에는 이 정확도 테스트 프로토콜(정확도 테스트 프로토콜)을 사용하여 그들의 테스트 세트에 동일한 논리를 적용하십시오.

다시 실행할 수 없는 공개된 수치의 경우, 네 가지 질문이면 대부분의 답에 도달합니다. 어떤 판정 모델, 모델 버전, 프롬프트가 이 수치를 만들었습니까? 정답 출력에 대한 그 판정 모델의 위양성률은 얼마입니까? 오류율은 셀당, 필드당, 테이블당입니까? 그리고 모든 오류가 동일하게 가중됩니까? 테스트 세트는 실제로 처리하는 문서 유형에서 추출한 것입니까?

LLM 판정 모델이 적합한 도구일 때

여러 출력이 정당하게 정답인 경우에는 판정 모델을, 답이 하나뿐인 경우에는 결정적 검사를 사용합니다.

적합한 경우: 출력 형식 간 의미적 동등성, 읽기 순서, 회귀 실행의 분류, 쌍별 비교입니다. 두 출력 중 어느 것이 더 나은지 묻는 것이 하나가 정답인지 묻는 것보다 더 안정적인데, 판정 모델이 절대적 기준 대신 구체적인 대조를 가지기 때문입니다.

부적합한 경우: 별도의 산술 검사가 없는 숫자 합계, 구매를 결정하는 점수 차이, 판정 모델 버전 간의 종단 추적, 감사자가 검증해야 하는 주장입니다.

문자열 지표와 판정 모델 사이에 세 번째 선택지가 있습니다. olmOCR 2는 연속 편집 거리를 이진 단위 테스트로 대체했는데, 각 테스트는 페이지에 대한 하나의 검증 가능한 사실을 주장합니다. 연속 점수가 항상 정확도를 반영하지는 않기 때문입니다(arXiv:2510.19817). 단위 테스트는 결정적이며 하나 이상의 유효한 인코딩을 허용할 수 있습니다. 누군가 작성한 사실만 검사하므로, 테스트 설계가 새로운 판단의 영역이 되며 테스트 파일에서 확인할 수 있습니다.

결정적 측면에도 같은 규율이 필요합니다. 여덟 개의 영수증 엔진은 비용, CER, 필드 F1에서 서로 다르게 순위가 매겨지며, 그 순위 중 어느 것도 틀리지 않았습니다(traditional OCR vs document-parsing VLMs). 실수는 하나의 축만 보고하고 그것을 정확도라고 부르는 것입니다.

어떤 도구를 사용하든 두 가지 숫자를 공개합니다. 점수와 판정 모델의 위양성률입니다. 둘 다 보고하는 벤치마크는 검증 가능한 주장을 합니다.

같은 기준이 자신의 파일에도 적용됩니다. 점수가 충분히 좋다고 판단하기 전에 셀 샘플을 원본과 비교합니다. 각 셀 뒤의 원본 영역을 강조하는 검토 레이어가 있으면 이 확인이 빨라집니다.

자주 묻는 질문

LLM judge가 내 테이블에 대해 틀렸는지 어떻게 알 수 있나요?

점수만으로는 알 수 없습니다. 정답이 구조적으로 정해지는 데이터셋을 만들고, judge가 그 쌍을 얼마나 자주 거부하는지 측정하고, 각 거부마다 근거가 된 셀과 원문 텍스트를 지목하도록 요구해야 합니다.

LLM judge의 정상적인 위양성률은 얼마인가요?

공개된 기준선은 없습니다. 이 비율은 모델, 평가 기준, 문서 유형, 그리고 평가 기준이 서식에 대해 얼마나 많이 묻는지에 따라 달라집니다. 깨끗한 테이블의 5퍼센트를 표시하는 judge와 20퍼센트를 표시하는 judge 모두 서로 다른 용도에서는 맞을 수 있습니다.

더 나은 테이블 파서가 왜 벤치마크에서 더 낮은 점수를 받나요?

파서가 가장 강한 문서에서 judge의 위양성률이 더 높을 수 있습니다. 또한 파서가 참조 데이터와 다른 인코딩을 사용할 수도 있습니다. 예를 들어 헤더 셀이 분리되어 있거나 HTML 대신 Markdown을 쓰는 경우입니다. 아니면 매칭 단계에서 잘못된 테이블과 짝지어졌을 수도 있습니다.

테이블 추출에는 TEDS와 LLM judge 중 무엇을 써야 하나요?

결정이 중요한 사안이라면 둘 다 보고하세요. TEDS는 저렴하지만 동등한 인코딩을 감점합니다. LLM judge는 사람의 판단에 더 가깝지만 자체 감사가 필요합니다. 두 지표의 불일치는 여러분의 사례가 어떤 실패 모드를 중요하게 여기는지 알려줍니다.

테이블 OCR 벤치마크는 계속 LLM judge를 사용할 것입니다. 대안은 다른 인코딩을 썼다는 이유로 올바른 테이블을 감점하는 문자열 지표이기 때문입니다. 이제 유용한 질문은 judge를 쓸지 여부가 아닙니다. 벤치마크가 파서를 측정하기 전에 judge를 측정했는지 여부입니다.

문서 샘플에서 추출 정확도 확인하기