전체 테이블 추출은
포장된 정리 문제

"이미지를 표로"가 실제로 제공하는 것

이미지-표 변환 도구는 이름 그대로 작동합니다. 이미지나 PDF 안의 표를 감지하고, 행과 열 구조를 재구성한 다음, 찾은 모든 셀을 스프레드시트로 출력합니다. 규칙 기반 레이아웃 분석, OCR과 휴리스틱, 또는 비전-언어 모델 등 어떤 기술을 쓰든 목표는 하나입니다: 모든 것을 캡처하는 것입니다.

이것은 올바른 목표처럼 들립니다. 문서에서 데이터가 필요하다면, 왜 전부를 원하지 않겠습니까? 답은 몇 번 사용해보면 드러납니다: 대부분의 문서 데이터는 특정 워크플로에 관련이 없습니다. 송장에는 40~60개의 개별 텍스트 필드가 있을 수 있지만, AP 시스템에 필요한 것은 8개 정도입니다. 은행 명세서에는 15개의 거래 메타데이터 열이 있을 수 있지만, 조정에 필요한 것은 5개뿐입니다. 구매 주문서 라인 항목 표는 20개 열에 걸쳐 있을 수 있지만, 조달이 추적하는 것은 4개입니다.

전체 표 추출은 모든 데이터 포인트를 동등한 우선순위로 처리합니다. 바닥글의 페이지 번호가 송장 합계와 같은 주의를 받습니다. "1/3 페이지" 헤더 텍스트가 공급업체 이름과 동일한 위상으로 스프레드시트에 들어갑니다. 도구는 사용자가 무엇을 필요로 하는지 알지 못합니다 — 사용자가 알려준 적이 없기 때문에 알 수 없습니다.

이것이 바로 "이미지를 표로"라는 비유 자체가 오해를 불러일으키는 이유입니다. 이는 문제를 페이지에 있는 것을 재현하는 것으로 규정하지만, 실제 비즈니스 문제는 페이지에서 중요한 것을 분리하는 것입니다. 이 둘은 완전히 다른 작업이며, 첫 번째를 해결한다고 두 번째가 해결되지는 않습니다.

표 추출에 관한 학술 연구는 이러한 간극을 반영합니다. 질문 응답을 위한 표 추출에 관한 UMass Amherst의 2006년 논문은 "전체 표를 검색하는 것이 사용자의 정보 요구를 충족시키는 데 거의 도움이 되지 않는 경우가 많다"고 지적했습니다 — 실제 목표는 표 자체가 아니라 질문에 답하는 특정 셀입니다. 거의 20년이 지났지만, 대부분의 추출 도구는 여전히 이 차이를 내재화하지 못하고 있습니다.

사용자 정의 열 추출: 출력을 먼저 정의한 후 추출

사용자 정의 열 추출 — 의미 기반 필드 추출 또는 의도 기반 추출이라고도 함 — 은 작업 흐름을 반전시킵니다. 모든 것을 추출한 후 필터링하는 대신, AI가 문서를 읽기 전에 대상 열을 정의합니다. 원하는 필드 이름 — "송장 번호", "공급업체명", "마감일", "총 금액" — 을 입력하면 AI는 해당 값만 찾아내고 페이지의 다른 모든 것은 무시합니다.

이는 단순한 작업 흐름 조정이 아닙니다. 완전히 다른 추출 패러다임입니다:

패러다임 전환은 위치 기반 추출에서 의미 기반 추출로의 변화입니다. 전체 테이블 도구는 "B4 셀에 뭐가 있지?"라고 묻고 — 레이아웃이 바뀌면 B4는 다른 내용을 담게 됩니다. 사용자 정의 열 도구는 "이 문서의 송장 합계는 얼마인가?"라고 묻고 — 오른쪽 상단, 왼쪽 하단, 또는 테이블 행에 숨겨져 있든 찾아냅니다. 위치는 중요하지 않습니다. 의미가 중요합니다.

직접 비교: 어떤 접근법이 언제 적합한가

두 접근법 중 선택은 보편적이지 않습니다. 추출 대상과 출력 활용 방식에 따라 달라집니다. 시나리오별 분석은 다음과 같습니다:

패턴은 명확합니다: 전체 테이블 추출은 테이블 자체가 답일 때 유리합니다. 사용자 정의 열 추출은 테이블이 답을 포함하고 있을 때 유리합니다. 대부분의 비즈니스 문서 워크플로는 두 번째 범주에 속합니다.

후처리 세금: 정리 작업이 추출 속도보다 중요한 이유

모든 이미지-표 변환 도구 데모는 깔끔하고 즉시 사용 가능한 스프레드시트를 보여줍니다. 데모 문서는 신중하게 선택됩니다 — 명확한 테두리, 병합된 셀 없음, 여러 줄 헤더 없음, 불필요한 워터마크가 없는 잘 정리된 표입니다. 실제 문서는 그렇지 않습니다.

OpenNews 연구진이 실제 문서를 대상으로 표 추출 도구를 테스트했을 때, 최고의 도구조차도 복잡한 표의 경우 상당한 수동 작업이 필요한 결과물을 생성한다는 사실을 발견했습니다. GPT-4 Vision의 경우 "동일한 추출 프롬프트를 실행할 때마다 크게 다른 결과를 얻었습니다." 그들의 결론: 지저분한 입력에 대한 신뢰성이 데모용 도구와 실제 운영 도구를 가르는 기준입니다.

이제 전체 표 추출기로 50개의 문서를 처리하는 상황을 생각해보세요. 각 문서는 약간씩 다른 열 구조를 생성할 수 있습니다 — 한 송장에는 "배송비" 열이 있고, 다른 송장에는 "수수료"가 있으며, 또 다른 송장은 세금을 "GST"와 "PST"로 나눕니다. 50개의 출력 스프레드시트는 수동 정렬 없이는 병합할 수 없습니다. 추출 단계는 자동화되었지만, 통합 단계는 여전히 수동입니다.

사용자 정의 열 추출은 이러한 작업 범주를 완전히 제거합니다. 출력 스키마를 미리 정의했기 때문에 — "송장 번호, 공급업체명, 소계, 세금, 합계" — 모든 문서가 동일한 대상에 대해 처리됩니다. 특정 필드가 없는 문서는 해당 셀을 비워둡니다. 50개 문서의 출력은 동일한 열을 가진 하나의 깔끔한 스프레드시트로, 즉시 분석하거나 회계 시스템으로 가져올 수 있습니다.

시간 절약 효과는 볼륨에 따라 누적됩니다. 5개 문서 배치의 경우 정리 차이는 10분 정도일 수 있습니다. 200개 문서의 월간 AP 실행의 경우 몇 시간이며, 이 시간은 매월 발생합니다. 1년 동안 전체 표 추출의 후처리 세금은 인건비 측면에서 도구 자체 비용을 초과할 수 있습니다.

전체 테이블 추출이 적합한 경우

트레이드오프에 대해 솔직해지는 것이 중요합니다. 전체 테이블 추출이 나쁜 방법은 아닙니다. 대부분의 비즈니스 문서 워크플로에는 부적합하지만, 특정 시나리오에서는 확실히 더 나은 선택입니다.

1. 전체 테이블이 최종 결과물인 경우. 인쇄된 통계 보고서, 연구 논문의 결과 테이블, 또는 모든 데이터 포인트가 하류에서 중요한 규제 서류를 디지털화하는 경우, 전체 테이블 추출은 완전한 그림을 보존합니다. 필터링이 필요하지 않습니다. 테이블의 완전성 자체가 가치입니다.

2. 반복 패턴이 없는 일회성 작업. 단일 문서에서 단일 테이블만 추출하고 해당 형식을 다시 만나지 않을 경우, 사용자 정의 열을 정의하는 데 시간을 들이는 것은 비용 대비 효과가 없습니다. 전체 테이블 도구를 사용해 데이터를 가져오고, 한 번 정리한 후 넘어가십시오.

3. 무엇이 필요한지 아직 모르는 탐색적 분석. 미리 정의된 워크플로를 위해 추출하는 것이 아니라, 문서 내용을 탐색하여 무엇이 중요한지 결정하는 경우가 있습니다. 전체 테이블 추출은 탐색할 원자재를 제공합니다. 사용자 정의 열 추출은 시작하기 전에 대상을 알아야 합니다.

4. 문서 형식이 매우 단순하고 일관된 경우. 모든 문서가 동일한 테이블 구조로 단일 시스템(예: 단일 ERP의 기계 생성 보고서)에서 제공되고 모든 열이 실제로 필요한 경우, 전체 테이블 추출이 작동합니다. 하지만 이 시나리오는 대부분이 생각하는 것보다 드뭅니다. 동일한 공급업체의 두 송장조차도 항목 구조가 다를 수 있습니다.

자주 묻는 질문

전체 테이블 추출 후 필요 없는 열을 그냥 삭제하면 안 되나요?

그렇게 할 수 있습니다. 그리고 대부분의 사람들이 정확히 그렇게 합니다. 문제는 이 수동 단계가 확장 가능한지 여부입니다. 하나의 스프레드시트에서 20개의 불필요한 열을 삭제하는 데는 30초가 걸립니다. 각 공급업체의 송장 레이아웃이 달라 열 구조가 다른 80개의 스프레드시트를 처리하는 데는 몇 시간이 걸립니다. 사용자 정의 열 추출은 처음부터 해당 열을 추출하지 않음으로써 이 단계를 완전히 제거합니다.

AI가 요청한 필드를 놓치면 어떻게 되나요?

해당 셀은 출력에서 빈 상태로 남습니다. 모든 행은 동일한 열 구조를 유지하므로 데이터가 어긋나지 않지만, 특정 셀에만 값이 없습니다. 출력을 샘플 확인하고 누락된 몇 개의 값을 수동으로 채울 수 있으며, 이는 수백 개의 불필요한 값을 수동으로 삭제하는 것보다 훨씬 빠릅니다. 인쇄된 잘 정리된 문서의 경우 필드 수준 정확도는 90%를 초과합니다.

다른 공급업체가 동일한 필드에 다른 용어를 사용하는 경우 맞춤형 열 추출이 작동하나요?

네 — 바로 여기서 의미론적 접근 방식이 빛을 발합니다. 한 공급업체는 필드를 "SKU"라고 표시하고, 다른 업체는 "Part Number", 또 다른 업체는 "Item Code"라고 표시합니다. AI는 이 세 가지가 모두 동일한 개념을 가리킨다는 것을 이해하고, 별도의 동의어 설정 없이 각각을 "Item Code" 열에 매핑합니다. 출력 열 이름을 한 번만 정의하면 AI가 입력의 차이를 처리합니다.

전체 테이블 추출이 문서당 맞춤형 열 추출보다 더 빠른가요?

종종 그렇습니다 — 전체 테이블 추출은 일반적으로 문서 수준에서 더 빠르게 처리됩니다. 필드 의미에 대해 의미론적으로 추론할 필요가 없기 때문입니다. 하지만 "추출 속도"만 따로 측정하는 것은 의미가 없습니다. 중요한 지표는 업로드부터 사용 가능한 스프레드시트까지의 시간이며, 여기에는 모든 정리 작업이 포함됩니다. 이 지표에서 맞춤형 열 추출은 배치 및 다중 형식 워크플로우에서 훨씬 더 빠릅니다.

전체 테이블 추출의 정리 단계를 자동화할 수 있나요?

모든 문서의 출력이 일관된 구조를 가진다면 열 삭제 및 이름 변경을 스크립트로 처리할 수 있습니다. 하지만 실제로는 문서 형식이 다르면 열 개수, 순서, 이름이 달라집니다. 수십 개의 공급업체 형식에 걸쳐 정리 스크립트를 작성하고 유지 관리하는 것은 곧 소프트웨어 유지 관리 프로젝트가 됩니다. 이는 템플릿 기반 추출이 빠지는 함정과 동일합니다. 새 형식이 추가될 때마다 유지 관리 비용이 증가합니다.

계약 조항이나 양식 필드와 같은 비테이블 데이터 추출은 어떻게 하나요?

전체 테이블 추출은 테이블이 없는 문서를 처리할 수 없습니다. 감지할 그리드가 없기 때문입니다. 맞춤형 열 추출은 테이블 구조를 찾는 대신 의미론적으로 필드 값을 검색하므로 모든 문서에서 작동합니다. 계약서, 양식, 인증서, 신분증 — 추출 가능한 정보가 있는 모든 문서에 맞춤형 열 추출이 적용됩니다.

결론

"이미지를 표로"라는 카테고리 명칭 자체가 문제입니다. 이는 문서 데이터 추출을 재현 문제로 규정합니다. 즉, 페이지의 내용을 스프레드시트로 복사하는 것입니다. 하지만 이것이 실제 비즈니스 문제인 경우는 드뭅니다. 실제 문제는 분리입니다. 즉, 사람이 읽도록 설계된 문서에서 중요한 특정 데이터 포인트를 추출하여 기계가 처리할 수 있는 구조로 제시하는 것입니다.

사용자 정의 열 추출은 전체 표 추출 위에 추가된 기능이 아닙니다. 이는 근본적으로 다른 접근 방식입니다. 즉, 원하는 출력부터 시작하여 거꾸로 작업하는 방식으로, 문서부터 시작하여 출력이 사용 가능하기를 바라는 방식이 아닙니다. 대규모로, 다양한 형식에 걸쳐, 또는 정의된 다운스트림 시스템을 위해 문서를 처리하는 모든 사람에게 이러한 차이는 학술적인 것이 아닙니다. 이는 배치당 몇 시간의 정리 작업, 연간 수백 시간으로 측정됩니다.

직접 문서로 테스트해 보십시오. 송장 배치를 업로드하고, 실제로 필요한 열 이름을 지정한 후, 업로드부터 사용 가능한 스프레드시트까지의 시간을 전체 표 도구와 비교해 보십시오. 추출 속도 차이는 있다 해도 중요하지 않습니다. 중요한 것은 AI가 작업을 마쳤을 때 여러분의 작업이 끝났는지, 아니면 이제 시작인지입니다.