세금 양식 OCR, 박스별로 읽는다 — 각 레이블과 정확한 값을 매칭
세금 양식은 필드 레이블을 그리드 셀에 흩어 놓습니다. W-2의 Box 1에는 "임금, 팁, 기타 보상", Box 2에는 "연방 소득세 원천징수액", Box 3에는 "사회보장 임금"이 있습니다. 각 박스는 테두리와 공백으로 분리된 작은 정보 섬입니다. 기존 OCR은 읽기 순서(위에서 아래로, 왼쪽에서 오른쪽)로 텍스트를 출력하여 인접한 박스의 레이블과 다른 박스의 값이 섞인 평면적인 스트림을 생성합니다. 읽기 순서 텍스트만으로는 "45000.00"이 Box 1에 속하는지 Box 3에 속하는지 알 수 없습니다. 저희 Vision AI는 각 박스를 레이블이 지정된 컨테이너로 읽습니다. Box 1의 "임금, 팁, 기타 보상" 레이블이 그 아래 숫자와 쌍을 이루고, Box 2의 "연방 소득세 원천징수액"이 그 아래 숫자와 쌍을 이룬다는 것을 이해합니다. 읽기 순서 스캔이 어떤 박스를 먼저 만나든 상관없이 말이죠.
암호화 처리 · 변환 후 자동 데이터 삭제
세금 양식에서 추출할 수 있는 정보
필요한 열 이름을 입력하세요. AI는 각 상자를 레이블이 지정된 컨테이너로 읽어 모든 세금 양식에서 해당 값을 찾습니다. 읽기 순서를 따르지 않습니다. Box 1부터 Box 20까지 두 개의 나란히 있는 열로 구성된 W-2, 페이지 전체에 레이블이 지정된 상자가 있는 1099-NEC, 또는 Part I과 Part II 섹션이 있는 W-9 등, AI는 각 레이블을 올바른 값에 공간적으로 매핑합니다. 템플릿 설정이 필요 없습니다. AI가 각 상자 레이블의 의미를 이해하기 때문에 동일한 열 이름이 여러 양식에서 작동합니다.
이 도구는 사용자 정의 열 추출 방식을 사용합니다. "Box 1 임금", "Box 2 연방 원천징수세", "납세자 이름", "SSN/EIN"과 같은 열 이름을 입력하면, AI가 각 박스의 레이블과 내용을 공간 단위로 읽어 일치하는 값을 찾습니다. 동일한 열 이름은 W-2(2열 그리드의 Box 1~20), 1099-NEC(단일 열 레이아웃의 레이블 박스), W-9(파트 I의 이름, 사업체명, TIN), 1099-MISC(임대료, 로열티, 기타 소득 행)에서도 작동합니다. AI는 픽셀 위치가 아닌 각 박스 내부의 레이블을 읽기 때문에 양식별 템플릿이 필요 없습니다. 또한 계산 열을 정의할 수 있습니다. 예를 들어 "사회보장 임금 상한 확인(Box 3 - 임금 기준 한도)"을 설정하면, AI가 추출 중 차이를 계산하여 Box 3가 연간 임금 상한을 초과하는 행에 플래그를 표시하므로, 급여 처리 전에 과다 원천징수를 발견할 수 있습니다.
각 세금 양식 박스는 라벨이 붙은 컨테이너 — 기존 OCR은 컨테이너를 무시하고, 읽기 순서는 짝을 파괴합니다
W-2 양식에는 20개의 번호가 매겨진 박스가 두 개의 나란한 열로 배열되어 있습니다. 박스 1("임금, 팁, 기타 보상")은 왼쪽 상단에, 박스 2("연방 소득세 원천징수액")는 그 아래에, 박스 3("사회보장 임금")은 박스 1 오른쪽 두 번째 열에 있습니다. 기존 OCR은 위에서 아래로, 왼쪽에서 오른쪽으로 스캔하여 박스 1의 라벨, 같은 행 다른 열의 박스 3 라벨, 박스 1의 값, 박스 3의 값을 출력합니다. 즉, 어떤 값이 어떤 라벨과 짝을 이루는지에 대한 정보 없이 네 개의 텍스트 조각이 읽기 순서대로 나열됩니다. 사람은 박스 테두리가 라벨과 값을 그룹화하기 때문에 알 수 있지만, OCR에는 공간적 그룹화 개념이 없습니다. 급여 실행에서 나온 200장의 W-2 더미를 처리할 때, 뒤섞인 라벨-값 쌍을 수동으로 바로잡는 작업은 자동 추출의 시간 절약 효과를 무효화합니다. 이는 인식 정확도 문제가 아닙니다. OCR이 모든 문자를 올바르게 읽었기 때문입니다. 이는 레이아웃 이해 문제입니다. 시스템이 박스에서 텍스트를 추출했지만, 어떤 텍스트가 어떤 박스에 속하는지 알지 못한 것입니다.
읽기 순서 기반 텍스트 추출은 W-2를 단일 열의 단어 묶음으로 처리하여, 각 숫자가 어떤 박스에 속하는지 알 수 없게 만듭니다. 일반적인 W-2는 Box 1과 Box 3이 같은 가로줄에 있고, 그 아래 Box 2와 Box 4가 있습니다. 읽기 순서는 위쪽 줄을 왼쪽에서 오른쪽으로 스캔합니다. 즉, Box 1 레이블, 바로 이어서 Box 3 레이블, 그다음 Box 1 값, Box 3 값 순서로 만나게 됩니다. 예를 들어 "Wages tips other compensation 45000.00 Social security wages 30000.00 Federal income tax withheld 5000.00 Social security tax withheld 1860.00"과 같은 형태가 됩니다. 읽기 순서 스트림에서 45000.00 값은 해당 레이블 "Wages tips other compensation"과 인접하지 않습니다. 그 사이에 Box 3의 레이블이 페이지상에 위치하기 때문입니다. 출력된 스프레드시트는 각 값을 올바른 필드에 연결할 신뢰할 수 있는 방법이 없습니다. 값의 짝짓기는 추출 순서에 따라 달라지며, 이 순서는 박스 그룹이 아닌 픽셀 위치에 의해 결정됩니다.
주(state) 수준의 박스들이 문제를 더욱 악화시킵니다. 동일한 양식에 최대 4개의 추가 박스가 각자의 공간적 배치를 가지고 있습니다. 연방 박스 아래, W-2에는 일반적으로 Box 15(주/고용주 주 ID 번호), Box 16(주 임금, 팁 등), Box 17(주 소득세), Box 18(지역 임금, 팁 등)이 포함됩니다. 이 박스들은 연방 섹션과 동일한 인접 박스 레이아웃의 그리드로 배열됩니다. W-2의 모든 20개 박스를 읽기 순서 OCR로 처리하면 레이블, 값, 헤더 텍스트 등 약 60개의 텍스트 조각이 박스 그룹 정보 없이 평평한 문자열로 생성됩니다. 15개 이상의 달러 금액 중 어떤 것이 15개 이상의 박스 중 어디에 속하는지 재구성하려면 모든 W-2에 대해 원본 양식을 일일이 대조해야 합니다. 500개의 W-2를 처리하는 급여 제공업체의 경우, 500개 양식 × 15개 이상의 수동 확인 = 데이터를 사용할 수 있게 되기 전에 7,500번의 검증 단계가 필요합니다.
이것은 인식 정확도 문제가 아닙니다. OCR이 모든 숫자를 올바르게 읽었지만, 잘못된 박스에 할당한 것입니다. W-2 테스트에서 개별 숫자에 대해 99%의 문자 인식 정확도를 보일 수 있습니다. $45,000.00, $5,000.00, $30,000.00, $1,860.00, $30,000.00, $435.00 — 모든 숫자가 정확합니다. 하지만 Box 1의 $45,000이 스프레드시트의 Box 3 열에 들어가고, Box 2의 $5,000이 Box 4에 들어간다면, 추출된 모든 숫자가 정확했음에도 불구하고 해당 직원의 집계된 급여 데이터는 4개의 개별 세금 계산에 걸쳐 모두 잘못됩니다. 오류는 읽기가 아니라 짝짓기에 있습니다. 그리고 스프레드시트가 여전히 그럴듯해 보이기 때문에(숫자 열에 숫자가 있음), W-2/W-3 조정이 실패하거나 직원이 신고된 임금에 이의를 제기할 때까지 오류가 검토 단계에서 살아남습니다.
Vision AI는 각 박스를 레이블이 있는 컨테이너로 읽습니다. 박스 안의 레이블이 그 안의 숫자가 무엇을 나타내는지 정의합니다. AI가 W-2를 처리할 때, Box 1을 공간 단위로 식별합니다. 즉, "Wages, tips, other compensation"이라는 레이블과 그 아래 달러 금액이 포함된 테두리 영역입니다. 레이블과 값을 같은 컨테이너에 속하므로 짝지어 읽습니다. 그런 다음 Box 2를 자체 레이블("Federal income tax withheld")과 자체 값을 가진 별도의 공간 단위로 식별합니다. AI가 읽는 순서가 아닌 컨테이너별로 그룹화하기 때문에, 왼쪽에서 오른쪽으로 스캔할 때 Box 1과 Box 3 중 어느 것이 먼저 나타나든 상관없습니다. Box 1 테두리 안에 있는 레이블은 Box 1 값의 레이블임이 명확하기 때문입니다. 양식의 모든 박스는 자체 레이블-값 쌍을 가지므로, "Box 1 Wages" = $45,000.00, "Box 2 Fed Tax Withheld" = $5,000.00, "Box 3 Social Security Wages" = $30,000.00과 같이 양식의 다중 열 레이아웃과 관계없이 모두 올바르게 짝지어진 구조화된 출력이 생성됩니다.
사용자 정의 열 추출을 사용하면 필요한 박스를 정확히 지정할 수 있습니다. AI는 사용자의 열 이름을 양식에서 읽은 박스 레이블과 일치시킵니다. "Box 1 Wages", "Box 2 Fed Tax Withheld", "Box 3 Social Security Wages", "Box 4 SS Tax Withheld", "Box 5 Medicare Wages", "Box 6 Medicare Tax", "State Wages", "State Tax"와 같은 열을 정의합니다. AI는 양식에 있는 각 박스 안의 레이블을 읽고, 이를 사용자의 열 이름과 비교하여 일치하는 값을 채웁니다. 동일한 배치에서 W-2와 함께 1099-NEC 양식을 처리하는 경우, AI는 1099의 "Nonemployee compensation" 박스를 읽고 적절한 열에 매핑하거나, 일치하는 레이블이 없으면 해당 행의 W-2 관련 열을 비워둡니다. 이는 템플릿 기반이 아닌 레이블 기반 추출입니다. 열 이름이 원하는 것을 정의하고, AI가 각 양식에서 일치하는 박스를 독립적으로 찾습니다.
양식 템플릿이 아닌 박스 레이블이 데이터 추출을 주도하기 때문에, 교차 양식 일괄 처리가 가능합니다. W-2 50장, 1099-NEC 30장, W-9 20장이 포함된 배치를 업로드하세요. "납세자 이름", "SSN/EIN", "Box 1 임금", "Box 2 연방 원천징수세"를 한 번만 정의하면 됩니다. AI가 각 양식의 박스를 읽고, 열 이름과 일치하는 항목을 찾아 데이터를 채웁니다. W-2는 모든 임금 및 원천징수 열을 채웁니다. 1099-NEC는 이름과 SSN/EIN 열, 그리고 정의한 일치하는 소득 필드를 채우고, W-2 특정 박스 열은 비워둡니다. W-9는 이름과 SSN/EIN 열만 채우고 모든 박스 열은 비워둡니다. 추출이 템플릿 간 매핑이 아닌 레이블 간 매칭이기 때문에, 동일한 배치 내 세 가지 양식 유형 모두에 하나의 열 정의가 적용됩니다. 출력은 모든 양식의 추출 데이터가 올바르게 짝지어진 하나의 Excel 파일로, 급여 또는 회계 시스템에 바로 사용할 수 있습니다.
W-2, 1099, W-9 급여 실행을 한 번에 박스별로 추출하는 방법
업로드 — 연말 모든 세금 양식을 그대로, 사전 분류 없이
연말 세금 양식을 한 번에 모두 업로드하세요: 급여 시스템에서 50개의 W-2(디지털 PDF, 일부는 다른 주에 있는 직원들을 위해 4개의 주 단위 박스 포함), 독립 계약자용 30개의 1099-NEC 양식(일부는 디지털 생성, 일부는 계약자가 우편으로 보낸 종이 사본 스캔), 온보딩 중 수집한 20개의 W-9(필기 및 타이핑 양식 혼합, 스캔 품질 다양). 양식 유형별 사전 분류 불필요, 주 박스가 있는 W-2와 없는 W-2 분리 불필요, 다중 주 W-2를 개별 파일로 나누기 불필요. AI가 모든 양식을 함께 처리합니다 — 각 양식의 각 박스는 레이블이 지정된 컨테이너로 독립적으로 읽힙니다. 동일한 W-2에 캘리포니아용 Box 15–17과 뉴욕용 Box 15–17이 모두 입력된 경우, AI는 두 주 데이터 세트를 별도의 레이블 그룹으로 추출합니다.
열 정의 — 추출할 박스 레이블과 검증 열
급여 스프레드시트의 열 이름을 입력하세요: 양식 유형, 과세 연도, 납세자 이름, SSN/EIN, Box 1 임금, Box 2 연방 원천징수세, Box 3 사회보장 임금, Box 4 사회보장세 원천징수, Box 5 메디케어 임금, Box 6 메디케어 세금, 주 임금, 주 세금. 그런 다음 검증 열을 추가하세요: 사회보장세율 확인 (Box 4 ÷ Box 3; ≠ 6.2%면 불일치 출력), 메디케어 세율 확인 (Box 6 ÷ Box 5; ≠ 1.45%면 불일치 출력). TIN이 번진 필기 W-9의 경우, AI는 읽을 수 있는 숫자를 추출하고 불확실한 문자를 표시합니다 — 해당 필드를 검토하세요. P.O. Box 주소가 있는 계약자의 1099-NEC의 경우, AI는 주소를 그대로 주소 필드에 추출합니다. 캘리포니아와 뉴욕 주 박스가 모두 있는 W-2의 경우, AI는 각 주 섹션의 "주 임금" 및 "주 소득세" 레이블을 읽어 주 임금 및 주 세금 열로 추출합니다 — 주 약어를 컨텍스트로 제공하여 어떤 행이 어떤 주에 해당하는지 알 수 있습니다.
출력 — 하나의 스프레드시트, 모든 박스가 올바른 레이블과 짝지어짐, 검증 열이 이미 실행됨
각 행이 하나의 세금 양식(W-2, 1099-NEC 또는 W-9)을 나타내는 Excel 파일을 다운로드하세요. 모든 추출된 박스 값이 올바른 열에 배치됩니다. Box 1 임금은 Box 1 열에, Box 2 연방 소득세 원천징수는 Box 2 열에, Box 3 사회보장 임금은 Box 3 열에 — AI가 각 박스를 레이블이 있는 컨테이너로 읽었기 때문에 모든 레이블이 해당 값과 올바르게 짝지어집니다(읽기 순서 텍스트 스트림이 아님). 계산 열이 이미 실행되었습니다: SS 요율 확인 열은 Box 4 ÷ Box 3이 6.2%인 행에 대해 "OK"를 표시하고, 그렇지 않은 행에는 불일치 값을 표시합니다. 메디케어 요율 확인 열은 Box 6 ÷ Box 5에 대해 1.45%로 동일한 작업을 수행합니다. 원천징수가 예상 요율과 일치하지 않는 모든 양식은 검토 대상으로 표시됩니다 — 해당 행을 확인한 후 전체 배치를 급여 시스템으로 가져오거나 회계사에게 보내면 읽기 순서 추출로 인해 박스-값 짝이 섞이지 않았음을 확신할 수 있습니다.
박스별 추출이 가장 효과적인 경우와 확인이 필요한 경우
세금 양식 추출은 표준 IRS 및 이에 준하는 양식에서 매우 신뢰할 수 있습니다. Vision AI가 공간 그룹화에 의존하는 박스 경계를 흐리게 하는 몇 가지 조건이 정확도에 영향을 미칩니다.
안정적인 데이터 추출
IRS 표준 양식(번호가 매겨진 박스) — W-2, W-3, W-4, 1099 시리즈(NEC, MISC, INT, DIV, R), W-9, 1040, Schedule C, Schedule K-1. 박스 라벨이 명확하고 경계가 뚜렷하여 라벨-값 쌍이 정확하게 추출됩니다.
급여 소프트웨어(ADP, Gusto, QuickBooks Payroll, Paychex) 및 세무 소프트웨어(TurboTax, H&R Block)에서 생성된 디지털 PDF — 깨끗한 디지털 출력으로 모든 박스 라벨과 값이 기계 인쇄되어 거의 완벽하게 추출됩니다.
필기체가 읽기 쉬운 수기 W-9 및 W-4 양식 — AI가 라벨이 있는 박스 내의 필기체를 읽고, 필기된 값을 박스의 인쇄된 라벨과 매칭합니다.
혼합 양식 유형의 일괄 처리 — W-2, 1099, W-9가 동일 배치에 포함되며, 하나의 스프레드시트로 출력됩니다. 각 양식은 해당 박스 라벨과 일치하는 열에 데이터를 채웁니다.
다음 사례 확인 필요
심하게 복사되거나 여러 번 복사된 문서에서 상자 테두리가 거의 보이지 않는 경우 — AI는 상자 테두리를 사용하여 공간을 그룹화합니다. 테두리가 없으면 AI는 레이블 근접성 휴리스틱에 의존하게 되며, 이는 명시적 컨테이너 그룹화보다 신뢰도가 낮습니다. 중요 급여 데이터의 경우 가능하면 원본 양식을 스캔하세요.
수정된 W-2 양식(W-2c)에서 원본 값과 수정된 값이 모두 표시되는 경우 — AI는 두 값이 모두 보이면 두 세트를 모두 추출합니다. 수정된 값에 대해 명시적인 열 이름(예: "Box 1 Wages Corrected")을 정의하고 원본 값과 교차 참조하여 수정 사항이 정확히 캡처되었는지 확인하세요.
국제 세금 등가 양식 — 캐나다 T4, 영국 P60, 호주 PAYG 지급 요약, 독일 Lohnsteuerbescheinigung — AI는 동일한 레이블 기반 접근 방식을 사용하여 상자 값을 추출할 수 있지만, 상자 번호와 레이블이 크게 다릅니다. 처음 몇 개의 추출 결과를 원본 양식과 대조하여 열 이름이 각 국가의 레이블 규칙에 올바르게 매핑되는지 확인하세요.
계산된 열 비율 확인(사회보장세 6.2%, 메디케어 1.45%)은 산술 검증입니다 — 추출된 Box 4 ÷ Box 3이 예상 비율과 일치하는지 확인하지만, 급여세 계산 또는 규정 준수 검토를 대체하지는 않습니다. 이 확인은 추출 오류(숫자 오독, 상자 혼동)를 잡아내지만, 세법에 따라 올바른 세금이 원천징수되었는지 여부를 판단하지는 않습니다.
자주 묻는 질문
박스별 추출 방식이 일반 OCR과 세금 양식에서 어떻게 다른가요?
일반 OCR은 읽기 순서(위에서 아래로, 왼쪽에서 오른쪽)대로 텍스트를 읽어 연속된 문자열로 출력합니다. W-2 양식에서 Box 1과 Box 3이 같은 행에 있는 경우, 기존 OCR은 Box 1 레이블, Box 3 레이블, Box 1 값, Box 3 값 순서로 인식하여 서로 다른 박스의 레이블과 값이 뒤섞인 결과를 만듭니다. 박스별 추출은 Vision AI를 사용하여 각 박스를 공간적 컨테이너로 읽습니다. Box 1의 테두리 영역을 식별하고, 그 안의 레이블("임금, 팁, 기타 보상")과 값($45,000)을 읽어 짝지은 후, Box 2, Box 3 등에도 동일한 방식으로 적용합니다. 각 박스는 페이지의 컬럼 레이아웃과 관계없이 깔끔한 레이블-값 쌍을 생성합니다. 결과적으로 Box 1 임금은 항상 $45,000이며, 읽기 순서상 다른 박스의 값이 $30,000이더라도 혼동되지 않습니다.
W-2, 1099, W-9 양식을 한 번에 일괄 처리할 수 있나요?
네. W-2, 1099-NEC, 1099-MISC, W-9 등 다양한 세금 문서를 단일 배치로 업로드할 수 있습니다. 열 이름을 한 번 정의하면 AI가 각 양식의 박스를 읽고 일치하는 열을 자동으로 채웁니다. W-2는 모든 임금, 원천징수, 주 세금 열을 채우고, 1099-NEC는 이름, SSN/EIN, 비직원 보상 필드를, W-9는 이름, 사업자명, TIN, 주소 필드를 채웁니다. 각 양식 유형은 레이블이 일치하는 박스의 열만 채우므로, 출력 스프레드시트는 양식당 한 행씩 생성되며 양식 유형별로 필터링하여 W-2와 1099를 다른 다운스트림 워크플로우로 분리할 수 있습니다. 이 기능은 연말에 단일 과세 연도의 모든 세금 양식을 한 세션에서 처리할 때 특히 유용합니다.
AI가 W-4, W-9 같은 손글씨 세금 양식을 처리할 수 있나요?
네, 가능합니다. 당사의 Vision AI는 정형화된 양식의 손글씨를 학습하여, 라벨이 있는 박스 안의 이름, 주민등록번호(SSN), 고용주식별번호(EIN), 주소, 금액을 읽을 수 있습니다. AI는 박스를 공간적 컨테이너로 인식하여, W-9 양식의 Box 1에 있는 손글씨는 이름(Part I, 1번 항목)이고, TIN 섹션의 손글씨 숫자는 SSN 또는 EIN임을 파악합니다. 양식에 인쇄된 라벨은 필드의 정체성을, 손글씨 내용은 값을 제공합니다. 정확도는 손글씨 가독성에 따라 달라집니다: 또박또박 쓴 블록체와 숫자는 안정적으로 추출됩니다. 필기체 서명, 지나치게 장식된 글씨체, 번짐 또는 젖은 잉크는 해당 필드의 정확도를 낮출 수 있습니다. TIN의 경우 한 자리만 잘못 읽어도 문제가 되므로, 계산된 열(Computed Columns)을 사용하여 예상 자릿수(≠ 9)나 형식 패턴과 다른 SSN을 즉시 검토하도록 플래그를 지정하세요.
주(state) 세금 항목이 여러 개인 W-2는 각 주 데이터가 따로 추출되나요?
네, 그렇습니다. W-2에 두 개 주의 세금 정보가 있는 경우(예: 첫 번째 주 행에 캘리포니아, 두 번째에 뉴욕), AI는 각 주 섹션을 별도의 라벨이 지정된 컨테이너 그룹으로 읽습니다. 캘리포니아의 Box 15(주), Box 16(주 임금), Box 17(주 소득세)이 하나의 그룹을 형성하고, 뉴욕의 동일한 Box들이 두 번째 그룹을 형성합니다. AI는 두 세트를 모두 추출하여 주 식별자를 보존합니다. 출력에서 "주 임금"과 "주 세금"을 열 이름으로 정의한 경우, AI는 찾은 모든 값을 출력합니다. 출력 시 양식당 한 행을 정의하는 것을 권장합니다. 주별 분석이 필요하다면, W-2를 두 번 처리하여 더 구체적인 열 이름(예: "CA 주 임금", "NY 주 임금")을 사용하거나 Google Sheets 애드온을 사용하여 주별 데이터를 별도 시트에 추가할 수 있습니다. 대부분의 급여 워크플로에서는 모든 주 데이터를 라벨이 지정된 열이 있는 단일 행으로 추출하여 주 신고서의 총액과 대조하는 것으로 충분합니다.
직원의 세금 데이터(주민등록번호, 임금, 원천징수)는 안전한가요?
모든 파일 전송은 TLS 1.3 암호화를 사용합니다. 문서는 격리된 세션에서 처리되며 변환 후 24시간 이내에 서버에서 자동 삭제됩니다. 주민등록번호, 사업자등록번호, 임금 및 원천징수 금액을 포함한 세금 데이터는 AI 모델 학습에 사용되지 않으며 처리 기간 이후에는 보관되지 않습니다. 추출된 Excel 파일은 사용자 기기로 직접 다운로드되며, 추출 결과를 저장하지 않습니다. 민감한 직원 데이터를 관리하는 급여 제공업체 및 회계 법인의 경우, 이 아키텍처는 업로드된 데이터가 처리 완료 후 서버에서 삭제되며, 유일한 영구 사본은 사용자 시스템에만 남도록 보장합니다.