광업 문서 추출은
시추 기록 구간에서 무너집니다

하나의 시추공 데이터베이스 뒤에는 다섯 가지 기록이 있습니다

시추 프로그램은 누구든 광체를 모델링하기 전에 다섯 가지 기록 유형을 만들어내며, 이들 모두를 한 역할이 담당하지는 않습니다. 이러한 분업 구조 때문에 페이지에서는 완벽하게 읽히는 값이 데이터베이스에 잘못 들어오기도 합니다.

시추 기록은 시추기에서 종이 또는 로깅 앱으로 시료 구간을 결정하는 곳입니다. 분석 성적서는 제출된 배치당 하나의 PDF로 실험실에서 돌아오며, 시료 ID, 원소 열, 단위, 검출 한계, 그리고 해당 배치에 삽입된 대조 시료가 포함됩니다. QA/QC 보고서는 배치의 사용 가능 여부를 결정하는 차트를 담고 있습니다. 기술 보고서는 투자자를 위해 결과를 다시 서술하며, 환경 또는 허가 기록은 규제 기관을 위해 동일한 표 논리를 따릅니다.

시추 기록은 무엇을 시료 채취했는지 결정합니다. 분석 성적서는 실험실이 무엇을 발견했는지 결정합니다. 두 문서의 시료 번호가 일치하지 않으면 어느 문서도 틀리지 않았지만 해당 행은 여전히 사용할 수 없습니다.

동일한 패턴이 조달 단계에서도 나타나며, 여기서는 계근표 티켓과 중량 증명서가 정산에 사용됩니다. 이 문서 집합은 고유한 필드 논리를 가지며, 대량 조달을 위한 계근표 티켓 데이터 추출 가이드에서 다룹니다.

시추공 데이터베이스는 단 하나의 형태만 받아들입니다

지질 소프트웨어는 시추 데이터를 네 개의 테이블에 저장하며, 모든 문서는 이 중 하나로 축소되어야 합니다: 칼라, 검층, 구간, 이벤트. 칼라 테이블은 공 ID, 좌표, 표고, 총 심도를 담습니다. 검층 테이블은 공 내 심도, 경사, 방위각 판독값을 담습니다. 구간 테이블은 두 심도 사이에서 측정된 모든 것을 담으며, 분석값과 암상이 여기에 속합니다. 이벤트 테이블은 단일 심도 관측값을 담습니다.

Micromine은 이 구조를 네 가지 파일 유형으로 문서화하며, Datamine, Leapfrog, Maptek, acQuire에서도 벤더가 테이블을 무엇이라 부르든 동일한 배열이 나타납니다. 구간 테이블은 공 ID, from과 to라는 세 개의 필드로 키가 지정됩니다. 칼라를 찾지 못하는 분석 행은 불완전한 행이 아닙니다. 모델에도, 모델 위에 구축된 모든 것에도 보이지 않습니다.

그래서 추출된 스프레드시트는 스테이징 테이블입니다. 스테이징은 문서가 말한 내용을 담습니다. 로딩은 지질 팀이 합의한 스키마, 코드, 검증 규칙을 적용합니다. 스테이징을 건너뛰는 파일은 워크플로를 자동화한 것이 아니라, 완성된 것처럼 보이는 테이블을 페이지와 대조해야 하는 사람에게 재작업을 떠넘긴 것입니다.

기록은 네 곳에서 깨집니다

네 개의 필드가 행이 여정을 무사히 통과할지 결정합니다: 공 ID, from과 to 쌍, 단위와 검출 한계, 그리고 기록을 성적서와 연결하는 시료 번호입니다.

공 ID와 그 변형

동일한 시추공이 시추 기록에는 DDH-24-001로, 분석 성적서 헤더에는 DDH24-001로, 과거 요약 자료에는 24-001로 나타나며, 시추공이 웨지된 곳마다 A 또는 B 접미사가 붙습니다. Leapfrog는 이를 중복 공 ID 또는 칼라 테이블에 없는 공 ID로 보고하며, 어떤 변형이 표준인지 누군가 결정하기 전까지 그 뒤의 구간은 표시될 수 없습니다. 이 결정은 데이터베이스 지질학자의 몫이며, 한 번 올바르게 내리기는 쉽지만 마흔 번 잘못 내리기도 쉽습니다.

From과 to

구간은 서로 겹쳐서도, 총 심도를 넘어서도, 역방향으로 진행되어서도 안 됩니다. Datamine의 검증 노트에 따르면 1미터를 초과하는 겹침은 대개 데이터 입력 오류인데, 이는 누군가 위 행의 심도를 입력했다는 뜻을 완곡하게 표현한 것입니다. 다음 페이지로 이어지는 표도 흔한 원인입니다. 마지막 행이 헤더로 반복되어 데이터로 읽히면서 바로 앞 구간을 중복하는 구간이 생깁니다.

단위와 검출 한계

실험실은 단위를 열 헤더에 한 번만 인쇄하고, 결과가 검출 한계 미만일 때는 부등호를 인쇄합니다. 두 관행 모두 단순한 추출을 깨뜨립니다. 금 값 <0.005를 0.005로 입력하면 품위를 과대평가하고, 0으로 입력하면 모든 평균을 끌어내리며 로그 스케일로 표시할 수 없는 0이 됩니다. 단위는 문제를 더 복합적으로 만드는데, 금은 같은 수치에 대해 ppm과 g/t로 보고되며(1 g/t는 1 ppm과 같음) 구리는 퍼센트와 ppm 사이를 10,000배 계수로 오가기 때문입니다. 단위를 잃은 열은 다른 열과 안전하게 결합할 수 없는 열입니다.

시료 번호와 성적서 번호

시료 번호는 시추 기록의 구간과 성적서의 값을 연결하는 유일한 고리입니다. 또한 실험실과 회사가 갈리는 지점이기도 한데, 실험실이 의뢰처의 번호와 별도로 자체 내부 번호를 사용할 수 있고, 재분석 후 성적서가 재발급될 수 있기 때문입니다. 성적서 번호가 행과 함께 이동하지 않으면 대체된 결과를 찾아 교체할 수 없어, 두 버전이 모두 로드되고 그중 하나가 조용히 승리합니다.

검증은 구조를 잡고 값을 놓칩니다

가져오기 검증은 구조적 오류 유형을 잡아내고 값 오류 유형에 대해서는 아무 말도 하지 않습니다. 그래서 깨끗한 가져오기가 올바른 가져오기는 아닙니다.

구간 중복, 뒤집힌 구간, 누락된 칼라, 시추공 끝을 넘어선 심도는 모두 테이블만으로 탐지할 수 있으며, 주요 모델링 패키지가 가져오기 시 이를 확인합니다. 품위를 1.24 대신 1.42로 입력하면 아무런 경고도 나오지 않습니다. 유효한 구간 안에, 유효한 공 ID 아래에 자리 잡고 있으며, 열의 다른 모든 숫자와 똑같이 보입니다. 이를 찾는 유일한 방법은 셀을 원본 페이지와 비교하는 것이며, 이것이 바로 검증의 법적 정의가 설명하는 내용입니다.

이 비교가 비용이 많이 드는 부분이며, 이를 수행하는 사람들은 이를 전환 프로젝트라고 부릅니다. 한 r/geology 스레드는 "지금까지 여러 회사를 거쳤는데, 모두 종이 기록을 디지털로 전환하려고 애쓰고 있었습니다"로 시작합니다. 브리티시컬럼비아 지질조사소는 400건 이상의 평가 보고서로 구축한 시추공 데이터베이스를 발표했으며, 여기에는 6,000개 이상의 시추공, 80,000개의 시료, 1,300개의 분석 성적서에서 추출한 380만 개의 측정값이 포함되어 있습니다. 이는 성적서당 약 60개의 시료, 시료당 약 47개의 원소 결과에 해당하므로, 성적서 하나는 수천 개의 셀로 이루어진 넓은 테이블입니다. 그들의 파이프라인은 스테이징된 스프레드시트에 대해 60개 이상의 검증 검사를 실행했고, 그래도 신뢰도가 낮은 문자는 사람이 눈으로 비교하도록 원본 문서로 되돌려 보냈습니다.

60개의 자동 검사로는 1.24가 1.42가 되었다는 사실을 알려주지 않습니다. 원본 페이지와의 비교만이 알려줍니다.

이 지점에서 수동 입력이 더 저렴한 선택이기를 그칩니다. 마감 압박 속에서 필드 수준의 입력 오류가 어떻게 레코드 수준 오류로 누적되는지에 대한 계산이 필요하다면, OCR과 수동 데이터 입력 비교에서 같은 형태의 문서 세트를 통해 이를 다룹니다.

기술 보고서는 다른 추출 문제입니다

기술 보고서는 이미 존재하는 데이터베이스를 다시 서술한 것이므로, 그 표를 추출하면 기록의 원본이 아니라 요약의 요약을 얻게 됩니다.

세 제도는 같은 지점으로 수렴합니다. NI 43-101은 자격을 갖춘 사람이 데이터를 검증했는지, 어떻게, 어떤 한계와 함께 검증했는지에 대한 서면 진술을 요구하며, 그 양식은 검증 단계와 해당 데이터가 사용 목적에 적합한지에 대한 QP의 의견을 묻습니다. JORC 코드 2012의 Table 1은 적격 전문가에게 원시 데이터, 데이터 입력 절차, 데이터 검증 및 저장 프로토콜을 문서화하고 분석 데이터에 대한 모든 조정을 논의하도록 요구합니다. SEC 규정 S-K 1300은 제3자 전문가가 제공한 정보에 대한 책임을 면할 수 없는 자격을 갖춘 사람이 날짜를 기재하고 서명한 기술 보고서 요약을 요구합니다.

함께 읽어 보면, 이러한 요구 사항은 이름이 있는 사람이 서명하는 것으로 끝나는 사슬을 설명합니다. 기술 보고서 추출은 실사, 경쟁사의 공개된 교차 구간을 자체 광구와 비교하는 작업, 그리고 보고서 표가 요약한다고 주장하는 데이터베이스와 일치하는지 확인하는 데 유용합니다. 하지만 데이터베이스를 재구축하는 방법으로는 좋지 않습니다. 그 표들은 인쇄되기 전에 집계되고 반올림되고 필터링되었기 때문입니다.

추출 레이어가 보존해야 하는 것

추출 단계의 임무는 하나입니다. 셀을 페이지로 추적할 수 있고 다시 입력하지 않고도 스테이징에 넣을 수 있는 행을 만드는 것입니다.

ImageToTable.ai는 맞춤 열 추출을 통해 이를 수행합니다. 원하는 열 이름을 입력하면 AI가 필드의 위치가 아니라 의미를 이해하여 페이지 어디에서든 일치하는 값을 찾아내므로, 레이아웃이 다른 성적서도 같은 열을 채웁니다. 입력한 이름은 출력 표의 헤더가 되므로, 스키마와 일치하는 스테이징 테이블로 가는 가장 빠른 경로는 스키마 자체의 필드 이름을 그대로 복사하는 것입니다: Hole ID, Sample ID, From (m), To (m), Au (ppm), Certificate No.

성적서 폴더를 하나의 배치로 업로드하면 하나의 표가 반환되며, 성적서 번호가 열에 담겨 재발급된 결과도 찾을 수 있습니다. 다중 페이지 병합은 추적된 열을 기준으로 결과를 그룹화하므로, 구간 표가 두 번째 페이지로 이어지는 시추 기록은 두 개의 무관한 표가 아니라 하나의 공 ID 아래 연속된 구간 집합으로 돌아옵니다. 계산 열은 To에서 From을 뺀 구간 길이, To가 From보다 크지 않을 때 그 차이를 반환하는 조건부 검사, 그리고 퍼센트를 ppm으로 변환할 때의 10,000과 같은 고정 계수에 대한 단위 변환을 처리합니다.

검토 모드는 모든 셀 뒤에 있는 원본 페이지의 정확한 영역을 강조 표시하므로, 두 문서 사이를 스크롤할 필요 없이 셀당 클릭 한 번으로 검증할 수 있습니다. 인쇄된 표 데이터는 최대 99퍼센트까지 인식되며, 페이지는 사람이 입력하는 데 걸리는 몇 분이 아니라 몇 초 만에 처리됩니다. 빽빽한 필기, 흐릿한 카본 복사본, 회전된 스캔본은 더 높은 처리 티어의 비용을 정당화하는 경우이며, 또한 검증이 가장 중요한 경우이기도 합니다.

가져오기까지 살아남는 워크플로

다섯 단계이며, 첫 번째 단계는 업로드 전에 이루어집니다.

다른 산업 문서 유형 전반에 걸쳐 추출 플랫폼을 비교하고 있다면, 제조 문서로 테스트한 추출 도구 리뷰에서 템플릿 기반, 학습 기반, 비전 모델 접근 방식이 실제 필드 수준 정확도에서 어떻게 다른지 다룹니다.

지질학자, 데이터베이스 관리자, QP가 맡는 부분

추출은 판단이 시작되는 지점에서 끝나며, 추출이 하지 않는 일의 목록은 하는 일의 목록보다 깁니다.

지질을 해석하거나, 암석 코드가 올바른지 판단하거나, 시추공의 경로를 계산(desurvey)하거나, 표준시료와 중복시료에 대한 편향 및 정밀도 같은 QA/QC 통계를 산출하거나, 배치의 수용 여부를 결정하지 않습니다. acQuire, Datamine, Micromine, Leapfrog, Maptek에 가져오거나, 자원량을 추정하거나, NI 43-101, JORC, S-K 1300 준수 자문을 제공하지도 않습니다. 성적서 번호가 출력에 포함되어 사람이 비교하지 않는 한, 어떤 성적서가 이전 성적서를 대체한다는 사실을 알지 못합니다.

남는 것은 서명이 따르는 부분입니다. 시추 기록과 성적서 사이의 불일치를 해결하는 데이터베이스 지질학자, 구간을 해석하는 자원 지질학자, 데이터를 검증하고 책임을 명시하는 자격을 갖춘 사람 또는 적격 전문가입니다.

자주 묻는 질문

1970~80년대 손으로 쓴 시추 기록도 읽을 수 있습니까?

대개 가능하지만, 검토를 생략할 만큼 안정적이지는 않습니다. 엔진은 인쇄체, 필기체, 흘림체, 표, 체크박스를 처리하며, 더 높은 처리 티어는 빽빽한 필기를 개선합니다. 손으로 고친 타자 기록, 흐릿한 복사본, 회전된 페이지가 어려운 사례이므로, 원본 페이지와 대조해 확인할 셀의 비중을 더 크게 잡으십시오.

<0.005 같은 값은 어떻게 처리해야 합니까?

부등호를 포함해 인쇄된 그대로 추출하고, 대체값 결정은 규칙을 문서화할 수 있는 데이터베이스 안에서 하십시오. 추출 단계에서 0.005나 0으로 변환하면, 그 표에서 계산되는 모든 평균에 영향을 주는 결정이 숨겨집니다. 검출 한계를 별도 열에 담아 두면 그 결정을 감사 가능하게 유지할 수 있습니다.

acQuire, Datamine 또는 Leapfrog에 직접 쓸 수 있나요?

아니요. 출력은 Excel, CSV, JSON 또는 Word이며, 지질 데이터베이스로의 가져오기는 데이터베이스 지질학자가 소프트웨어 자체의 가져오기 및 검증 도구를 통해 수행합니다. API는 구조화된 JSON을 자체 시스템으로 전송할 수 있지만, 필드 매핑과 검증 규칙은 여전히 여러분의 데이터베이스에 속합니다.

NI 43-101 기술 보고서의 표를 추출해야 하나요?

검토, 비교 및 실사 목적이라면 그렇습니다. 그 표들은 집계되고 필터링된 요약이므로, 데이터베이스를 구축하거나 재구축하는 것이 목표일 때는 분석 성적서와 시추 기록을 대체하기에 부족합니다. 주장을 확인하기 위해 추출하되, 자원량 추정에 공급될 표를 채우기 위해서는 추출하지 마십시오.

분석 성적서에서 어느 정도의 정확도를 기대할 수 있나요?

인쇄된 표 데이터는 최대 99퍼센트까지 인식되며, 정확도는 데이터베이스의 정확성과 같지 않습니다. 열 이름이 스키마와 일치하지 않으면 값이 올바르게 읽히더라도 잘못된 열에 들어갈 수 있습니다.

추출이 자동화되면 데이터베이스 지질학자가 여전히 필요한가요?

그렇습니다. 어떤 공 ID 변형이 표준인지, 배치가 QA/QC를 통과하는지, 검출 한계 미만 값이 어떻게 처리되는지, 무엇이 어떤 순서로 로드되는지를 누군가는 결정해야 합니다. 추출은 그러한 결정에 앞서는 타이핑을 줄여줄 뿐, 결정을 대신하지는 않습니다.

업계는 지난 10년간 기계가 페이지를 읽는 방식을 개선해 왔지만, 읽기는 프로젝트가 지연되는 이유가 되는 경우가 드뭅니다. 결과를 결정하는 것은 더 작고 더 따분한 것입니다. 각 구간 행이 성적서에서 사용한 것과 동일한 공 ID, 동일한 from과 to, 동일한 단위, 동일한 시료 번호로 데이터베이스에 도달하는지 여부입니다. 이것만 제대로 하면 모델링 소프트웨어, QA/QC 검토, 자격을 갖춘 사람 모두가 탄탄한 기반 위에서 작업할 수 있습니다.