Mining Document Extraction
Breaks at the Drill Log Interval

1つの掘削孔データベースの背後には5種類の記録がある

掘削プログラムでは、誰かが鉱床をモデル化できるようになる前に5種類の記録が生成され、それらのすべてを1つの役割が担うわけではありません。この分離があるため、ページ上では完璧に読み取れた値でも、データベースに届くときには誤っていることがあります。

掘削記録は、試料インターバルが決定される場所であり、掘削現場で、紙またはロギングアプリ上で行われます。分析証明書は、提出されたバッチごとに1つのPDFとしてラボから返され、試料ID、元素列、単位、検出限界、およびそのバッチに挿入された管理試料が含まれます。QA/QCレポートには、バッチが使用可能かどうかを判断するチャートが含まれます。テクニカルレポートは投資家向けに結果を再掲し、環境または許可記録は規制当局向けに同じ表の論理に従います。

掘削記録は何を試料採取したかを決定します。分析証明書はラボが何を検出したかを決定します。この2つが試料番号で一致しない場合、どちらのドキュメントも誤っていませんが、その行は依然として使用できません。

同じパターンは、計量所チケットと重量証明書が決済に使用される調達の下流でも見られます。このドキュメントセットには独自の項目論理があり、バルク調達向けの計量所チケットデータ抽出のガイドで説明しています。

掘削孔データベースが受け入れる形は1つだけ

地質ソフトウェアは掘削データを4つのテーブルに格納し、すべてのドキュメントはそのいずれかに還元される必要があります。カラー、検測、インターバル、イベントの4つです。カラーテーブルは孔ID、座標、標高、総深度を保持します。検測テーブルは孔内の深度、傾斜、方位の測定値を保持します。インターバルテーブルは2つの深度間で測定されたすべてを保持し、分析値や岩相がここに入ります。イベントテーブルは単一深度の観察を保持します。

Micromineはこの構造を4つのファイルタイプとして文書化しており、Datamine、Leapfrog、Maptek、acQuireでもベンダーがテーブルをどう呼ぶかにかかわらず同じ配置が見られます。インターバルテーブルは孔ID、from と to の3つのフィールドでキー付けされます。カラーと紐付かない分析値の行は、不完全な行ではありません。モデルにとっても、モデル上に構築されたすべてにとっても、存在しないのです。

だからこそ、抽出されたスプレッドシートはステージングテーブルです。ステージングはドキュメントに書かれていた内容を保持します。ロードでは、地質チームが合意したスキーマ、コード、検証ルールを適用します。ステージングを飛ばしたファイルはワークフローを自動化したのではなく、完成したように見えるテーブルをページと突き合わせる作業を誰かに押し付けただけです。

記録が壊れる4つの箇所

行が移行を生き延びるかを決めるのは4つのフィールドです。孔ID、from と to のペア、単位と検出限界、そして記録と証明書を結びつける試料番号です。

孔IDとその表記ゆれ

同じ孔が、掘削記録ではDDH-24-001、分析証明書のヘッダーではDDH24-001、過去のサマリーでは24-001として現れ、孔がウェッジされた箇所ではAまたはBの接尾辞が付きます。Leapfrogはこれらを重複した孔ID、またはカラーテーブルに存在しない孔IDとして報告し、どれが正規の表記か誰かが判断するまで、その背後のインターバルは表示できません。この判断はデータベース地質学者の役割であり、一度正しく行うのは簡単でも、40回誤るのも簡単です。

from と to

インターバルは重複してはならず、全深度を超えてもいけず、逆方向に進んでもいけません。Datamineの検証ノートでは、1メートルを超える重複は通常データ入力エラーであると述べています。これは、誰かが上の行の深度を入力したと言う丁寧な表現です。次のページに続く表ももう一つのよくある原因です。最終行がヘッダーとして繰り返され、データとして読み取られ、その前の行を複製するインターバルが生成されます。

単位と検出限界

ラボは単位を列ヘッダーに一度だけ印刷し、結果が検出限界を下回る場合は不等号を印刷します。どちらの慣行も単純な抽出を壊します。金の値<0.005を0.005として入力すると品位を過大評価し、0として入力するとすべての平均を引き下げ、対数スケールでプロットできないゼロになります。単位はさらに複雑にします。金は同じ数値に対してppmとg/tで報告され（1 g/tは1 ppmに等しい）、銅はパーセントとppmの間を10,000倍で切り替わります。単位を失った列は、他の列と安全に結合できない列です。

試料番号と証明書番号

試料番号は、掘削記録のインターバルと分析証明書の値を結ぶ唯一のリンクです。ここはラボと企業の運用が分かれる点でもあります。ラボはクライアントとは別に独自の内部番号を付けることがあり、証明書は再分析後に再発行されることがあります。証明書番号が行と一緒に引き継がれないと、差し替えられた旧結果を見つけて置き換えることができず、両方のバージョンが読み込まれて、どちらか一方が黙って採用されます。

検証が捉えるのは構造であり、値ではない

インポート時の検証が捉えるのは構造上のエラーであり、値のエラーについては何も示しません。だからこそ、クリーンなインポートが正しいインポートとは限らないのです。

重複、逆転したインターバル、欠落したカラー、孔の終端を超える深度は、いずれもテーブル単体から検出でき、主要なモデリングパッケージはインポート時にこれらをチェックします。品位を1.24ではなく1.42と入力しても警告は一切出ません。有効なインターバル内にあり、有効な孔IDの下にあり、列内の他の数値と同じに見えるからです。これを見つける唯一の方法は、セルをそれが由来するページと照合することであり、まさに検証の法的定義が述べている内容です。

この照合作業が高コストな部分であり、実際に携わる人々はこれをコンバージョンプロジェクトと呼んでいます。r/geologyのスレッドは「紙のログからデジタルへの変換を試みてきた企業に何社も在籍してきました」という言葉で始まっています。ブリティッシュコロンビア州地質調査所は、400件を超える評価報告書から構築した掘削孔データベースを公開しており、これには6,000を超える掘削孔、80,000件の試料、1,300件の分析証明書から得られた380万件の測定値が含まれています。これは証明書1件あたり約60試料、試料1件あたり約47元素結果となり、証明書1件は数千セルに及ぶ横長のテーブルになります。彼らのパイプラインはステージングされたスプレッドシートに対して60を超える検証チェックを実行しましたが、それでも信頼度の低い文字は元のドキュメントに戻し、人が目視で照合していました。

60の自動チェックがあっても、1.24が1.42になったことは分かりません。元のページとの照合だけがそれを明らかにします。

ここが、手入力がもはや安価な選択肢ではなくなる地点でもあります。締め切りに追われる中でフィールド単位の入力ミスがレコード単位のエラーへと積み上がる仕組みを計算で知りたい場合は、OCRと手入力の比較が、同じ形のドキュメントセットでそれを解説しています。

テクニカルレポートは異なる抽出課題

テクニカルレポートは既に存在するデータベースを再記述したものなので、その表を抽出しても要約の要約が得られるだけで、記録の出典にはなりません。

3つの規制は同じ点に収束します。NI 43-101は、適格者がデータを検証したかどうか、どのように、どのような制限のもとで検証したかについての書面による声明を要求し、その様式では検証手順と、データが使用目的に対して適切かどうかに関するQPの意見を求めています。JORCコード2012の表1では、コンピテントパーソンに対し、一次データ、データ入力手順、データ検証および保存プロトコルを文書化し、分析データへの調整があれば議論することを求めています。SEC規則S-K 1300は、第三者の専門家から提供された情報について責任を免責できない適格者による、日付と署名のあるテクニカルレポート要約を要求しています。

これらを合わせて読むと、それらの要件は指名された人物が署名するという連鎖の終点を描いています。テクニカルレポートの抽出は、デューデリジェンス、同業者が開示したインターセプトを自社の鉱区と比較すること、およびレポートの表が要約対象と主張するデータベースと一致するかの確認に役立ちます。ただし、それらの表は印刷前に集計・丸め・フィルタリングされているため、データベースを再構築する方法としては不適切です。

抽出レイヤーが保持すべきもの

抽出ステップの役割は1つです。セルをページまで遡って追跡でき、再入力せずにステージングに投入できる行を生成することです。

ImageToTable.aiはこれをカスタム列抽出で実現します。欲しい列名を入力すると、AIはフィールドがどこにあるかではなく何を意味するかを理解して、ページ上の一致する値をどこからでも見つけ出すため、レイアウトが異なる証明書でも同じ列に値が入ります。入力した名前は出力テーブルのヘッダーになるので、スキーマに一致するステージングテーブルへの最速のルートは、スキーマ自身のフィールド名をそのままコピーすることです：孔ID、試料ID、From (m)、To (m)、Au (ppm)、証明書番号

証明書のフォルダを1つのバッチとしてアップロードすると1つのテーブルが返り、証明書番号が列に保持されるため、再発行された結果も見つけられます。マルチページマージは追跡対象の列で結果をグループ化するので、インターバル表が2ページ目に続く掘削記録も、2つの無関係なテーブルではなく1つの孔IDの下に連続したインターバル群として返ります。計算列は、ToからFromを引いたインターバル長、ToがFromより大きくない場合に差を返す条件チェック、パーセントからppmへの10,000のような固定係数による単位変換をカバーします。

レビューモードでは、任意のセルの背後にある元ページの該当領域がハイライトされるため、2つのドキュメント間をスクロールする代わりに、セルごとにクリックするだけで検証できます。印刷された表データは最大99パーセントの精度で認識され、ページは人が入力するのに必要な数分ではなく数秒で処理されます。密集した手書き、かすれたカーボンコピー、回転したスキャンは、より高い処理ティアがそのコストに見合う場面であり、同時に検証が最も重要になる場面でもあります。

インポートを乗り切るワークフロー

5つのステップがあり、最初のステップは何かをアップロードする前に起こります。

他の産業用ドキュメントタイプにわたって抽出プラットフォームを比較している場合、製造ドキュメントでテストされた抽出ツールのレビューでは、テンプレートベース、トレーニング済み、ビジョンモデルのアプローチが実際のフィールドレベルの精度でどのように異なるかを説明しています。

地質学者、データベース管理者、QPに残るもの

抽出が終わる場所から判断が始まります。そして、それが行わないことのリストは、行うことのリストよりも長くなります。

地質を解釈したり、岩相コードが正しいかを判断したり、孔のデサーベイを実行したり、標準試料や重複試料に対するバイアスや精度などのQA/QC統計を実行したり、バッチが許容できるかを裁定したりすることはありません。acQuire、Datamine、Micromine、Leapfrog、Maptekへのインポート、資源量の推定、NI 43-101、JORC、S-K 1300のコンプライアンスに関する助言も行いません。証明書番号が出力に含まれ、人が比較しない限り、ある証明書が以前の証明書を無効にすることを認識することはありません。

残るのは、署名を伴う部分です。掘削記録と分析証明書の不一致を解決するデータベース地質学者、インターバルを解釈する資源地質学者、データを検証して名を記す適格者またはコンピテントパーソンです。

よくある質問

1970年代や1980年代の手書きの掘削記録を読み取れますか？

多くの場合可能ですが、レビューを省略できるほど信頼できるものではありません。エンジンは印刷文字、手書き、筆記体、表、チェックボックスを処理し、より高い処理ティアは密集した手書きの精度を向上させます。手書きの修正が入ったタイプ打ちの記録、かすれたコピー、回転したページは難しいケースであるため、より多くのセルを元のページと照合する計画を立ててください。

<0.005のような値はどのように扱うべきですか？

不等号を含め、印刷されたとおりに抽出し、置換の判断はルールを文書化できるデータベース内で行ってください。抽出時に0.005や0に変換すると、その表から計算されるすべての平均値に影響する判断が隠されてしまいます。検出限界を保持する別の列を設けることで、その判断を監査可能に保つことができます。

acQuire、Datamine、Leapfrogに直接書き込めますか？

いいえ。出力はExcel、CSV、JSON、Wordで、地質データベースへのインポートは、データベース地質技師がソフトウェア独自のインポート・検証ツールを使って行います。APIは構造化JSONを自社システムに送信できますが、フィールドマッピングと検証ルールは依然としてお使いのデータベース側にあります。

NI 43-101テクニカルレポートの表を抽出すべきですか？

レビュー、比較、デューデリジェンスの目的では、はい。これらの表は集計・絞り込みされた要約であるため、データベースの構築や再構築が目的の場合、分析証明書や掘削記録の代わりにはあまりなりません。主張を確認するために抽出するのであって、資源量評価に供するテーブルを埋めるために抽出するのではありません。

分析証明書ではどの程度の精度を期待できますか？

印刷された表データは最大99パーセントの精度で認識されますが、精度とデータベースにとっての正確さは別物です。値が正しく読み取られても、列名がスキーマと一致しなければ誤った列に入ることがあります。

抽出が自動化されてもデータベース地質技師は必要ですか？

はい。どの孔IDの表記を正とするか、バッチがQA/QCに合格するか、検出限界未満の値をどう扱うか、何をどの順序でロードするかを決める人が必要です。抽出はこうした判断に先立つ入力作業を減らすだけで、判断そのものを代行するものではありません。

業界はこの10年、機械がページをどう読むかの改善に取り組んできましたが、読み取りがプロジェクト停滞の原因になることはほとんどありません。結果を決めるのはもっと小さく地味な点です。各インターバルの行が、証明書と同じ孔ID、同じfrom と to、同じ単位、同じ試料番号でデータベースに届くかどうか。ここを正しく押さえれば、モデリングソフト、QA/QCレビュー、適格者のすべてが確かな土台の上で作業できます。