L'extraction de documents miniers
se brise à l'intervalle du journal de forage

Cinq types de documents se cachent derrière une seule base de données de forages

Un programme de forage produit cinq types de documents avant que quiconque puisse modéliser le gisement, et aucun rôle unique ne les détient tous. C'est cette répartition qui explique qu'une valeur puisse être parfaitement lue sur la page et pourtant arriver erronée dans la base de données.

Le journal de forage est l'endroit où l'intervalle d'échantillonnage est décidé, sur la foreuse, sur papier ou dans une application de journalisation. Le certificat d'analyse revient du laboratoire sous forme d'un PDF par lot soumis, avec les ID d'échantillon, les colonnes d'éléments, les unités, les limites de détection et les échantillons de contrôle insérés dans ce lot. Le rapport QA/QC contient les graphiques qui déterminent si un lot est utilisable. Un rapport technique reformule les résultats pour les investisseurs, et les dossiers environnementaux ou de permis suivent la même logique tabulaire pour un régulateur.

Le journal de forage détermine ce qui a été échantillonné. Le certificat d'analyse détermine ce que le laboratoire a trouvé. Si les deux ne concordent pas sur le numéro d'échantillon, aucun document n'est faux et la ligne reste inutilisable.

Le même schéma apparaît une étape en aval dans les achats, où les tickets de pont-bascule et les certificats de poids alimentent le règlement. Cet ensemble de documents a sa propre logique de champs, traitée dans le guide sur l'extraction des données de tickets de pont-bascule pour les achats en gros.

Une base de données de forages n'accepte qu'une seule forme

Les logiciels géologiques stockent les données de forage dans quatre tables, et chaque document doit être réduit à l'une d'elles : collier, relevé, intervalle et événement. La table collier contient l'ID de trou, les coordonnées, l'altitude et la profondeur totale. La table relevé contient les lectures de profondeur, d'inclinaison et d'azimut le long du trou. Les tables d'intervalle contiennent tout ce qui est mesuré entre deux profondeurs, c'est-à-dire les analyses et la lithologie. Les tables d'événement contiennent les observations à une seule profondeur.

Micromine documente la structure sous forme de quatre types de fichiers, et la même organisation apparaît dans Datamine, Leapfrog, Maptek et acQuire, quel que soit le nom donné aux tables par l'éditeur. La table d'intervalle est indexée par trois champs : ID de trou, de et à. Une ligne d'analyses qui ne trouve pas son collier n'est pas une ligne incomplète. Elle est invisible pour le modèle, et pour tout ce qui est construit sur le modèle.

C'est pourquoi une feuille de calcul extraite est une table de staging. Le staging contient ce que le document indiquait. Le chargement applique le schéma, les codes et les règles de validation convenus par l'équipe géologique. Un fichier qui saute le staging n'a pas automatisé le flux de travail ; il a déplacé la reprise vers celui qui doit désormais réconcilier une table d'apparence finie avec une page.

L'enregistrement se casse à quatre endroits

Quatre champs décident si une ligne survit au trajet : l'ID de trou, la paire de et à, l'unité et la limite de détection, et le numéro d'échantillon qui relie le journal au certificat.

ID de trou et ses variantes

Le même trou apparaît sous DDH-24-001 dans le journal, DDH24-001 dans l'en-tête du certificat et 24-001 dans un résumé historique, avec un suffixe A ou B partout où un trou a été dévié. Leapfrog les signale comme un ID de trou en doublon ou comme un ID de trou absent de la table des colliers, et les intervalles associés ne peuvent pas être affichés tant que personne n'a décidé quelle variante fait foi. Cette décision revient au géologue de la base de données, et il est facile de la prendre correctement une fois et mal quarante fois.

De et à

Les intervalles ne doivent pas se chevaucher, ne doivent pas dépasser la profondeur totale et ne doivent pas aller à rebours. Les notes de validation de Datamine indiquent qu'un chevauchement supérieur à un mètre est généralement une erreur de saisie, ce qui est une façon polie de dire que quelqu'un a tapé une profondeur provenant de la ligne du dessus. Un tableau qui se poursuit à la page suivante est l'autre source courante : la dernière ligne est répétée comme en-tête, est lue comme une donnée et produit un intervalle qui duplique le précédent.

Unité et limite de détection

Les laboratoires impriment l'unité une seule fois, dans l'en-tête de colonne, et impriment un signe inférieur à lorsqu'un résultat tombe sous la limite de détection. Ces deux conventions mettent en échec une extraction naïve. Une valeur d'or de <0,005 saisie comme 0,005 surestime la teneur ; saisie comme 0, elle devient un zéro qui tire vers le bas toutes les moyennes et ne peut pas être tracée sur une échelle logarithmique. Les unités aggravent le problème, car l'or est rapporté en ppm et en g/t pour le même nombre (1 g/t équivaut à 1 ppm) tandis que le cuivre passe du pourcentage au ppm par un facteur de 10 000. Une colonne qui perd son unité est une colonne que personne ne peut combiner en toute sécurité avec une autre.

Numéro d'échantillon et numéro de certificat

Le numéro d'échantillon est le seul lien entre l'intervalle du journal et la valeur du certificat. C'est aussi là que les laboratoires et les entreprises divergent, car un laboratoire peut utiliser sa propre numérotation interne en parallèle de celle du client, et un certificat peut être réémis après une nouvelle analyse. Si le numéro de certificat n'accompagne pas la ligne, un résultat remplacé ne peut être retrouvé et remplacé, si bien que les deux versions sont chargées et l'une d'elles l'emporte silencieusement.

La validation détecte la structure et manque les valeurs

La validation à l'import détecte la classe structurelle des erreurs et ne dit rien de la classe des valeurs, c'est pourquoi un import propre n'est pas un import correct.

Les chevauchements, les intervalles inversés, les colliers manquants et les profondeurs au-delà de la fin du trou sont tous détectables à partir du tableau seul, et les principaux logiciels de modélisation les vérifient à l'import. Une teneur saisie 1,42 au lieu de 1,24 ne produit aucun avertissement : elle se situe dans un intervalle valide, sous un ID de trou valide, et ressemble à tous les autres nombres de la colonne. Le seul moyen de la repérer est de comparer la cellule à la page d'origine, ce que décrit la définition juridique de la vérification.

La comparaison est la partie coûteuse, et ceux qui la font la décrivent comme un projet de conversion. Un fil r/geology s'ouvre sur « I've been with several companies now that have been trying to convert from paper logs to digital. » La British Columbia Geological Survey a publié une base de données de forages construite à partir de plus de 400 rapports d'évaluation, contenant plus de 6 000 forages, 80 000 échantillons et 3,8 millions de déterminations tirées de 1 300 certificats d'analyse. Cela représente environ 60 échantillons par certificat et environ 47 résultats d'éléments par échantillon, si bien qu'un seul certificat est un large tableau de quelques milliers de cellules. Leur pipeline a exécuté plus de 60 contrôles de vérification sur les feuilles de calcul en staging et a malgré tout renvoyé les caractères à faible confiance au document original pour qu'une personne les compare à l'œil.

Soixante contrôles automatisés ne vous diront pas que 1,24 est devenu 1,42. Seule une comparaison avec la page source le fera.

C'est aussi là que la saisie manuelle cesse d'être l'option la moins chère. Si vous voulez le calcul de la façon dont les erreurs de frappe au niveau des champs s'accumulent en erreurs au niveau des enregistrements sous la pression des délais, la comparaison de l'OCR et de la saisie manuelle des données le détaille sur un ensemble de documents de même forme.

Les rapports techniques sont un problème d'extraction différent

Un rapport technique reformule une base de données qui existe déjà : en extraire les tableaux vous donne donc un résumé d'un résumé, et non une source de référence.

Les trois régimes convergent sur le même point. NI 43-101 exige une déclaration écrite précisant si une personne qualifiée a vérifié les données, comment, et avec quelles limites, et son formulaire demande les étapes de vérification ainsi que l'avis du QP sur l'adéquation des données à l'usage prévu. Le Code JORC 2012, Tableau 1, demande à la personne compétente de documenter les données primaires, les procédures de saisie, la vérification des données et les protocoles de stockage, et de discuter de tout ajustement apporté aux données d'analyse. Le règlement SEC S-K 1300 exige un résumé de rapport technique daté et signé par une personne qualifiée, qui ne peut décliner sa responsabilité pour les informations fournies par un spécialiste tiers.

Lus ensemble, ces exigences décrivent une chaîne qui se termine par la signature d'une personne nommée. Extraire un rapport technique est utile pour la due diligence, pour comparer les intercepts divulgués par un pair aux vôtres, et pour vérifier si un tableau de rapport correspond à la base de données qu'il prétend résumer. C'est en revanche une mauvaise façon de reconstruire une base de données, car ces tableaux ont été agrégés, arrondis et filtrés avant d'être imprimés.

Ce qu'une couche d'extraction doit préserver

L'étape d'extraction n'a qu'un seul rôle : produire des lignes dont les cellules peuvent être rattachées à une page et déposées dans le staging sans être ressaisies.

ImageToTable.ai y parvient grâce à l'Extraction de colonnes personnalisées. Vous saisissez les noms de colonnes souhaités, et l'IA localise la valeur correspondante n'importe où sur la page en comprenant ce que le champ signifie plutôt que l'endroit où il se trouve : un certificat à la mise en page différente remplit donc la même colonne. Les noms que vous saisissez deviennent les en-têtes du tableau de sortie, ce qui fait de la copie directe des noms de champs de votre schéma la voie la plus rapide vers une table de staging conforme : Hole ID, Sample ID, From (m), To (m), Au (ppm), Certificate No.

Un dossier de certificats importé en un seul lot renvoie un seul tableau, avec le numéro de certificat porté dans une colonne afin qu'un résultat réémis reste retrouvable. La fusion multipage regroupe les résultats selon une colonne suivie : un journal dont le tableau d'intervalles se poursuit sur une deuxième page revient donc sous forme d'un ensemble continu d'intervalles sous un seul ID de trou, et non de deux tableaux sans lien. Les colonnes calculées couvrent la longueur d'intervalle comme To moins From, un contrôle conditionnel qui renvoie la différence lorsque To n'est pas supérieur à From, et la conversion d'unités selon un facteur fixe tel que 10 000 pour passer du pourcentage au ppm.

Le mode Révision met en évidence la région exacte de la page d'origine derrière chaque cellule, ce qui transforme la vérification en un clic par cellule plutôt qu'un défilement entre deux documents. Les données de tableaux imprimés sont reconnues jusqu'à 99 pour cent, et une page est traitée en quelques secondes plutôt qu'aux minutes nécessaires à une saisie manuelle. L'écriture manuscrite dense, les copies carbone estompées et les scans pivotés sont les cas où un niveau de traitement supérieur justifie son coût, et c'est aussi là que la vérification compte le plus.

Un flux de travail qui survit à l'import

Cinq étapes, et la première se déroule avant tout téléversement.

Si vous comparez aussi des plateformes d'extraction sur d'autres types de documents industriels, la revue des outils d'extraction testés sur des documents de fabrication couvre les différences entre approches basées sur modèle, entraînées et à modèle de vision sur la précision réelle au niveau des champs.

Ce qui reste au géologue, à l'administrateur de base de données et à la QP

L'extraction s'arrête là où commence le jugement, et la liste de ce qu'elle ne fait pas est plus longue que celle de ce qu'elle fait.

Elle n'interprète pas la géologie, ne décide pas si un code de lithologie est correct, ne désurveye pas un trou, ne calcule pas les statistiques QA/QC telles que le biais et la précision sur les standards et les duplicatas, et ne se prononce pas sur l'acceptabilité d'un lot. Elle n'importe pas dans acQuire, Datamine, Micromine, Leapfrog ou Maptek, n'estime pas une ressource et ne fournit pas de conseils de conformité NI 43-101, JORC ou S-K 1300. Elle ne saura pas qu'un certificat en remplace un autre, sauf si le numéro de certificat figure dans le résultat pour qu'une personne puisse comparer.

Ce qui reste, c'est la part qui porte la signature : le géologue de base de données qui résout les écarts entre le journal et le certificat, le géologue en ressources qui interprète les intervalles, et la personne qualifiée ou compétente qui vérifie les données et y met son nom.

Questions fréquentes

Peut-il lire des journaux de forage manuscrits des années 1970 et 1980 ?

Souvent, mais pas assez fiablement pour se passer d'une relecture. Le moteur gère le texte imprimé, l'écriture manuscrite, la cursive, les tableaux et les cases à cocher, et un niveau de traitement supérieur améliore la lecture des écritures denses. Les journaux dactylographiés avec corrections manuscrites, les photocopies pâlies et les pages pivotées sont les cas difficiles : prévoyez donc de vérifier une plus grande part de cellules par rapport à la page source.

Comment traiter une valeur comme <0,005 ?

Extrayez-la telle qu'imprimée, signe inférieur inclus, et décidez de la substitution dans la base de données, là où la règle peut être documentée. La convertir en 0,005 ou en 0 lors de l'extraction masque une décision qui affecte chaque moyenne calculée à partir du tableau. Une colonne distincte contenant la limite de détection rend cette décision auditable.

Peut-il écrire directement dans acQuire, Datamine ou Leapfrog ?

Non. La sortie est Excel, CSV, JSON ou Word, et l'import dans une base de données géologique est réalisé par le géologue de base de données via les outils d'import et de validation du logiciel lui-même. L'API peut pousser du JSON structuré dans vos propres systèmes, mais le mappage des champs et les règles de validation relèvent toujours de votre base de données.

Dois-je extraire les tableaux d'un rapport technique NI 43-101 ?

Pour la revue, la comparaison et la due diligence, oui. Ces tableaux sont des résumés agrégés et filtrés, ils remplacent donc mal les certificats d'analyse et les journaux de forage lorsqu'il s'agit de construire ou de reconstruire une base de données. Extrayez-les pour vérifier une affirmation, pas pour alimenter un tableau qui servira à une estimation de ressources.

Quelle précision puis-je attendre sur les certificats d'analyse ?

Les données de tableaux imprimés sont reconnues jusqu'à 99 pour cent, et la précision n'est pas la même chose que l'exactitude pour votre base de données : une valeur peut être lue correctement et tout de même atterrir dans la mauvaise colonne si les noms de colonnes ne correspondent pas à votre schéma.

Ai-je encore besoin d'un géologue de base de données si l'extraction est automatisée ?

Oui. Quelqu'un doit décider quelle variante d'ID de trou fait foi, si un lot passe le QA/QC, comment sont traitées les valeurs sous la limite de détection, et ce qui est chargé et dans quel ordre. L'extraction réduit la saisie qui précède ces décisions. Elle ne les prend pas.

L'industrie a passé une décennie à améliorer la façon dont les machines lisent les pages, et la lecture est rarement la raison pour laquelle un projet stagne. Ce qui décide du résultat est plus petit et plus terne : que chaque ligne d'intervalle atteigne la base de données avec le même ID de trou, les mêmes de et à, la même unité et le même numéro d'échantillon que ceux du certificat. Faites cela correctement et le logiciel de modélisation, la revue QA/QC et la personne qualifiée ont tous quelque chose de solide avec quoi travailler.