Comment définir des colonnes personnalisées
et extraire des données de n'importe quelle capture d'écran d'application

Les mêmes données, trois captures d'écran radicalement différentes

Le scénario ci-dessus n'est pas hypothétique. Toute personne qui travaille sur plusieurs plateformes logicielles connaît la routine : Salesforce stocke les données d'opportunité. QuickBooks stocke les données de facturation. Le tableau de bord opérationnel stocke le statut d'exécution. Chaque système affiche des informations qui se chevauchent dans son propre langage visuel — cartes, tableaux, formulaires, panneaux de statut — et intégrer ces données dans une seule feuille de calcul nécessite de basculer entre les fenêtres et de ressaisir les mêmes champs à partir de trois interfaces différentes.

La réponse standard à ce problème — « utilisez une API » ou « exportez en CSV » — suppose que chaque système dispose de ces capacités. Le tableau de bord interne construit en 2011 ne les a certainement pas. L'application bancaire mobile affichant un détail de transaction dont vous avez besoin pour le rapprochement n'a aucun bouton d'exportation. L'outil d'analyse SaaS utilisé par votre équipe n'exporte que des rapports complets, pas les trois valeurs KPI spécifiques que vous suivez chaque semaine.

Les captures d'écran sont le plus petit dénominateur commun de tous les logiciels — chaque application, chaque appareil, chaque époque de logiciel peut en produire une. La question n'est pas de savoir si vous pouvez capturer les données (vous l'avez déjà fait, en prenant la capture d'écran). La question est de savoir si vous pouvez extraire des champs spécifiques de cette capture sans traiter chaque nouvelle interface d'application comme un problème technique distinct.

Les outils d'extraction basés sur des modèles — ceux qui vous demandent de dessiner un rectangle autour du champ de date de facture sur un document échantillon, puis d'utiliser ces coordonnées de pixels sur chaque document suivant — ne fonctionnent jamais pour les captures d'écran. Une carte d'opportunité Salesforce place le montant en dollars dans un grand chiffre principal en haut à gauche ; une facture QuickBooks le place dans une cellule « Balance Due » en bas à droite d'un tableau ; un tableau de bord interne le place dans une carte colorée au milieu d'une grille de métriques. Trois interfaces, trois systèmes de coordonnées. Un modèle qui fonctionne sur la première capture d'écran échoue sur la seconde par conception — les coordonnées ne signifient rien en dehors de l'application dans laquelle elles ont été mesurées.

C'est ce changement qui rend l'extraction de colonnes personnalisées utile à comprendre pour quiconque travaille avec des captures d'écran. Ce n'est pas une version plus rapide de l'approche du dessin de rectangle — c'est un principe fondamentalement différent.

Comment l'extraction de colonnes personnalisées trouve des valeurs sans savoir où elles se trouvent

L'extraction de colonnes personnalisées repose sur un principe unique : vous décrivez ce que vous voulez trouver, et l'IA recherche sur toute la page les valeurs qui correspondent à cette description — non pas en recherchant un texte d'étiquette correspondant, mais en comprenant ce que signifie l'étiquette et en identifiant les valeurs qui correspondent à son rôle sémantique.

Lorsque vous saisissez « Deal Amount » comme nom de colonne, vous ne demandez pas à l'IA de rechercher le texte exact « Deal Amount » sur la page. Vous lui demandez : « trouvez une valeur monétaire qui représente la valeur totale d'une transaction ou d'une opportunité commerciale. » L'IA lit l'intégralité de la capture d'écran — chaque étiquette, chaque nombre, chaque élément de texte contextuel — et localise la valeur qui remplit ce rôle sémantique. Dans la capture d'écran Salesforce, il peut s'agir de « $47,200 » affiché bien en évidence en haut d'une carte d'opportunité. Dans la capture d'écran QuickBooks, il peut s'agir de « $47,200 » situé dans la ligne « Balance Due » d'un tableau de facture. Dans le tableau de bord interne, il peut s'agir de « 47,200 » affiché dans une carte de métrique colorée sans aucun symbole monétaire.

Le même nom de colonne fonctionne dans les trois cas, car l'IA résout un problème sémantique, et non spatial. Elle se demande « quel nombre sur cette page fait office de montant de transaction ? » — et non « quel texte se trouve aux coordonnées (340, 128) ? » La distinction est la différence entre comprendre un document et le photographier.

C'est pourquoi cette approche est parfois appelée extraction par nom de colonne : les noms que vous saisissez dans les en-têtes de colonnes de votre tableau de sortie servent également d'instructions d'extraction. Il n'y a pas d'étape distincte pour configurer des règles, pas de phase d'apprentissage pour annoter des documents d'exemple, pas de bibliothèque de modèles à maintenir. Les mêmes noms de colonnes qui apparaissent dans votre fichier Excel final sont ceux que l'IA a utilisés pour trouver les données.

Pour une vue plus large sur la différence entre l'extraction par capture d'écran et l'OCR traditionnel, consultez notre guide complet sur l'extraction de données à partir de captures d'écran.

Étape par étape : définissez vos colonnes une fois, extrayez depuis n'importe quelle capture d'écran

Le processus comporte trois étapes, et seule la première doit être effectuée plus d'une fois. Cette asymétrie est tout l'intérêt : vous investissez la réflexion en amont, et chaque capture d'écran suivante passe par la même définition, sans aucune reconfiguration.

Étape 1 : Nommez les champs dont vous avez besoin. C'est la seule décision que vous prenez. Ouvrez l'outil d'extraction et saisissez les noms de colonnes correspondant aux points de données souhaités — exactement tels que vous voulez les voir apparaître dans votre feuille de calcul de sortie. Pour un processus de suivi des transactions multi-applications, vous pourriez saisir :

Pour un processus de rapprochement financier à partir de captures d'écran d'applications bancaires, de confirmations de paiement et de tableaux de bord de systèmes comptables, vous pourriez saisir :

Ces noms de colonnes constituent votre spécification d'extraction. L'IA les interprète comme des instructions — « trouvez les valeurs correspondant à cette description » — et non comme des chaînes de recherche littérales. Le libellé « Customer » correspondra à « Client », « Account Name », « Bill To » ou à tout autre champ sémantiquement équivalent dans différentes interfaces d'applications. Pour plus de détails sur la façon de rendre vos noms de colonnes aussi précis que possible, passez à la section sur la stratégie de nommage ci-dessous.

Étape 2 : Téléversez vos captures d'écran. Glissez la fiche de transaction Salesforce, l'onglet de facture QuickBooks et la capture du tableau de bord interne — ou 50 captures d'écran provenant de 10 applications différentes. L'IA traite chaque capture d'écran indépendamment, en appliquant les mêmes définitions de colonnes à chacune. Elle n'a pas besoin de savoir quelle capture provient de quelle application.

Étape 3 : Téléchargez le tableau fusionné. Chaque valeur trouvée par l'IA pour chaque nom de colonne est organisée en lignes — une ligne par capture d'écran. Les en-têtes de colonnes de votre fichier de sortie correspondent exactement aux noms que vous avez saisis à l'étape 1. Si une capture d'écran particulière ne contient pas de valeur pour une colonne spécifique (par exemple, le tableau de bord interne n'a pas de champ « Owner »), cette cellule est laissée vide — l'extraction se poursuit pour les colonnes restantes sans erreur.

Comment nommer les colonnes pour une précision maximale de l'extraction par capture d'écran

Les noms de colonnes pèsent plus lourd dans l'extraction par capture d'écran que dans le traitement documentaire traditionnel. Une facture PDF utilise presque toujours un texte de libellé prévisible : « Numéro de facture », « Date d'échéance », « Sous-total ». Les interfaces de capture d'écran utilisent le libellé choisi par le concepteur de l'application — et selon les applications, ces libellés varient considérablement.

Les principes de nommage ci-dessous sont spécifiquement adaptés au flux de travail capture d'écran vers feuille de calcul, où le même nom de colonne doit fonctionner sur des interfaces conçues par différentes équipes avec des conventions différentes.

Un utilisateur Reddit travaillant avec plus de 600 captures d'écran provenant d'une application de collecte de données sur le terrain a résumé le problème de nommage avec concision : il lui fallait « Numéro d'étiquette, Longueur (cm), Poids (kg), Type d'événement, Étiqueteur, Date, Heure, GPS/Localisation, Température de l'eau » pour chaque image. Les unités entre parenthèses — « (cm) », « (kg) », « (°C) » — ne sont pas des détails facultatifs. Ce sont des instructions qui indiquent à l'IA quel nombre correspond à quoi lorsque l'interface affiche plusieurs mesures sur le même écran.

Traitement par lots : une définition de colonnes, un nombre illimité de captures d'écran depuis n'importe quelle application

Une fois les noms de colonnes définis, le flux de travail évolue sans configuration supplémentaire. C'est là que l'investissement de la première étape porte ses fruits : 5 captures d'écran ou 500 — de 2 applications ou 20 — la spécification d'extraction ne change pas.

Prenons l'exemple du chercheur de terrain avec 600 captures d'écran provenant d'une application mobile de journalisation de données. Chaque capture contient les mêmes types de données (numéro d'étiquette, longueur, poids, coordonnées GPS), organisées selon la même disposition d'interface sur la même application. C'est le cas simple — même application, même disposition, simplement un volume élevé. L'extraction de colonnes personnalisées gère cela, mais un modèle OCR bien configuré le ferait aussi.

Le cas plus complexe — et celui qui fait de l'extraction de colonnes personnalisées la bonne architecture — est lorsque les captures d'écran proviennent de différentes applications. Un responsable des opérations collectant des indicateurs hebdomadaires pourrait capturer :

• Le chiffre d'affaires et le nombre de commandes depuis un panneau d'administration Shopify (disposition de tableau de bord e-commerce)
• Les expéditions en attente depuis un écran ShipStation (disposition de tableau logistique)
• Le volume de tickets de support client depuis un tableau de bord Zendesk (disposition de cartes analytiques)
• Le solde bancaire depuis une capture d'écran de l'application mobile Chase (disposition de cartes d'application bancaire)

Chaque capture d'écran semble complètement différente. Pourtant, les colonnes — « Chiffre d'affaires », « Commandes », « Expéditions en attente », « Tickets ouverts », « Solde bancaire » — trouvent leurs valeurs dans chacune d'elles. L'IA lit chaque capture indépendamment, comprend les données qu'elle contient et fait correspondre les valeurs pertinentes aux bonnes colonnes. Le résultat est un tableau unique avec une ligne par capture et exactement les colonnes que vous avez définies.

Pour une présentation plus détaillée du flux de traitement par lots — y compris les conventions de nommage, la fusion des résultats et la gestion des captures provenant de plusieurs sources — consultez notre guide sur le traitement par lots de captures d'écran d'applications en feuilles de calcul structurées. Si vous débutez dans l'extraction de captures d'écran et souhaitez une base plus large, commencez par comment extraire des données de captures d'écran vers Excel sans saisie manuelle.

Pour un outil dédié qui convertit toute capture d'écran en données Excel structurées selon l'approche par noms de colonnes décrite ici, consultez notre outil d'extraction de captures d'écran vers Excel.

Questions fréquentes

Est-ce que cela fonctionne sur des captures d'écran sans tableaux — uniquement des cartes ou des paires libellé-valeur ?

Oui. C'est précisément le scénario où l'extraction de colonnes personnalisées apporte le plus de valeur par rapport aux outils de détection de tableaux. Une confirmation de paiement est composée de trois paires libellé-valeur empilées verticalement. Une carte de transaction CRM est une carte visuelle avec 8 à 10 champs disposés dans une mise en page non tabulaire. Le détail d'une transaction bancaire est une liste défilante de lignes clé-valeur. L'IA trouve les valeurs demandées, que la mise en page soit un tableau, une carte, un formulaire ou un agencement mixte — elle lit le sens, pas la structure en grille.

Que se passe-t-il si deux nombres différents sur la même capture d'écran correspondent tous deux à un nom de colonne ?

C'est pourquoi la spécificité du nom de colonne est importante. « Montant » est ambigu — une carte d'opportunité Salesforce peut afficher le montant de la transaction, le revenu attendu et le revenu récurrent annuel sur le même écran. « Montant de la transaction » est suffisamment précis pour lever l'ambiguïté. Si l'ambiguïté persiste, vous pouvez ajouter une indication de format ou de position : « Montant de la transaction (la valeur en dollars la plus élevée sur la carte) » donne à l'IA suffisamment de contexte pour choisir la bonne valeur. Plus votre nom de colonne est précis, moins il y a de place pour l'ambiguïté.

Puis-je extraire des données de captures d'écran contenant à la fois du texte et des nombres dans des mises en page non structurées ?

Oui, dans des limites raisonnables. Si une capture d'écran contient un paragraphe de texte libre avec, quelque part, les données dont vous avez besoin (par exemple, un message de chat indiquant « veuillez expédier 50 unités de SKU-4421 au 123 Main St »), l'IA peut extraire la quantité, le SKU et l'adresse dans des colonnes séparées — à condition que vos noms de colonnes soient clairs sur ce que vous recherchez (« Quantité à expédier », « SKU », « Adresse de livraison »). L'extraction est moins fiable que pour les interfaces structurées, mais elle fonctionne. Pour l'extraction de commandes à partir de chats spécifiquement, la même approche de noms de colonnes s'applique.

Quelle précision dois-je attendre de l'extraction de captures d'écran entre applications ?

La précision dépend de trois facteurs : la qualité de l'entrée (des captures d'écran propres et lisibles donnent de meilleurs résultats que des images floues ou recadrées), la spécificité des noms de colonnes (des noms vagues produisent des correspondances ambiguës) et la clarté sémantique de l'interface (une application qui libellise clairement ses champs donne de meilleurs résultats qu'une application qui noie les valeurs dans un texte dense). En pratique, des colonnes bien nommées sur des captures d'écran claires atteignent une précision élevée — souvent supérieure à 95 % pour des champs simples comme les montants, les dates et les noms. Les interfaces complexes ou fortement abrégées peuvent nécessiter des vérifications ponctuelles occasionnelles, c'est pourquoi le tableau de sortie est un tableur standard que vous pouvez modifier directement.

Cette approche fonctionne-t-elle pour des captures d'écran dans d'autres langues que l'anglais ?

Les noms de colonnes doivent correspondre à la langue de votre sortie cible, pas nécessairement à celle de la capture d'écran. Si votre colonne est « Customer Name » et que la capture d'écran est en allemand affichant « Kundenname », l'IA comprend que ces termes désignent le même concept. La correspondance sémantique fonctionne entre les langues car elle repose sur le sens plutôt que sur la correspondance de chaînes de caractères.

En quoi cela diffère-t-il de la fonctionnalité intégrée « Données à partir d'une image » d'Excel ?

La fonctionnalité « Données à partir d'une image » d'Excel est un détecteur de tableaux — elle recherche des structures en grille de lignes et de colonnes et les convertit en cellules de feuille de calcul. Elle fonctionne bien avec les tableaux propres et bordés. Elle ne fonctionne pas avec les mises en page en cartes, les paires étiquette-valeur, les indicateurs de tableau de bord ou toute interface non tabulaire. L'extraction de colonnes personnalisées n'exige pas que les données soient dans un tableau — elle trouve les valeurs par rôle sémantique n'importe où sur la page. Ces deux approches résolvent des problèmes différents.