So definieren Sie benutzerdefinierte Spalten
und extrahieren Daten aus jedem App-Screenshot

Dieselben Daten, drei radikal unterschiedliche Screenshots

Das obige Szenario ist nicht hypothetisch. Jeder, der mit mehreren Software-Plattformen arbeitet, kennt die Routine: Salesforce speichert die Opportunity-Daten. QuickBooks speichert die Rechnungsdaten. Das Operations-Dashboard speichert den Erfüllungsstatus. Jedes System zeigt überlappende Informationen in seiner eigenen visuellen Sprache — Karten, Tabellen, Formulare, Status-Panels — und das Zusammenführen dieser Daten in eine einzige Tabelle erfordert das Wechseln zwischen Fenstern und das erneute Eintippen derselben Felder aus drei verschiedenen Oberflächen.

Die Standardantwort auf dieses Problem — „eine API verwenden" oder „als CSV exportieren" — setzt voraus, dass jedes System diese Funktionen hat. Das interne Dashboard aus dem Jahr 2011 hat sie definitiv nicht. Die Mobile-Banking-App, die eine Transaktionsdetailansicht zeigt, die Sie für den Abgleich benötigen, hat keine Export-Schaltfläche. Das SaaS-Analysetool, das Ihr Team nutzt, exportiert nur vollständige Berichte, nicht die drei spezifischen KPI-Werte, die Sie wöchentlich verfolgen.

Screenshots sind der kleinste gemeinsame Nenner aller Software — jede App, jedes Gerät, jede Software-Ära kann einen erstellen. Die Frage ist nicht, ob Sie die Daten erfassen können (das haben Sie bereits getan, indem Sie den Screenshot aufgenommen haben). Die Frage ist, ob Sie bestimmte Felder aus dieser Erfassung extrahieren können, ohne jede neue App-Oberfläche als separates technisches Problem zu behandeln.

Vorlagenbasierte Extraktionstools — die Art, die Sie auffordert, ein Rechteck um das Rechnungsdatumsfeld in einem Beispieldokument zu ziehen und dann diese Pixelkoordinaten für jedes nachfolgende Dokument zu verwenden — funktionieren bei Screenshots nie. Eine Salesforce-Deal-Karte platziert den Dollarbetrag in einer großen Hero-Zahl oben links; eine QuickBooks-Rechnung platziert ihn in einer „Balance Due"-Zelle unten rechts in einer Tabelle; ein internes Dashboard platziert ihn in einer farbigen Karte in der Mitte eines Metrik-Rasters. Drei Oberflächen, drei Koordinatensysteme. Eine Vorlage, die beim ersten Screenshot funktioniert, bricht beim zweiten konstruktionsbedingt — die Koordinaten bedeuten außerhalb der App, in der sie gemessen wurden, nichts.

Das ist der Wandel, der die benutzerdefinierte Spaltenextraktion für jeden, der mit Screenshots arbeitet, verständnismäßig relevant macht. Es ist keine schnellere Version des Rechteck-Zeichnen-Ansatzes — es ist ein grundlegend anderes Prinzip.

So findet die benutzerdefinierte Spaltenextraktion Werte, ohne zu wissen, wo sie sich befinden

Die benutzerdefinierte Spaltenextraktion funktioniert nach einem einfachen Prinzip: Sie beschreiben, was Sie finden möchten, und die KI durchsucht die gesamte Seite nach Werten, die dieser Beschreibung entsprechen – nicht indem sie nach passendem Beschriftungstext sucht, sondern indem sie versteht, was die Beschriftung bedeutet, und Werte identifiziert, die ihrer semantischen Rolle entsprechen.

Wenn Sie „Deal Amount" als Spaltennamen eingeben, sagen Sie der KI nicht, dass sie nach dem exakten Text „Deal Amount" auf der Seite suchen soll. Sie sagen ihr: „Finde einen Geldwert, der den Gesamtwert einer Geschäftstransaktion oder -chance darstellt." Die KI liest den gesamten Screenshot – jede Beschriftung, jede Zahl, jeden Kontexttext – und lokalisiert den Wert, der diese semantische Rolle ausfüllt. Im Salesforce-Screenshot könnte das „$47.200" sein, das prominent oben auf einer Opportunity-Karte angezeigt wird. Im QuickBooks-Screenshot könnte es „$47.200" sein, das in der Zeile „Balance Due" einer Rechnungstabelle steht. Im internen Dashboard könnte es „47.200" sein, das in einer farbigen Metrik-Karte ohne Währungssymbol angezeigt wird.

Derselbe Spaltenname funktioniert in allen drei Fällen, weil die KI ein semantisches Problem löst, kein räumliches. Sie fragt: „Welche Zahl auf dieser Seite fungiert als Deal-Betrag?" – nicht: „Welcher Text befindet sich an den Koordinaten (340, 128)?" Der Unterschied ist der zwischen dem Verstehen eines Dokuments und dem Fotografieren desselben.

Deshalb wird dieser Ansatz manchmal als Spaltennamen-Extraktion bezeichnet: Die Namen, die Sie in die Spaltenköpfe Ihrer Ausgabetabelle eingeben, dienen gleichzeitig als Extraktionsanweisungen. Es gibt keinen separaten Schritt, in dem Sie Regeln konfigurieren, keine Trainingsphase, in der Sie Beispieldokumente annotieren, keine Vorlagenbibliothek, die Sie pflegen müssen. Dieselben Spaltennamen, die in Ihrer finalen Excel-Datei erscheinen, sind diejenigen, die die KI verwendet hat, um die Daten zu finden.

Für einen umfassenderen Überblick darüber, wie sich Screenshot-Extraktion von traditioneller OCR unterscheidet, lesen Sie unseren vollständigen Leitfaden zur Extraktion von Daten aus Screenshots.

Schritt für Schritt: Definieren Sie Ihre Spalten einmal und extrahieren Sie aus jedem Screenshot

Der Workflow umfasst drei Schritte, und nur Schritt eins müssen Sie mehr als einmal durchführen. Diese Asymmetrie ist der Kern des Ganzen: Sie investieren die Denkarbeit im Voraus, und jeder weitere Screenshot läuft mit derselben Definition ohne erneute Konfiguration durch.

Schritt 1: Benennen Sie die benötigten Felder. Dies ist die einzige Entscheidung, die Sie treffen. Öffnen Sie das Extraktionstool und geben Sie die Spaltennamen ein, die den gewünschten Datenpunkten entsprechen – genau so, wie sie in Ihrer Ausgabetabelle erscheinen sollen. Für einen appübergreifenden Deal-Tracking-Workflow könnten Sie Folgendes eingeben:

Für einen finanziellen Abstimmungs-Workflow mit Screenshots aus Banking-Apps, Zahlungsbestätigungen und Dashboards von Buchhaltungssystemen könnten Sie Folgendes eingeben:

Diese Spaltennamen sind Ihre Extraktionsspezifikation. Die KI liest sie als Anweisungen – „finde Werte, die dieser Beschreibung entsprechen" – und nicht als wörtliche Suchbegriffe. Die Bezeichnung „Customer" passt zu „Client", „Account Name", „Bill To" oder jedem anderen semantisch gleichwertigen Feld in verschiedenen App-Oberflächen. Details zur präzisen Formulierung Ihrer Spaltennamen finden Sie im Abschnitt zur Namensstrategie unten.

Schritt 2: Laden Sie Ihre Screenshots hoch. Ziehen Sie die Salesforce-Deal-Karte, den QuickBooks-Rechnungs-Tab und den internen Dashboard-Screenshot hinein – oder 50 Screenshots aus 10 verschiedenen Apps. Die KI verarbeitet jeden Screenshot unabhängig und wendet dieselben Spaltendefinitionen auf jeden an. Sie muss nicht wissen, aus welcher Anwendung welcher Screenshot stammt.

Schritt 3: Laden Sie die zusammengeführte Tabelle herunter. Jeder Wert, den die KI für jeden Spaltennamen gefunden hat, wird in Zeilen organisiert – eine Zeile pro Screenshot. Die Spaltenüberschriften in Ihrer Ausgabedatei sind genau die Namen, die Sie in Schritt 1 eingegeben haben. Wenn ein bestimmter Screenshot keinen Wert für eine bestimmte Spalte enthält (z. B. hat das interne Dashboard kein „Owner"-Feld), bleibt diese Zelle leer – die Extraktion wird für die übrigen Spalten ohne Fehler fortgesetzt.

So benennen Sie Spalten für maximale Genauigkeit bei der Screenshot-Extraktion

Spaltennamen haben bei der Screenshot-Extraktion mehr Gewicht als bei der herkömmlichen Dokumentverarbeitung. Eine PDF-Rechnung verwendet fast immer vorhersehbare Beschriftungen: „Rechnungsnummer", „Fälligkeitsdatum", „Zwischensumme". Screenshot-Oberflächen verwenden die Beschriftung, die der App-Entwickler gewählt hat — und über verschiedene Apps hinweg variieren diese Beschriftungen stark.

Die folgenden Benennungsprinzipien sind speziell auf den Screenshot-zu-Tabellen-Workflow abgestimmt, bei dem derselbe Spaltenname über Oberflächen hinweg funktionieren muss, die von verschiedenen Teams mit unterschiedlichen Konventionen entwickelt wurden.

Ein Reddit-Nutzer, der mit über 600 Screenshots aus einer Felddatenerfassungs-App arbeitete, fasste das Benennungsproblem treffend zusammen: Er benötigte „Tag Number, Length (cm), Weight (kg), Event Type, Tagger, Date, Time, GPS/Location, Water Temperature" aus jedem Bild. Die Einheiten in Klammern — „(cm)", „(kg)", „(°C)" — sind keine optionalen Details. Sie sind Anweisungen, die der KI sagen, welche Zahl welche ist, wenn die Oberfläche mehrere Messungen auf demselben Bildschirm anzeigt.

Batch-Verarbeitung: Eine Spaltendefinition, beliebig viele Screenshots aus jeder App

Sobald Ihre Spaltennamen definiert sind, skaliert der Workflow ohne zusätzliche Konfiguration. Hier zahlt sich die Investition in Schritt eins aus: 5 Screenshots oder 500 — aus 2 Apps oder 20 — die Extraktionsspezifikation ändert sich nicht.

Denken Sie an den Feldforscher mit 600 Screenshots aus einer mobilen Datenerfassungs-App. Jeder Screenshot enthält dieselben Datentypen (Tag-Nummer, Länge, Gewicht, GPS-Koordinaten), die im selben UI-Layout derselben App organisiert sind. Das ist der einfache Fall — gleiche App, gleiches Layout, nur hohes Volumen. Benutzerdefinierte Spaltenextraktion bewältigt dies, aber auch eine gut konfigurierte OCR-Vorlage würde das tun.

Der schwierigere Fall — und der, der Benutzerdefinierte Spaltenextraktion zur richtigen Architektur macht — ist, wenn die Screenshots aus verschiedenen Anwendungen stammen. Ein Betriebsleiter, der wöchentliche Kennzahlen sammelt, könnte Folgendes erfassen:

• Umsatz und Bestellanzahl aus einem Shopify-Admin-Panel (E-Commerce-Dashboard-Layout)
• Ausstehende Sendungen von einem ShipStation-Bildschirm (Logistiktabellen-Layout)
• Kundensupport-Ticketvolumen aus einem Zendesk-Dashboard (Analytics-Karten-Layout)
• Kontostand aus einem Chase-Mobile-App-Screenshot (Banking-App-Karten-Layout)

Jeder Screenshot sieht völlig anders aus. Doch die Spalten — „Umsatz", „Bestellungen", „Ausstehende Sendungen", „Offene Tickets", „Kontostand" — finden ihre Werte in jedem einzelnen. Die KI liest jeden Screenshot unabhängig, versteht, welche Daten er enthält, und ordnet die passenden Werte den richtigen Spalten zu. Das Ergebnis ist eine einzige Tabelle mit einer Zeile pro Screenshot und genau den von Ihnen definierten Spalten.

Für eine ausführlichere Anleitung zum Batch-Workflow — einschließlich Namenskonventionen, Zusammenführen von Ergebnissen und Umgang mit Screenshots aus mehreren Quellen — lesen Sie unseren Leitfaden zu Batch-Verarbeitung von App-Screenshots in strukturierte Tabellen. Wenn Sie neu bei der Screenshot-Extraktion sind und eine breitere Grundlage wünschen, beginnen Sie mit So erhalten Sie Daten aus Screenshots in Excel ohne Tippen.

Für ein spezielles Tool, das jeden Screenshot mit dem hier beschriebenen Spaltennamen-Ansatz in strukturierte Excel-Daten umwandelt, sehen Sie sich unser Screenshot-zu-Excel-Extraktionstool an.

Häufig gestellte Fragen

Funktioniert das mit Screenshots, die keine Tabellen enthalten – nur Karten oder Label-Wert-Paare?

Ja. Genau in diesem Szenario bietet die benutzerdefinierte Spaltenextraktion den größten Mehrwert gegenüber Tabellenerkennungstools. Eine Zahlungsbestätigung besteht aus drei vertikal gestapelten Label-Wert-Paaren. Eine CRM-Deal-Karte ist eine visuelle Karte mit 8-10 Feldern in einem nicht-tabellarischen Layout. Eine Transaktionsdetailseite einer Banking-App ist eine scrollbare Liste von Schlüssel-Wert-Zeilen. Die KI findet die gewünschten Werte unabhängig davon, ob das Layout eine Tabelle, eine Karte, ein Formular oder eine gemischte Anordnung ist – sie liest nach Bedeutung, nicht nach Rasterstruktur.

Was ist, wenn zwei verschiedene Zahlen auf demselben Screenshot zu einem Spaltennamen passen könnten?

Deshalb ist die Spezifität des Spaltennamens wichtig. „Betrag" ist mehrdeutig – eine Salesforce-Opportunity-Karte könnte den Deal-Betrag, den erwarteten Umsatz und den jährlich wiederkehrenden Umsatz auf demselben Bildschirm anzeigen. „Deal-Betrag" ist spezifisch genug, um zu unterscheiden. Wenn weiterhin Mehrdeutigkeit besteht, können Sie einen Format- oder Positionshinweis hinzufügen: „Deal-Betrag (der größte Dollarwert auf der Karte)" gibt der KI genügend Kontext, um den richtigen Wert auszuwählen. Je präziser Ihr Spaltenname, desto weniger Raum für Mehrdeutigkeit.

Kann ich Daten aus Screenshots extrahieren, die sowohl Text als auch Zahlen in unstrukturierten Layouts enthalten?

Ja, innerhalb vernünftiger Grenzen. Wenn ein Screenshot einen Absatz mit Freitext enthält und sich irgendwo darin die benötigten Daten befinden (z. B. eine Chat-Nachricht mit „Bitte versenden Sie 50 Einheiten von SKU-4421 an 123 Main St"), kann die KI die Menge, die SKU und die Adresse als separate Spalten extrahieren – vorausgesetzt, Ihre Spaltennamen sind klar darüber, wonach Sie suchen („Versandmenge", „SKU", „Lieferadresse"). Die Extraktion ist weniger zuverlässig als bei strukturierten Benutzeroberflächen, funktioniert aber. Für die Extraktion von Bestellungen aus Chats gilt derselbe Ansatz mit Spaltennamen.

Welche Genauigkeit kann ich bei der Screenshot-Extraktion über Apps hinweg erwarten?

Die Genauigkeit hängt von drei Faktoren ab: Eingabequalität (saubere, lesbare Screenshots funktionieren besser als unscharfe oder beschnittene), Spezifität des Spaltennamens (vage Namen führen zu mehrdeutigen Übereinstimmungen) und der semantischen Klarheit der Benutzeroberfläche (eine App, die Felder klar beschriftet, liefert bessere Ergebnisse als eine, die Werte in dichtem Text versteckt). In der Praxis erreichen gut benannte Spalten auf klaren Screenshots eine hohe Genauigkeit – oft über 95 % für einfache Felder wie Beträge, Daten und Namen. Komplexe oder stark abgekürzte Benutzeroberflächen können gelegentliche manuelle Stichprobenkontrollen erfordern, weshalb die Ausgabetabelle eine standardmäßige Tabellenkalkulation ist, die Sie direkt bearbeiten können.

Funktioniert dieser Ansatz auch für Screenshots in anderen Sprachen als Englisch?

Die Spaltennamen sollten der Sprache Ihrer Zielausgabe entsprechen, nicht unbedingt der Sprache des Screenshots. Wenn Ihre Spalte „Customer Name" heißt und der Screenshot auf Deutsch „Kundenname" zeigt, versteht die KI, dass sich beide auf dasselbe Konzept beziehen. Der semantische Abgleich funktioniert sprachübergreifend, da er auf Bedeutung und nicht auf Zeichenfolgenabgleich basiert.

Wie unterscheidet sich das von der integrierten Funktion „Daten aus Bild" in Excel?

„Daten aus Bild" in Excel ist ein Tabellendetektor – er erkennt Zeilen- und Spaltenstrukturen und konvertiert sie in Tabellenzellen. Bei sauberen, umrandeten Tabellen funktioniert er gut. Er funktioniert nicht mit Kartenlayouts, Beschriftung-Wert-Paaren, Dashboard-KPIs oder anderen nicht-tabellarischen Oberflächen. Die Benutzerdefinierte Spaltenextraktion setzt nicht voraus, dass die Daten in einer Tabelle vorliegen – sie findet Werte anhand ihrer semantischen Rolle überall auf der Seite. Die beiden Ansätze lösen unterschiedliche Probleme.