Eigene Spalten definieren
und Daten aus jedem App-Screenshot extrahieren

Ein Datensatz, drei völlig verschiedene Screenshots

Das obige Szenario ist nicht hypothetisch. Jeder, der mit mehreren Softwareplattformen arbeitet, kennt das Prozedere: Salesforce speichert die Opportunity-Daten. QuickBooks speichert die Rechnungsdaten. Das Operations-Dashboard speichert den Erfüllungsstatus. Jedes System zeigt überlappende Informationen in seiner eigenen visuellen Sprache – Karten, Tabellen, Formulare, Statusfelder – und das Zusammenführen dieser Daten in einer einzigen Tabelle erfordert das Wechseln zwischen Fenstern und das erneute Eintippen derselben Felder aus drei verschiedenen Oberflächen.

Die Standardantwort auf dieses Problem – „Nutze eine API“ oder „Exportiere als CSV“ – setzt voraus, dass jedes System diese Funktionen hat. Das interne Dashboard von 2011 hat sie definitiv nicht. Die Mobile-Banking-App, die eine Transaktionsdetailansicht für den Abgleich anzeigt, hat keinen Export-Button. Das SaaS-Analysetool Ihres Teams exportiert nur vollständige Berichte, nicht die drei spezifischen KPI-Werte, die Sie wöchentlich verfolgen.

Screenshots sind der kleinste gemeinsame Nenner aller Software – jede App, jedes Gerät, jede Software-Ära kann einen erstellen. Die Frage ist nicht, ob Sie die Daten erfassen können (das haben Sie bereits mit dem Screenshot getan). Die Frage ist, ob Sie bestimmte Felder aus dieser Erfassung extrahieren können, ohne jede neue App-Oberfläche als separates technisches Problem zu behandeln.

Vorlagenbasierte Extraktionstools – bei denen Sie auf einem Musterbeleg ein Rechteck um das Rechnungsdatum ziehen müssen, um dann auf jedem weiteren Beleg dieselben Pixelkoordinaten zu verwenden – funktionieren bei Screenshots nie. Eine Salesforce-Deal-Karte zeigt den Geldbetrag als große Hero-Zahl oben links; eine QuickBooks-Rechnung platziert ihn in einer „Fälliger Betrag“-Zelle unten rechts in einer Tabelle; ein internes Dashboard zeigt ihn in einer farbigen Karte inmitten eines Metrikrasters. Drei UIs, drei Koordinatensysteme. Eine Vorlage, die beim ersten Screenshot funktioniert, versagt beim zweiten zwangsläufig – die Koordinaten bedeuten außerhalb der App, in der sie gemessen wurden, nichts.

Dieser Wandel macht die benutzerdefinierte Spaltenextraktion für jeden, der mit Screenshots arbeitet, verständnismäßig relevant. Es ist keine schnellere Version des Rechteck-Zeichnens – es ist ein grundlegend anderes Prinzip.

Wie die benutzerdefinierte Spaltenextraktion Werte findet, ohne zu wissen, wo sie sind

Die benutzerdefinierte Spaltenextraktion funktioniert nach einem einzigen Prinzip: Sie beschreiben, was Sie finden möchten, und die KI durchsucht die gesamte Seite nach Werten, die dieser Beschreibung entsprechen – nicht durch Scannen nach passendem Labeltext, sondern durch Verstehen, was das Label bedeutet, und Identifizieren von Werten, die in seine semantische Rolle passen.

Wenn Sie „Deal Amount“ als Spaltennamen eingeben, sagen Sie der KI nicht, dass sie auf der Seite nach dem exakten Text „Deal Amount“ suchen soll. Sie sagen ihr: „Finde einen Geldwert, der den Gesamtwert einer Geschäftstransaktion oder -chance darstellt.“ Die KI liest den gesamten Screenshot – jedes Label, jede Zahl, jeden Kontexttext – und lokalisiert den Wert, der diese semantische Rolle ausfüllt. Im Salesforce-Screenshot könnte das „$47.200“ sein, das prominent oben auf einer Opportunity-Karte angezeigt wird. Im QuickBooks-Screenshot könnte es „$47.200“ sein, das in der Zeile „Fälliger Betrag“ einer Rechnungstabelle steht. Im internen Dashboard könnte es „47.200“ sein, das in einer farbigen Metrik-Karte ohne Währungssymbol angezeigt wird.

Derselbe Spaltenname funktioniert in allen drei Fällen, weil die KI ein semantisches Problem löst, kein räumliches. Sie fragt: „Welche Zahl auf dieser Seite fungiert als Deal-Betrag?“ – nicht: „Welcher Text befindet sich an den Koordinaten (340, 128)?“ Der Unterschied ist der zwischen dem Verstehen eines Dokuments und dem Fotografieren.

Deshalb wird der Ansatz manchmal Spaltennamen-Extraktion genannt: Die Namen, die Sie in die Spaltenköpfe Ihrer Ausgabetabelle eingeben, dienen gleichzeitig als Extraktionsanweisungen. Es gibt keinen separaten Schritt, in dem Sie Regeln konfigurieren, keine Trainingsphase, in der Sie Beispieldokumente annotieren, keine Vorlagenbibliothek, die Sie pflegen müssen. Dieselben Spaltennamen, die in Ihrer finalen Excel-Datei erscheinen, sind diejenigen, die die KI verwendet hat, um die Daten zu finden.

Für einen umfassenderen Überblick darüber, wie sich Screenshot-Extraktion von traditionellem OCR unterscheidet, lesen Sie unseren vollständigen Leitfaden zur Datenextraktion aus Screenshots.

Schritt für Schritt: Spalten einmal definieren, aus jedem Screenshot extrahieren

Der Workflow besteht aus drei Schritten, und nur Schritt eins müssen Sie mehr als einmal durchführen. Diese Asymmetrie ist der Kern: Sie investieren die Denkarbeit vorab, und jeder weitere Screenshot wird mit derselben Definition ohne erneute Konfiguration verarbeitet.

Schritt 1: Benennen Sie die benötigten Felder. Dies ist die einzige Entscheidung, die Sie treffen. Öffnen Sie das Extraktionstool und geben Sie die Spaltennamen ein, die den gewünschten Datenpunkten entsprechen – genau so, wie sie in Ihrer Ausgabetabelle erscheinen sollen. Für einen Deal-Tracking-Workflow über mehrere Apps hinweg könnten Sie eingeben:

Für einen Finanzabstimmungs-Workflow mit Screenshots aus Banking-Apps, Zahlungsbestätigungen und Dashboards von Buchhaltungssystemen könnten Sie eingeben:

Diese Spaltennamen sind Ihre Extraktionsspezifikation. Die KI liest sie als Anweisungen – „finde Werte, die dieser Beschreibung entsprechen“ – und nicht als wörtliche Suchbegriffe. Die Bezeichnung „Kunde“ wird „Client“, „Kontoname“, „Rechnungsempfänger“ oder jedes andere semantisch äquivalente Feld in verschiedenen App-Oberflächen erkennen. Details zur möglichst präzisen Gestaltung Ihrer Spaltennamen finden Sie im Abschnitt zur Namensstrategie unten.

Schritt 2: Laden Sie Ihre Screenshots hoch. Ziehen Sie die Salesforce-Dealkarte, den QuickBooks-Rechnungs-Tab und den internen Dashboard-Screenshot hinein – oder 50 Screenshots aus 10 verschiedenen Apps. Die KI verarbeitet jeden Screenshot unabhängig und wendet auf alle dieselben Spaltendefinitionen an. Sie muss nicht wissen, welcher Screenshot aus welcher Anwendung stammt.

Schritt 3: Laden Sie die zusammengeführte Tabelle herunter. Jeder von der KI für jede Spaltenbezeichnung gefundene Wert wird in Zeilen organisiert – eine Zeile pro Screenshot. Die Spaltenüberschriften in Ihrer Ausgabedatei sind genau die Namen, die Sie in Schritt 1 eingegeben haben. Enthält ein bestimmter Screenshot keinen Wert für eine bestimmte Spalte (z. B. hat das interne Dashboard kein Feld „Besitzer“), bleibt diese Zelle leer – die Extraktion wird für die übrigen Spalten fehlerfrei fortgesetzt.

Spaltennamen für maximale Genauigkeit bei Screenshot-Extraktion

Spaltennamen haben bei der Screenshot-Extraktion mehr Gewicht als bei der herkömmlichen Dokumentenverarbeitung. Eine PDF-Rechnung verwendet fast immer vorhersehbare Bezeichnungen: „Rechnungsnummer“, „Fälligkeitsdatum“, „Zwischensumme“. Screenshot-Oberflächen verwenden die Bezeichnungen, die der App-Designer gewählt hat – und diese variieren stark zwischen verschiedenen Apps.

Die folgenden Namensprinzipien sind speziell auf den Screenshot-zu-Tabelle-Workflow abgestimmt, bei dem derselbe Spaltenname über verschiedene, von unterschiedlichen Teams gestaltete Oberflächen hinweg funktionieren muss.

Ein Reddit-Nutzer mit über 600 Screenshots aus einer Felderfassungs-App brachte das Benennungsproblem auf den Punkt: Aus jedem Bild mussten „Tag-Nummer, Länge (cm), Gewicht (kg), Ereignistyp, Erfasser, Datum, Uhrzeit, GPS/Ort, Wassertemperatur“ extrahiert werden. Die Einheiten in Klammern – „(cm)“, „(kg)“, „(°C)“ – sind keine optionalen Details. Sie sind Anweisungen, die der KI sagen, welche Zahl welche ist, wenn die Benutzeroberfläche mehrere Messwerte auf demselben Bildschirm anzeigt.

Stapelverarbeitung: Eine Spaltendefinition, beliebig viele Screenshots aus jeder App

Sobald die Spaltennamen definiert sind, skaliert der Workflow ohne zusätzliche Konfiguration. Hier zahlt sich die Investition in Schritt eins aus: 5 Screenshots oder 500 – aus 2 Apps oder 20 – die Extraktionsspezifikation ändert sich nicht.

Stellen Sie sich den Feldforscher mit 600 Screenshots aus einer mobilen Datenerfassungs-App vor. Jeder Screenshot enthält dieselben Datentypen (Tag-Nummer, Länge, Gewicht, GPS-Koordinaten), angeordnet im selben UI-Layout derselben App. Das ist der einfache Fall – gleiche App, gleiches Layout, nur hohes Volumen. Die benutzerdefinierte Spaltenextraktion bewältigt das, aber auch eine gut konfigurierte OCR-Vorlage würde funktionieren.

Der schwierigere Fall – und der, der die benutzerdefinierte Spaltenextraktion zur richtigen Architektur macht – ist, wenn die Screenshots aus verschiedenen Anwendungen stammen. Ein Betriebsleiter, der wöchentliche Kennzahlen sammelt, könnte erfassen:

• Umsatz und Bestellanzahl aus einem Shopify-Admin-Panel (E-Commerce-Dashboard-Layout)
• Ausstehende Sendungen von einem ShipStation-Bildschirm (Logistik-Tabellenlayout)
• Volumen der Kundensupport-Tickets aus einem Zendesk-Dashboard (Analytics-Kartenlayout)
• Kontostand aus einem Screenshot der Chase-Mobile-App (Banking-App-Kartenlayout)

Jeder Screenshot sieht völlig anders aus. Dennoch finden die Spalten – „Umsatz“, „Bestellungen“, „Ausstehende Lieferungen“, „Offene Tickets“, „Kontostand“ – in jedem ihre Werte. Die KI liest jeden Screenshot unabhängig, versteht, welche Daten er enthält, und ordnet die passenden Werte den richtigen Spalten zu. Das Ergebnis ist eine einzige Tabelle mit einer Zeile pro Screenshot und genau den von Ihnen definierten Spalten.

Eine ausführliche Erläuterung des Batch-Workflows – einschließlich Namenskonventionen, Zusammenführung von Ergebnissen und Verarbeitung von Screenshots aus verschiedenen Quellen – finden Sie in unserem Leitfaden zum Batch-Verarbeiten von App-Screenshots in strukturierte Tabellen. Wenn Sie neu in der Screenshot-Extraktion sind und eine breitere Grundlage wünschen, beginnen Sie mit Daten aus Screenshots ohne Abtippen in Excel übertragen.

Ein spezielles Tool, das jeden Screenshot mit dem hier beschriebenen Spaltennamen-Ansatz in strukturierte Excel-Daten umwandelt, finden Sie unter Screenshot-zu-Excel-Extraktionstool.

Häufig gestellte Fragen

Funktioniert das auch bei Screenshots ohne Tabellen – also nur Karten oder Label-Wert-Paare?

Ja. Genau hier bietet die benutzerdefinierte Spaltenextraktion den größten Mehrwert gegenüber Tabellenerkennungstools. Eine Zahlungsbestätigung besteht aus drei vertikal gestapelten Label-Wert-Paaren. Eine CRM-Deal-Karte ist eine visuelle Karte mit 8–10 Feldern in einem nicht-tabellarischen Layout. Eine Bank-App-Transaktionsdetailansicht ist eine scrollbare Liste von Schlüssel-Wert-Zeilen. Die KI findet die von Ihnen angefragten Werte, unabhängig davon, ob das Layout eine Tabelle, eine Karte, ein Formular oder eine gemischte Anordnung ist – sie liest nach Bedeutung, nicht nach Rasterstruktur.

Was passiert, wenn zwei verschiedene Zahlen im selben Screenshot zu einem Spaltennamen passen könnten?

Deshalb ist die Präzision von Spaltennamen so wichtig. „Betrag“ ist mehrdeutig – eine Salesforce Opportunity Card kann auf demselben Bildschirm den Deal-Betrag, den erwarteten Umsatz und den jährlich wiederkehrenden Umsatz anzeigen. „Deal-Betrag“ ist präzise genug, um zu unterscheiden. Falls weiterhin Unklarheit besteht, können Sie einen Hinweis zu Format oder Position hinzufügen: „Deal-Betrag (der größte Dollarwert auf der Karte)“ gibt der KI genügend Kontext, um den richtigen Wert auszuwählen. Je präziser Ihr Spaltenname, desto weniger Raum für Mehrdeutigkeiten.

Kann ich Daten aus Screenshots extrahieren, die sowohl Text als auch Zahlen in unstrukturierten Layouts enthalten?

Ja, in angemessenem Rahmen. Wenn ein Screenshot einen Absatz mit freiem Text enthält und darin die benötigten Daten vorkommen (z. B. eine Chat-Nachricht mit „Bitte versenden Sie 50 Einheiten von SKU-4421 an 123 Main St“), kann die KI die Menge, SKU und Adresse als separate Spalten extrahieren – vorausgesetzt, Ihre Spaltennamen sind klar formuliert („Versandmenge“, „SKU“, „Lieferadresse“). Die Extraktion ist weniger zuverlässig als bei strukturierten Oberflächen, funktioniert aber. Für die spezifische Extraktion von Bestellungen aus Chats gilt derselbe Ansatz mit präzisen Spaltennamen.

Welche Genauigkeit kann ich bei der Extraktion aus Screenshots verschiedener Apps erwarten?

Die Genauigkeit hängt von drei Faktoren ab: der Eingabequalität (saubere, lesbare Screenshots liefern bessere Ergebnisse als unscharfe oder beschnittene), der Präzision der Spaltennamen (vage Namen führen zu mehrdeutigen Zuordnungen) und der semantischen Klarheit der Benutzeroberfläche (eine App mit klar beschrifteten Feldern liefert bessere Ergebnisse als eine, die Werte in dichtem Text verbirgt). In der Praxis erzielen gut benannte Spalten auf klaren Screenshots eine hohe Genauigkeit – oft über 95 % bei einfachen Feldern wie Beträgen, Daten und Namen. Komplexe oder stark abgekürzte Oberflächen erfordern gelegentlich manuelle Stichproben. Daher ist die Ausgabetabelle eine normale Tabellenkalkulation, die Sie direkt bearbeiten können.

Funktioniert dieser Ansatz auch für Screenshots in anderen Sprachen als Englisch?

Spaltennamen sollten der Sprache Ihrer Zielausgabe entsprechen, nicht unbedingt der Sprache des Screenshots. Wenn Ihre Spalte „Customer Name“ heißt und der Screenshot auf Deutsch „Kundenname“ zeigt, versteht die KI, dass beide denselben Begriff meinen. Der semantische Abgleich funktioniert sprachübergreifend, da er auf Bedeutung und nicht auf Zeichenketten basiert.

Worin unterscheidet sich das von Excels integrierter Funktion „Daten aus Bild“?

Excels „Daten aus Bild“ ist ein Tabellendetektor – es sucht nach Zeilen- und Spaltenstrukturen und wandelt sie in Tabellenzellen um. Es funktioniert gut mit sauberen, umrandeten Tabellen. Es funktioniert nicht mit Kartenlayouts, Bezeichnung-Wert-Paaren, Dashboard-KPIs oder anderen nicht-tabellarischen Benutzeroberflächen. Die benutzerdefinierte Spaltenextraktion erfordert keine tabellarische Datenstruktur – sie findet Werte anhand ihrer semantischen Rolle an beliebiger Stelle auf der Seite. Die beiden Ansätze lösen unterschiedliche Probleme.