住所、注文番号、金額をあらゆるチャットスクリーンショットから抽出

プラットフォームごとに吹き出しの表示が異なる。 WhatsAppは緑/グレーの左寄せ吹き出し、iMessageは青/緑でタイムスタンプが内部に、Telegramはカスタムスタイルに返信スレッド、SMSには吹き出しすらない。テンプレートベースのOCRでは、始める前から失敗する。

データがラベルなしで複数のメッセージにまたがる。 住所が一つの吹き出しで始まり、次の吹き出しで続き、その後に無関係な雑談が続く。注文番号は3つ前のメッセージにあるかもしれない。金額は支払いカードの画像内にあるかもしれない。ラベルがないため、ツールはどれがどれか判断できない。

視覚的なノイズが基本的なOCRを圧倒する。 絵文字、スタンプ、既読マーク、入力中インジケーター、タイムスタンプ、連絡先写真——1枚のチャットスクリーンショットには数十ものテキスト要素が含まれる。Redditの小規模事業者オーナーは、日常を「毎晩2時間、WhatsAppの注文をExcel/Xeroに打ち直している」と語る。単純なOCRではフィルタリングできず、すべてを出力してしまう。

列名を指定するだけで、AIが意味に基づいて値を特定。「配送先住所」「注文番号」「金額」と入力するだけ。ビジョンモデルがスクリーンショット内のすべてのテキストを読み取り、意味的に該当するものを識別します。どの吹き出しにあるか、左右どちら向きか、絵文字に囲まれているかは関係ありません。

バッチ内の全チャットアプリで共通の列セットを使用。WhatsAppの緑の吹き出し、iMessageの青い吹き出し、Telegramのメッセージ、SMSの会話をまとめてアップロード。列定義は一度だけ。AIが各アプリの吹き出しレイアウトに個別に適応し、すべてのスクリーンショットが同じスプレッドシートの1行になります。

コンテキストが散在・曖昧なデータを解決。3つの吹き出しにまたがる住所も、モデルが断片を認識して一貫性のある住所として統合。以前の吹き出しで「こちらに配送してください」とペアになった数字は、単なるランダムな数字ではなく郵便番号として正しく識別されます。