住所・注文番号・金額をあらゆるチャットスクリーンショットから抽出

プラットフォームごとに吹き出しの表示が異なります。 WhatsAppは緑/グレーの左寄せ吹き出し。iMessageはタイムスタンプが内包された青/緑。Telegramは返信スレッド付きのカスタムスタイル。SMSには吹き出しがありません。テンプレートベースのOCRは、始まる前に失敗します。

データはラベルのない複数のメッセージにまたがっています。 住所が1つの吹き出しで始まり、次の吹き出しで続き、その後に無関係な雑談が続きます。注文番号は3つ前のメッセージにあるかもしれません。金額は支払いカードにあるかもしれません。どれがどれかを示すラベルがありません。

視覚的なノイズが基本的なOCRを圧倒します。 絵文字、ステッカー、既読マーク、入力インジケーター、タイムスタンプ、連絡先の写真が、テキスト要素で埋め尽くされた1枚のチャットスクリーンショットを作り出します。Redditの小規模ビジネスオーナーは、「毎晩2時間、WhatsAppの注文をExcel/Xeroに打ち直している」という日常を語っています。Dump OCRはフィルタリングできません。すべてを出力します。

列を指定するだけで、AIが位置ではなく意味で値を特定します。「配達先住所」「注文番号」「金額」と入力するだけ。ビジョンモデルがスクリーンショット内のすべてのテキストを読み取り、どの吹き出しにあるか、どの向きか、絵文字に囲まれているかに関係なく、意味的に一致するものを特定します。

バッチ内のすべてのチャットアプリで同じ列セットを使用。WhatsAppの緑の吹き出し、iMessageの青い吹き出し、Telegramのメッセージ、SMSの会話をまとめてアップロード。列を一度定義するだけで、AIが各アプリの吹き出しレイアウトに個別に適応します。すべてのスクリーンショットが同じスプレッドシートの1行になります。

コンテキストが散在・曖昧なデータを解決します。3つの吹き出しにまたがる住所は、モデルが断片が一貫した住所を形成すると認識するため、1つのフィールドとして組み立てられます。直前の吹き出しで「こちらに送ってください」とペアになっている数字は、単なるランダムな数字ではなく郵便番号として正しく識別されます。