WeChat Pay のスクリーンショットから クリーンな支払いログへ — 金額・商户・取引番号を一括取得

中国語のUIラベルが西洋のOCRツールを混乱させる。 英語ラベル用に作られたツールは、金額が「amount」であることや、交易单号が注文番号であることを認識できない。

3種類の取引があり、それぞれ表示される項目が異なる。 商户支払いでは金額・商户・注文番号が表示される。転送では金額と表示名は表示されるが注文番号はない。紅包（レッドパケット）は開封後に金額のみ表示される。

取引はフォーム内ではなくチャット内に存在する。 支払い確認は会話スレッド内のカードとして表示され、メッセージやシステム通知に囲まれている。Redditや開発者フォーラムのユーザーは、OCRツールが支払いスクリーンショットから「日時を変更したり、金額を読み取れなかったりする」と一貫して報告している — まさに、支払いカードを周囲のインターフェース要素から分離できないためだ。

AIが中国語ラベルを意味的なアンカーとして読み取ります。 金額が「amount」を意味することを認識し、その値をAmount列に対応付けます。英語で入力するだけで、AIはラベルとの視覚的な対応関係に基づいて中国語ラベルの値をマッピングします。

1つの列セットが3種類すべての取引タイプに対応します。 Amount、Counterparty、Date、Order Numberを一度定義するだけ。商户支払いはすべてのフィールドに入力されます。转账はAmountとCounterpartyに入力されます。紅包は最低でもAmountに入力されます。

視覚構造の認識により、支払いカードとチャットのノイズを区別します。 ビジョンモデルは支払いカードを独立した視覚オブジェクトとして識別します。WeChat Payヘッダー付きの枠線付き長方形として認識し、周囲のメッセージを無視しながら内部のデータを読み取ります。