表画像を Excel に変換 — テキストを読むだけでなく、グリッドを再構築

OCRはセルを読むが、セル間の関係は読まない。 標準的なOCR（Excelの「画像からデータ」やほとんどのオンライン変換ツールを含む）はピクセル単位で動作し、文字の形状を検出して、おおよそのX,Y座標とともにテキスト文字列を出力する。「$1,290.00」が座標(450, 320)に存在することはわかるが、これが表の合計行であることはわからない。「合計」というヘッダーとその下の数値との関係は、位置ベースのツールには見えない。これらは無関係な2つのテキスト断片を抽出し、近接性が所属関係を意味することを期待して、隣接するスプレッドシートのセルにダンプする。列を区切るグリッド線がない場合や、ヘッダーが結合セルにまたがる場合、出力は混乱する。

結合セル、枠線のない表、ネストされたグリッドはグリッド検出では見えない。 グリッドベースのパーサー（線を探して行と列を分割するツール）は、線が存在しない瞬間に失敗する。空白のみで列が区切られ、描画された境界線がない価格表は、検出するグリッドを生成しない。「Q1売上高」が4つのサブ列にまたがる結合ヘッダーを持つダッシュボードのスクリーンショットは、単一セルのラベルに平坦化され、その下のデータが間違った列に割り当てられる。表がネストされている場合（詳細表を埋め込んだ要約表など）、外側と内側のグリッドが衝突し、パーサーはどの構造が優先されるかを判断できない。

固定テンプレートは、テーブルレイアウトが変わるとすぐに機能しなくなる。 テンプレートベースのツール（Nanonets、Rossum）では、特定のドキュメントレイアウトに結びついた抽出ルールを設定する必要がある。請求書#43の合計が右下隅にあり、請求書#44の合計が「支払期日」セクションの上に中央揃えされている場合、テンプレートは見逃す。これは、異なるアプリからのスクリーンショット、異なる列配置のスキャンされた価格表、わずかに異なる角度から撮影された表の電話写真にも当てはまる。レイアウトのバリエーションごとに新たな障害点が生まれ、それを修正するのはあなた自身だ。

あなたが項目を定義すれば、AIがグリッド全体にマッピング。 「請求書番号、日付、取引先、小計、税、合計」と入力するだけで、視覚言語モデルが画像全体をテーブル構造として読み取り、「請求書番号」は上部ヘッダー付近の「INV-2024-0842」のような値、「合計」は最下行の金額、「取引先」は請求セクション近くの会社名を指すと理解します。列に正確な単語がラベル付けされている必要はなく、テーブルレイアウト内での役割から値を特定します。これがカスタム列抽出です。OCRが推測したセルにテキストをそのまま出力するのではなく、あなたが列を指定し、AIが対象フィールドを中心にグリッドを再構築します。

結合セル、罫線なしテーブル、入れ子グリッドも文脈で理解。 視覚大規模モデルがレイアウト全体を認識し、Q1からQ4にまたがるヘッダーを単一セルのラベルではなく親グループとして識別します。空白で区切られた罫線なしテーブルは、線の有無ではなく視覚的な整列をAIが理解するため、列として読み取られます。ダッシュボードのスクリーンショットに詳細テーブルが埋め込まれた集計表がある場合、AIはレイアウト階層を理解して2つの構造を区別します。これは人間が画像を見るのと同じ方法です。結合セルはサブ列との関係を保持し、各サブ列のデータは正しく割り当てられます。

1つの列定義が、レイアウトに関係なくあらゆる画像で機能。 Webダッシュボードのスクリーンショット、印刷された仕入先価格表のスマホ写真、2018年のスプレッドシートのスキャン — それぞれ列の位置もヘッダーの文言も総列数も異なります。これらをすべて1つのバッチとしてアップロード。列名を一度定義するだけで、AIが各画像を個別に読み取り、それぞれのグリッド構造を再構築し、結果を1つのスプレッドシートに統合します。処理時間は画像1枚あたり5〜10秒。複数ページのテーブルにも対応し、AIは改ページをまたいでテーブルが継続することを認識し、行の連続性を保持し、繰り返しヘッダーをデータ行として重複しません。コレクションリンク（共有可能なアップロードページ）を使えば、相手がアカウントを持たなくても、テーブル画像を直接あなたの処理キューに送信できます。