スクリーンショットからのデータ抽出
有効な方法と無効な方法

なぜ圧縮は文字レベルでテキストを破壊するのか

同じ内容の200KBのJPEGスクリーンショットが1.2MBのPNGよりも抽出結果が悪い理由は、ファイルサイズとは無関係です。圧縮処理でどの情報が生き残るかが問題なのです。

ISO/IEC 10918規格で定義されるJPEG圧縮は、画像を8×8ピクセルのブロックに分割し、離散コサイン変換（DCT）を適用して各ブロックを周波数係数に変換した後、それらの係数を量子化（より少ない値に丸める）することで動作します。圧縮率が高いほど、丸めはより粗くなります。破棄される周波数は、人間の視覚系が自然な写真ではそれらに敏感でないために選ばれています。しかし、テキストは自然な写真ではありません。文字は高コントラストで高周波のエッジであり、JPEGの量子化ステップこそが、それらのエッジの鮮明さを失わせる箇所なのです。

テキスト抽出に影響する3つの具体的なアーティファクトは以下の通りです。

• ブロックノイズ — 8×8ブロックごとに独立して処理されるため、隣接ブロックの境界で平均値が大きく異なることがあります。文字がブロック境界をまたぐと、両側の線分がつながらなくなることがあります。小文字の「l」が2つのブロックに分割されると2つの別々のマークになったり、「B」の左側の縦線が完全に消えたりします。
• ハロー/リンギング — 文字の輪郭などの鋭いエッジの周辺で、DCT近似により振動が発生します。これは、誤った色のピクセルが幽霊のように輪状に現れる現象です。「E」の周辺では、このハローが縦線と上部の横棒の間の隙間を埋め、抽出結果で「F」になってしまいます。品質設定が低いほど、E→F→C→誤認識という連鎖リスクが高まります。
• クロマノイズ — JPEGは通常、輝度よりも色チャンネルに強い圧縮をかけます。色付きの背景に色付きの文字（ダークモードUIの青いラベルなど）がある場合、文字のエッジ周辺に色ノイズが蓄積し、認識をさらに妨げます。

一方、PNGはISO/IEC 15948:2004で定義されたdeflate圧縮アルゴリズムを使用します。これは可逆方式であり、すべてのピクセルをキャプチャしたまま正確に保存します。ブロック境界、ハロー、クロマサブサンプリングによるノイズは一切発生しません。

これらの品質問題が異なる抽出方法でどのように現れるか詳しく知りたい方は、スクリーンショット抽出でよくあるミスと対策ガイドをご覧ください。本記事の姉妹編として、失敗パターンをまとめています。

キャプチャ前に調整できる3つのポイント

スクリーンショットの抽出精度を向上させるには、キャプチャショートカットを押す前の準備が重要です。最も効果的な3つの調整は、専門知識がなくてもすぐに実践できます。

1. 形式：常にPNGを選択

Windowsでは、Snipping Toolを開き、設定から「スニップの保存形式」をPNGに変更します。macOSでは、ターミナルで defaults write com.apple.screencapture type png を実行します。iOSとAndroidでは、スクリーンショットはデフォルトでPNG形式です。この設定は変更しないでください。JPEGよりファイルサイズは大きくなりますが、すべてのバイトが抽出エンジンに必要な文字エッジデータを保持します。

標準的な画面表示解像度は72～96 DPI程度で、文書OCRに推奨される最低300 DPIを大きく下回ります。画面のピクセル密度は変更できませんが、どのピクセルを重要視するかはコントロールできます。

2. 拡大：キャプチャ前にズームイン

テキストがより多くの画面ピクセルを占めると、各文字の抽出エンジンが処理できるピクセルデータが増えます。表をキャプチャする前に、ブラウザやアプリを150%にズームしましょう。銀行取引明細のスクリーンショットを拡大すれば、個々の数字のエッジがくっきりし、線画全体に2～3ピクセルのぼやけが生じるのを防げます。このひと手間だけで、抽出ツールを変えるよりも精度が大幅に向上することがよくあります。

300 DPIでスキャンされた文書は、1インチあたり約300のサンプルポイントをOCRエンジンに提供します。デフォルトのズームでテキストを含む96 DPIのスクリーンショットは、その約3分の1しか提供しません。ズームインすることで、画面の利用可能なピクセルを実際に必要なテキストに集中させ、この不利を軽減します。

3. トリミング：ノイズを除去

必要なデータテーブルが1つだけ含まれるERPダッシュボード全体のスクリーンショットは、抽出エンジンに約80%のノイズ（ナビゲーションバー、フィルタードロップダウン、通知バッジ、広告バナー、ステータスインジケーター）を送信することになります。すべてのUI要素は誤検出の可能性があります。「送信」というラベルのボタンがデータフィールドとして読み取られたり、アイコンが無関係な文字として解釈されたりする可能性があります。

アップロード前にデータ領域にトリミングしてください。抽出ツールが選択的フィールド抽出をサポートしている場合、この手順は重要ではありませんが、それでも処理時間を短縮し、エンジンが無関係なUIテキストで誤った一致を見つけるリスクを排除します。低解像度のスクリーンショットでは、除去するノイズのピクセル1つ1つが、防止する混乱のピクセルです。

スクリーンショットが既にある場合 — 現実的な復旧方法

実際の現場で最もよくあるシナリオは、ほとんどのガイドが完全に無視しているものです。スクリーンショットは既に劣化した状態で届き、元のページ、アプリ、会話はもう存在しません。

WhatsApp、WeChat、Slackで転送されたスクリーンショットは、すでに一度強力な圧縮を受けています。メール本文に埋め込まれたスクリーンショットは、メールクライアントによって再エンコードされている可能性があります。共有ドライブからダウンロードしたスクリーンショットは、元の送信者がJPEGで保存しているかもしれません。いずれの場合も、元のピクセルデータは失われています。

再保存はしないでください。この段階で最も多いミスは、スクリーンショットを開いて簡単に切り抜き、JPEGとして再保存することです。JPEGの再保存を繰り返すたびに、既存の8×8ブロックのアーティファクトの上に新たなブロックが重なります。連続した保存でブロックのグリッドがずれることもあります（1ピクセルの切り抜きでグリッド全体がずれます）。品質80で5～10回再保存すると、劣化が目立ち始めます。20～30回繰り返すと、画像は「すりガラス越しに撮影したように」なると、圧縮アーティファクトの研究で報告されています。編集が必要な場合は、PNGで保存してください。

スクリーンショットがメッセージアプリから送られてきたもので、送信者がまだ元のファイルにアクセスできる場合は、メールの添付ファイルやクラウドストレージのリンクでファイルを共有してもらうよう依頼してください。メッセージアプリは、一般的などのパイプラインよりも強力な圧縮を適用します。同じコンテンツをGoogle DriveやOneDriveで共有すれば、通常は元のPNGの忠実度が保たれます。

再キャプチャが本当に不可能で、スクリーンショットがすでに劣化している場合、次の戦略は全ページOCRエンジンにかけることではなく、抽出ツールに探させる対象を変えることです。

スクリーンショットでは全ページOCRより部分抽出が優れている理由

スクリーンショットにUIの装飾、圧縮されたテキスト、様々なビジュアル要素が混在している場合、ページ上のすべての単語を認識しようとするのは得策ではありません。必要なのはすべての単語ではなく、5～10個の特定のデータポイントです。使用するツールはこの現実に合致している必要があります。

ページ上のすべての文字を左から右へ認識しようとする従来のOCRツールとは異なり、ImageToTable.aiは列名抽出を使用します。「請求書番号」「支払期日」「合計金額」など、必要なフィールドを入力すると、AIは1行1行すべてのピクセルを読み取るのではなく、それらの意味を理解することで画像内の特定の値をスキャンします。入力した列名が出力スプレッドシートのヘッダーになります。これは、各フィールドの周りにバウンディングボックスを描画する必要があるテンプレートベースのツールや、すべてを区別のないテキストブロックにダンプするOCRエンジンとは根本的に異なります。

この機能の背後にあるのはビジュアル大規模モデル（VLM）です。これは、人間と同じようにドキュメント画像の内容とレイアウトを理解するよう訓練されたAIであり、文字テンプレートにピクセルパターンをマッチングするのではなく、セマンティックな役割によってフィールドを認識します。従来のOCRがピクセルのグリッドを見て各領域を文字にマッピングしようとするのに対し、VLMはドキュメントを認識します。「Invoice #」の横の数字が識別子であること、右下の通貨記号付きの値がおそらく合計であること、DD/MM/YYYY形式の日付が日付列に属することを理解します。

劣化したスクリーンショットにおいてこれが重要な理由：著作権表示内の小文字の「l」がJPEGのアーティファクトで「1」に変わっても、エンジンに著作権表示の抽出を依頼していなければ問題になりません。列名抽出はエラーの発生範囲を、関心のあるフィールドに限定します。エンジンはページ上のすべてのピクセルを正しく解読する必要はなく、ノイズの中から意味のある値をいくつか特定できれば十分です。「合計」フィールド付近の局所的な圧縮アーティファクトがあっても、周囲のコンテキスト（位置、通貨記号、数字のみの形式）がモデルに十分なシグナルを提供すれば、対応可能です。

とはいえ、正直な限界もあります。対象フィールドのテキストが実質的に判読不能な場合（約6ポイント相当以下にぼやけている、複数回の圧縮でつぶれている、複雑な背景パターンに重なっているなど）、存在しないデータを意味モデルが再構築することはできません。その場合は、前のセクションの復旧手順を参照し、そのフィールドを手動レビュー項目として扱ってください。精度とは、ツールができることを最大化することであり、限界がないふりをすることではありません。

特定のデータポイントに対する選択的抽出の設定方法の完全な手順については、スクリーンショットから特定のデータフィールドを抽出するガイドをご覧ください。

精度数値の本当の意味 — 有用な期待値を設定する

印刷されたテキストに対して「精度99%」と謳うベンダーは、あなたのWhatsAppで圧縮された銀行アプリのスクリーンショットに対して何が起きるかを何も教えてくれません。重要なのは、実際の入力に対するフィールドレベルの精度です。

OCR精度の業界標準は文字レベルです。つまり、個々の文字が正しく認識された割合です。文字レベルで99%の精度とは、100文字あたり1つの誤りを意味します。これは一見印象的に聞こえますが、10桁の請求書番号で1桁間違えると、文字レベルでは90%の精度でも、データポイントとしては0%の有用性しかありません。間違った番号に請求書を計上することはできません。フィールドレベル精度（要求したフィールドのうち、完全に正しく取得できた割合）こそ、抽出ワークフローが実際に使えるかどうかを判断する指標です。

標準フォントと良好なコントラストを持つクリーンな高解像度PNGスクリーンショットでは、最新のビジュアル大規模モデル抽出は、日付、金額、識別子などの明確に定義されたフィールドに対して、95～99%のフィールドレベル精度に近づくことができます。小さなフォントと混在した背景色を持つ密集したテーブルの圧縮JPEGスクリーンショットでは、フィールドレベル精度は低下します。そして、責任ある対応としては、完全自動のパススルーではなく、手動スポットチェックを想定することです。95%のフィールドが正しく、5%がレビュー対象としてフラグされるプロセスでも、すべてを手動で転記する場合と比較して、依然として約20倍の時間節約になります。これは失敗ではありません。

これこそ、スクリーンショットからのデータ抽出に汎用AIチャットツールが不向きな理由です。ChatGPTやClaudeはスクリーンショットからテキストを読み取れます（マルチモーダル機能は本物です）が、自然シーンの理解と会話応答の生成に最適化されています。構造化されたフィールド検証レイヤーがなく、認識された値が実際に日付かどうかを検証する仕組みも、50枚のスクリーンショットを一括処理する際に出力スキーマを強制する方法も、スプレッドシート形式への列レベルのマッピングもありません。詳細な比較は、ChatGPTとClaudeがスクリーンショットデータ抽出に最適でない理由をご覧ください。

精度の基準は「初回で完璧」ではなく「レビューで使えるレベル」に設定しましょう。WhatsAppに届いたスクリーンショットは、すでに品質が劣化しています。どこまで回復できるかは、フォーマット、拡大縮小、トリミング、そしてツールにすべての単語を読ませるか必要な5つのフィールドだけを読ませるかによります。

よくある質問

スクリーンショット抽出において、PNGはJPGと比べて本当にそんなに違うのですか？

はい、その差は低解像度のスクリーンショットでさらに顕著になります。品質80で保存されたJPGは、元のピクセルデータの約10～15%をすでに破棄しています。10ポイントのテキストの96 DPIスクリーンショットでは、破棄されたデータには「8」と「B」や「5」と「S」を抽出エンジンが区別するために必要な文字エッジの詳細が含まれています。PNGは、そのすでに限られた解像度のすべてのピクセルを保持します。実用的なテストは簡単です。同じスクリーンショットを2枚撮り、1枚をJPG、もう1枚をPNGで保存し、両方を抽出にかけてフィールドレベルの結果を比較してください。

抽出を実行する前に、すでに圧縮されたスクリーンショットを改善できますか？

状況を悪化させないことはできますが、非可逆圧縮で失われたデータを復元することはできません。JPGのスクリーンショットを開いてPNGとして保存しても、失われたピクセル情報は戻らず、その後の編集によるさらなる劣化を防ぐだけです。AIによる高解像度化ツールも同様で、人間の目には鮮明に見えるように補間ピクセルを追加できますが、元の文字形状を復元するのではなく、合成データを生成しているに過ぎません。圧縮によってフィールドが本当に曖昧になった場合、高解像度化によって誤った解釈に確信を持ってしまう可能性があります。

確実に抽出するには、スクリーンショットにどの程度の解像度が必要ですか？

スクリーンショットには従来の意味でのDPI設定はなく、現在表示されているピクセルをそのままキャプチャします。実効解像度は、画面のピクセル密度と画面上でのテキストの大きさに依存します。1920×1080の13インチノートパソコンでは、1インチあたり約141ピクセルですが、表示されるテキストはOSによってレンダリングされたものであり、物理的な文書からキャプチャしたものではありません。実用的なルールとしては、画面で目を細めずにテキストを快適に読め、かつネイティブズーム以上の倍率でPNGとしてキャプチャすれば、抽出は可能なはずです。数字を読むために200%に拡大する必要がある場合、抽出エンジンも同じ課題に直面します。

従来のOCRツールでは読み取れないスクリーンショットから、視覚大規模モデルはデータを抽出できますか？

多くの場合、その通りです。ただし、VLMがより鮮明なピクセルを見ているからではありません。同じピクセルを見ていても、その解釈の仕方が異なります。従来のOCRエンジンは、統計モデルを用いてピクセルパターンを個々の文字にマッピングします。一方、VLMは画像を全体的に読み取ります。つまり、ドル記号の隣にあるぼやけた塊はおそらく金額であり、スラッシュやダッシュで区切られた数字の羅列は日付である可能性が高く、「口座名義」の下にある値は、たとえ一部の文字が曖昧でもテキストであると理解します。このような意味的な文脈により、VLMは文字単位のOCRエンジンではエラーとして残るようなギャップを埋めることができます。ただし、モデルは超能力者ではありません。圧縮やぼかしによって対象の値が完全に破壊されている場合、出力は間違ったものになります。利点は、部分的な劣化に対処できることであり、奇跡を起こすことではありません。

低品質のスクリーンショットから、いくつのフィールドを抽出すべきですか？

まずは、ワークフローに重要な5～10個のフィールドから始めてください。それらが正確に取得できれば、さらに追加しても構いません。5個のフィールドでさえ一貫性がない場合、スクリーンショットの品質がおそらく実用可能な閾値を下回っています。再試行する前に、ソース（フォーマット、スケーリング、再キャプチャ）に対処する必要があります。劣化した入力に対して「とりあえず全部抽出して後で整理する」という本能は逆効果です。出力にノイズが溢れ、検証が遅くなるだけで、速くはなりません。

実際に機能するスクリーンショット抽出の流れは次の通りです。快適なズームでPNGとしてキャプチャし、データ領域にトリミング、必要なフィールドのみを指定し、低品質の入力では完全な正確性を期待せずに結果をスポットチェックすることを前提とします。実際に試してみてください。同じデータテーブルをPNGとJPGの両方で撮り、両方を抽出にかけて違いを比較してください。次に、5つの特定フィールドを抽出する場合と、ページ全体を要求する場合を試してみてください。これらのアプローチの差はわずかなものではありません。信頼できるワークフローと、修正に費やす時間が節約した時間を上回るワークフローの差です。

スクリーンショットからExcelへのワークフローの初心者向けステップバイステップガイドは、スクリーンショットからExcelにデータを取得する方法（手入力不要）をご覧ください。業界別の抽出テンプレートについては、スクリーンショットからExcelへのツールページをご参照ください。