スクリーンショットのデータ抽出
効果的な方法とそうでない方法

圧縮が文字レベルでテキストを破壊する理由

同じ内容の200KBのJPEGスクリーンショットが、1.2MBのPNGよりも抽出結果が悪くなる理由は、ファイルサイズとは無関係です。重要なのは、圧縮処理を経ても残る情報の質です。

JPEG圧縮は、ISO/IEC 10918規格で定義されており、画像を8×8ピクセルのブロックに分割し、離散コサイン変換（DCT）で各ブロックを周波数係数に変換した後、それらの係数を量子化（より少ない値に丸める）します。圧縮率が高いほど、丸めはより積極的になります。捨てられる周波数は、人間の視覚系が自然な写真ではそれらに敏感でないために選ばれます。しかし、テキストは自然な写真ではありません。文字は高コントラストで高周波のエッジであり、JPEGの量子化ステップこそが、それらのエッジの明瞭さを失わせる箇所です。

テキスト抽出に影響する3つの具体的なアーティファクトがあります：

• ブロックノイズ — 各8×8ブロックが独立して処理されるため、隣接するブロックの境界で平均値に顕著な差が生じることがあります。文字がブロック境界をまたぐと、両側のセグメントがつながらなくなる可能性があります。小文字の「l」が2つのブロックに分割されると2つの別々のマークになることがあり、「B」は左の縦線を完全に失うこともあります。
• ハロー効果（リンギング） — 文字の輪郭のような鋭いエッジの周囲で、DCT近似が振動を生み出します。これは、誤った色のピクセルによるかすかなゴースト状のリングです。「E」の周囲では、これらのハローが縦線と上部の横棒の間の隙間を埋め、抽出結果で「F」に変わることがあります。品質設定が低いほど、リスクは連鎖します：E → F → C → 誤読。
• クロマノイズ — JPEGは通常、輝度よりも色チャンネルに強い圧縮を適用します。色付き背景の色付きテキスト（ダークモードUIの青いラベルなど）は、文字エッジの周囲に色ノイズが蓄積し、認識をさらに妨げます。

一方、PNGはISO/IEC 15948:2004で定義されたdeflate圧縮アルゴリズムを使用します。これは可逆方式で、すべてのピクセルを撮影時の状態で正確に保持します。ブロック境界も、ハロー効果も、クロマサブサンプリングによるアーティファクトもありません。

これらの品質問題がさまざまな抽出試行でどのように現れるかについて詳しくは、スクリーンショット抽出のよくある間違いガイドをご覧ください。これは本記事の姉妹記事で、失敗パターンを網羅しています。

キャプチャ前にコントロールできる3つのこと

スクリーンショットの抽出精度を向上させるには、キャプチャのショートカットを押す前の準備が重要です。最も効果的な3つの調整は、技術的な知識が一切不要です。

1. 形式：常にPNG

Windowsでは、Snipping Toolを開き、設定に移動して「Save snips as」をPNGに切り替えます。macOSでは、ターミナルでdefaults write com.apple.screencapture type pngを実行します。iOSとAndroidでは、スクリーンショットはデフォルトでPNGです。これを変更しないでください。ファイルはJPEGより大きくなりますが、すべてのバイトが抽出エンジンが頼りにする文字エッジデータを保持しています。

標準的な画面表示解像度は約72〜96 DPIで、ドキュメントOCRに推奨される最低300 DPIをはるかに下回ります。画面のピクセル密度は変更できません。しかし、どのピクセルを重要視するかはコントロールできます。

2. スケーリング：キャプチャ前にズームイン

テキストがより多くの画面ピクセルを占めると、各文字が抽出エンジンで処理するためのピクセルデータが増えます。テーブルをキャプチャする前に、ブラウザやアプリを150%にズームしてください。銀行明細書のスクリーンショットを拡大して、個々の数字がストローク全体で2〜3ピクセルのぼやけたピクセルではなく、鮮明なエッジを持つようにします。この1つのステップだけで、抽出ツールを変更するよりも大きな精度向上が得られることがよくあります。

300 DPIでスキャンされたドキュメントは、OCRエンジンに1インチあたり約300のサンプルポイントを提供します。デフォルトのズームでテキストを含む96 DPIのスクリーンショットは、その約3分の1しか提供しません。ズームインすると、画面の利用可能なピクセルを実際に必要なテキストに集中させ、不利な状況を軽減できます。

3. クロッピング：ノイズを除去

必要なデータテーブルが1つだけ含まれるERPダッシュボード全体のスクリーンショットは、抽出エンジンに約80%のノイズを送信しています。ナビゲーションバー、フィルタードロップダウン、通知バッジ、広告バナー、ステータスインジケーターなどです。すべてのUI要素は潜在的な誤検出です。「Submit」というラベルのボタンがデータフィールドとして読み取られたり、アイコンが迷子の文字として解釈されたりする可能性があります。

アップロード前にデータ領域にクロップしてください。抽出ツールが選択的フィールド抽出をサポートしている場合、このステップは重要度が低くなりますが、処理時間を短縮し、無関係なUIテキストでエンジンが誤った一致を見つけるリスクを排除します。低解像度のスクリーンショットでは、除去するノイズのピクセル1つ1つが、防ぐ混乱のピクセルです。

スクリーンショットがすでにある場合 — 実用的な復旧方法

実際に最も多いシナリオは、ガイドが完全に飛ばしているものでもあります。スクリーンショットがすでに劣化した状態で届いており、元のページ、アプリ、会話が消えてしまっているケースです。

WhatsApp、WeChat、Slackで転送されたスクリーンショットは、すでに一度、強力な圧縮を経ています。メール本文に埋め込まれたスクリーンショットは、メールクライアントによって再エンコードされている可能性があります。共有ドライブからダウンロードしたスクリーンショットは、送信者がJPEG形式で保存していたかもしれません。いずれの場合も、元のピクセルデータは失われています。

再保存はしないでください。この段階で最も多い失敗は、スクリーンショットを開いて軽く切り抜き、JPEGとして再度保存することです。JPEGを再保存するたびに、既存の8×8ブロックのアーティファクトの上に新しいアーティファクトが追加されます。連続した保存でブロックのグリッドがずれることもあります（1ピクセルの切り抜きでグリッド全体がずれます）。品質80で5〜10回の再保存サイクルを経ると、劣化が目立ち始めます。20〜30回のサイクルを経ると、圧縮アーティファクトの研究で記録されているように、画像は「すりガラス越しに撮影したように見えます」。編集が必要な場合は、PNGで保存してください。

スクリーンショットがメッセージアプリから来たもので、送信者がまだ元のファイルにアクセスできる場合は、メール添付またはクラウドストレージのリンクでファイル共有を依頼してください。メッセージアプリは、一般的なパイプラインの中で最も強力な圧縮を適用します。同じコンテンツをGoogle DriveやOneDriveで共有すると、通常は元のPNGの忠実度が保たれたまま届きます。

再キャプチャが本当に不可能で、スクリーンショットがすでに劣化している場合、次の戦略的な一手は、全ページOCRエンジンにかけることではありません。抽出ツールに何を探させるかを変えることです。

スクリーンショットで全ページOCRより部分抽出が優れている理由

スクリーンショットにUIの装飾、圧縮されたテキスト、さまざまな視覚要素が混在している場合、ページ上のすべての単語を認識しようとするのは得策ではありません。必要なのはすべての単語ではなく、5〜10個の特定のデータポイントです。使用するツールはこの現実に合致している必要があります。

ページ上のすべての文字を左から右へ認識しようとする従来のOCRツールとは異なり、ImageToTable.aiは列名抽出を使用します。「請求書番号」「支払期日」「合計金額」など、必要なフィールドを入力すると、AIは各行をピクセル単位で読むのではなく、意味を理解して画像内の該当する値をスキャンします。入力した列名は出力スプレッドシートのヘッダーになります。これは、各フィールドの周囲にバウンディングボックスを描画する必要があるテンプレートベースのツールや、すべてを無差別なテキストブロックに出力するOCRエンジンとは根本的に異なります。

この機能の背後にはビジュアル大規模モデル（VLM）があります。これは、人間のように文書画像の内容とレイアウトを理解するよう訓練されたAIで、文字テンプレートに対するピクセルパターンのマッチングではなく、意味的な役割によってフィールドを認識します。従来のOCRがピクセルのグリッドを見て各パッチを文字にマッピングしようとするのに対し、VLMは文書として認識します。「Invoice #」の隣の数字が識別子であること、右下隅の通貨記号付きの値がおそらく合計であること、DD/MM/YYYY形式の日付が日付列に属することを理解します。

劣化したスクリーンショットでこれが重要な理由：著作権表示の小文字の「l」がJPEGアーティファクトで「1」になっても、著作権表示の抽出をエンジンに依頼していなければ無関係です。列名抽出はエラーの発生範囲を関心のあるフィールドに限定します。エンジンはページ上のすべてのピクセルを正しく解釈する必要はなく、ノイズの中から意味的に価値のある少数の値を特定すればよいのです。「合計」フィールド付近の局所的な圧縮アーティファクトは、周囲のコンテキスト（位置、通貨記号、数字のみの形式）がモデルに十分なシグナルを提供すれば、ナビゲート可能な場合があります。

とはいえ、正直な限界もあります。対象フィールドのテキストが本当に判読不能な場合（おおよそ6ポイント相当未満にぼやけている、複数回の圧縮で潰れている、または複雑な背景パターンに重なっている）は、どの意味論的モデルでも存在しないデータを再構築することはできません。その場合は、前のセクションの復旧手順を参照し、そのフィールドを手動レビュー項目として扱ってください。精度とはツールができることを最大化することであり、限界がないふりをすることではありません。

特定のデータポイントに対する選択的抽出の設定方法の完全なチュートリアルについては、スクリーンショットから特定のデータフィールドを抽出するガイドをご覧ください。

精度数値の実際の意味 — 現実的な期待値を設定する

ベンダーが印刷テキストで「精度99%」と主張しても、WhatsAppで圧縮された銀行アプリのダッシュボードのスクリーンショットに何が起こるかについては何も教えてくれません。重要な数値は、実際の入力に対するフィールドレベルの精度です。

OCR精度を報告する際の業界標準は文字レベルです。つまり、個々の文字の何パーセントが正しく認識されたかです。文字レベルで99%の精度とは、100文字につき1つのエラーを意味します。これは、10桁の請求書番号の1桁が間違っていると、文字レベルでは90%の精度でも、データポイントとしては0%の有用性しかないことに気づくまで、印象的に聞こえます。間違った番号に請求書を計上することはできません。フィールドレベルの精度 — 要求したフィールドの何パーセントが完全に正しく返ってきたか — こそが、抽出ワークフローが実際に使えるかどうかを決定する指標です。

標準フォントと良好なコントラストを持つクリーンで高解像度のPNGスクリーンショットでは、最新のビジュアル大規模モデルによる抽出は、日付、金額、識別子などの明確に定義されたフィールドで、フィールドレベルの精度95–99%に近づくことができます。小さなフォントと混在する背景色を持つ密集したテーブルの圧縮JPEGスクリーンショットでは、フィールドレベルの精度は低くなります — そして、責任ある答えは、完全に自動化されたパススルーではなく、手動スポットチェックを期待することです。95%のフィールドが正しく、5%がレビュー用にフラグ付けされるプロセスでも、すべてを手動で転記する場合と比較して、およそ20倍の時間節約になります。これは失敗ではありません。

これはまた、汎用AIチャットツールがスクリーンショット抽出に適さない理由でもあります。ChatGPTとClaudeはスクリーンショットからテキストを読むことができます — それらのマルチモーダル機能は本物です — しかし、それらは自然なシーン理解と会話応答生成に最適化されています。構造化されたフィールド検証レイヤーがありません。認識された値が実際に日付であることを検証するメカニズムがなく、バッチ内の50枚のスクリーンショットにわたって出力スキーマを強制する方法もなく、スプレッドシート形式への列レベルのマッピングもありません。詳細な比較については、ChatGPTとClaudeがスクリーンショットデータ抽出に最適な選択ではない理由をご覧ください。

精度の基準を「初回で完璧」ではなく「レビュー付きで使用可能」に設定してください。WhatsAppに届くスクリーンショットは、すでに品質不足の状態で動作しています。どこまで回復できるかは、フォーマット、スケーリング、クロッピング、そしてツールにすべての単語を読ませるか、必要な5つのフィールドだけを読ませるかによって異なります。

よくある質問

スクリーンショット抽出において、PNGはJPGと比べて本当にそれほど違いが出るのですか？

はい、その差は低解像度のスクリーンショットほど顕著になります。品質80で保存されたJPGは、すでに元のピクセルデータの約10〜15%を破棄しています。10ポイントのテキストが写った96 DPIのスクリーンショットでは、破棄されたデータには「8」と「B」や「5」と「S」を区別するために抽出エンジンが必要とする文字のエッジの詳細が含まれています。PNGは、その限られた解像度のすべてのピクセルを保持します。実際のテストは簡単です。同じスクリーンショットを2回撮り、1つはJPG、もう1つはPNGとして保存し、両方を抽出にかけて、フィールドレベルの結果を比較してください。

すでに圧縮されたスクリーンショットを抽出前に改善することはできますか？

これ以上悪化させることは避けられますが、非可逆圧縮で失われたデータを復元することはできません。JPGのスクリーンショットを開いてPNGとして保存しても、失われたピクセル情報は復元されず、その後の編集によるさらなる劣化を防ぐだけです。AIアップスケーリングツールも同様で、人間の目には画像が鮮明に見えるように補間ピクセルを追加できますが、それは元の文字形状を復元するのではなく、合成データを生成しているにすぎません。圧縮によってフィールドが本当に曖昧になっている場合、アップスケーリングは誤った解釈に確信を与えてしまう可能性があります。

信頼性の高い抽出には、スクリーンショットはどの程度の解像度が必要ですか？

スクリーンショットには従来の意味でのDPI設定はありません。現在表示されているピクセルをそのままキャプチャするだけです。実効解像度は、画面のピクセル密度と、テキストが画面上でどれだけ大きく表示されるかによって決まります。13インチのノートパソコンで1920×1080の場合、1インチあたり約141ピクセルですが、表示されるテキストは物理的な文書からキャプチャされたものではなく、OSによってレンダリングされます。実用的な目安は次のとおりです。目を細めずに画面上のテキストを快適に読め、ネイティブズーム以上でPNGとしてキャプチャできれば、抽出は可能なはずです。数字を読むためだけに200%までズームしなければならない場合、抽出エンジンも同じ課題に直面しています。

従来のOCRツールが読み取れないスクリーンショットから、ビジュアル大規模モデルはデータを抽出できますか？

多くの場合、はい — ただし、ビジュアル大規模モデルがより鮮明なピクセルを見ているからではありません。同じピクセルを見ていても、その解釈の仕方が異なるのです。従来のOCRエンジンは、統計モデルを用いてピクセルパターンを個々の文字にマッピングします。一方、ビジュアル大規模モデルは画像を全体的に読み取ります。つまり、ドル記号の隣にあるぼやけた塊はおそらく金額であり、スラッシュやダッシュで区切られた数字の羅列は日付である可能性が高く、「口座名」の下にある値は、たとえ一部の文字が曖昧でもテキストであることを理解します。この意味的な文脈により、ビジュアル大規模モデルは、文字単位で処理するOCRエンジンがエラーとして残すようなギャップを埋めることができます。ただし、モデルは超能力者ではありません — 対象の値が圧縮やぼやけで完全に消えている場合、出力は誤ったものになります。利点は部分的な劣化を処理できることであり、奇跡を起こすことではありません。

低品質のスクリーンショットから抽出するフィールドはいくつにすべきですか？

まずは、あなたのワークフローに重要な5〜10個のフィールドから始めてください。それらがきれいに取得できたら、さらに追加できます。5個のフィールドでも一貫性がない場合、スクリーンショットの品質がおそらく実行可能な閾値を下回っているため、再試行する前にソース（形式、スケーリング、再キャプチャ）に対処する必要があります。「すべてを抽出して後で整理する」という考え方は、劣化した入力では逆効果です — 出力にノイズがあふれ、検証が速くなるどころか遅くなります。

機能するスクリーンショット抽出ワークフローは次のようになります：快適なズームでPNGとしてキャプチャし、データ領域にクロップし、必要なフィールドのみを指定し、低品質の入力では完全なパスを信頼するのではなく、結果をスポットチェックすることを期待します。自分でテストしてみてください。同じデータテーブルをPNGとJPGの両方で取得し、両方を抽出にかけて、その違いを比較してください。次に、5つの特定のフィールドを抽出する場合と、ページ全体を要求する場合を試してみてください。これらのアプローチ間のギャップはわずかなものではありません — それは、信頼できるワークフローと、節約した時間以上に修正に時間を費やすワークフローの違いです。

スクリーンショットからExcelへのワークフローの初心者向けステップバイステップガイドについては、スクリーンショットからExcelへデータを取得する方法（入力不要）のガイドをご覧ください。業界固有の抽出テンプレートについては、スクリーンショットからExcelへのツールページをご覧ください。