アクションアイテム、担当者、期限をあらゆるホワイトボード写真から取得

OCR開始前に、まぶしさや角度で文字が歪みます。 ホワイトボードは明るい部屋にある光沢のある表面です。横から撮影した写真には、天井の照明のまぶしさがボードの半分に映り込みます。従来のOCRでは、反射部分の文字をすべて失ってしまいます。一方、ビジュアルモデルはタスクや名前という概念を理解しているため、まぶしさを透過して読み取れます。単なるピクセルの形だけを見ているわけではないからです。

複数人の手書き文字が混在します。 1つのホワイトボードには、印刷されたメモ、筆記体の走り書き、異なる人による大文字のラベルが混在しています。従来のOCRは、これらすべてに1つの認識モデルを適用するため、学習済みフォントから外れるものは精度が低下します。あるRedditユーザーは、「ラフなホワイトボード図をクリーンなデジタル文書に変換したい」と述べています。まさにそのギャップこそ、手書き文字のばらつきが生じる部分です。

構造的な関係性が失われます。 タスクから名前への矢印は「この人がこのタスクを担当している」ことを意味します。丸で囲まれた見出しは、4つの箇条書きを1つのカテゴリにまとめています。従来のOCRは、「John、Q3予算、ベンダー審査、7月30日、Maria、サイト準備」といったフラットなテキストの壁を出力するだけで、誰が何を担当しているのか、どのタスクがどの見出しに属するのかは一切示されません。

必要なものを指定するだけで、AIが意味から見つけ出します。 列として「アクションアイテム、担当者、期限、セクション見出し」と入力します。モデルはボードを視覚的なシーンとして読み取ります。箇条書きのテキストをタスクとして識別し、名前を担当者として認識し、近接性に基づいてグループ化します。箇条書きの横にある名前は、その行の担当者になります。タスクから日付への矢印は、ボードの反対側にあっても、それらを結び付けます。

色付きマーカーが構造的なシグナルになります。 チームが期限に赤、担当者に青、タスクに緑を使っている場合、視覚モデルはこれらの色の手がかりを追加のコンテキストとして読み取ります。タスクの横にある赤い「7月30日」は期限列に入り、その横にある青い「SK」は担当者に入ります。テンプレート設定は不要です。モデルはマーカーの色を視覚的なシーンの一部として自然に解釈します。

1枚の写真が1行に — 複数のボードセッションをまたいで。 今週の計画セッションと先月の振り返りの写真を同じバッチにアップロードします。同じ列セットがすべてのボードに適用されます。各写真は、日付、アクションアイテム、担当者、期限を含むスプレッドシートの1行になります。何も再入力することなく、決定事項や割り当てが時間とともにどのように変化するかを追跡できます。