できることと限界

検索、タグ、分類の役割と、品質に対する正直な期待値

写真を「意味の近さ」で探す

画像とテキストを同じベクトル空間に置くため、写真にタグがなくても cat や blue connector with six pins のような言葉で近い写真を検索できます。1 枚の写真を指定して類似写真を探すこともできます。検索はファイル名や文字列一致ではなく、ベクトル間のコサイン類似度で順位付けされます。

タグ付けと分類は別の機能です

語彙タグ付け: 人が用意した候補語を各写真に照合し、しきい値以上を提案します。AI が新しい語を発明する機能ではありません。
見本からの伝播: 1 枚に人が付けたタグを、近い写真へ提案します。提案を確認してから保存する、人が関与する機能です。
語彙による分類: 候補語のうち最も近い 1 語を選びます。絶対的なしきい値ではなく相対比較なので、粗い分類に向いています。
クラスタリング: 言葉なしで似た写真をグループ化します。グループ名は自動では付きません。探索用であり、業務分類を保証しません。

品質の上限

猫と犬のような一般的で見た目の差が大きい対象では、サンプル検証で語彙分類 60/60、cat/dog の上位 5 件すべて正解という結果でした。しかし、それは易しい課題でもあります。専門的な部品、ほぼ同じ外観の型番違い、小さな印字の判別では、ゼロショット検索・分類の精度は下がります。これは万能な自動整理機能ではありません。

「探す」は取り込み後すぐ試せます。一方でタグ採用や仕分けは、実データ・語彙・しきい値を見ながら評価してください。専門領域の細かい識別には、元画像を使う VLM、追加学習、または人の確認を組み合わせる必要があります。

数値の読み方

検索結果の score やタグ候補の score は、校正済みの確率・確信度ではありません。0.06 は「6% 確実」ではなく、そのベクトルが別の候補より近いことを表すだけです。デモの百分率バーも、候補語内の相対比較を見せる softmax 表示であり、確率ではありません。tag vocab のしきい値はデータセットと語彙ごとに調整してください。

詳しい選定根拠と評価は、研究ノートと実モデル E2E 確認記録にあります。