[HOME]

画像理解ベースの画像の検索

1. バナー広告のスペース

   画像理解や、単語の相関、サイト単位、などの新しい機能によってユーザーと、広告収入を獲得する。

2. カスタマイズの余地を多くする

   それぞれのサイトから検索エンジンを呼ぶだけではなく、リンク元サイトを優先表示したり、リンク関係ではなく単語の相関関係から特定のサイトの目次を自動作成する機能などを用意して、有料で提供する。ロボットの収集頻度、収集の深さ、画像理解タグの数、表示順序、表示形式、表示件数など負荷の増えるオプションも選択できる様にする

3. サイトに応じて特注の機能を追加した検索エンジンを様々なサイトに供給する。
   1. プロバイダー

      図鑑風のユーザーインタフェイス、プロキシー機能

   2. ショッピングサイト

      垂直型検索エンジン

   3. コミュニティーサイト

      掲示板の書き込みに関連したサイトを自動的にリンクする機能、意味の空間の中に掲示板を配置する機能

   4. 情報提供サービス

      情報をWebで補完できるようにする

   5. 検索エンジン

      既存のサービスとの互換性

1. ロボットでデータを収集　

   通常のものと同じ。ただし、相関を求める際に影響がでるので、重複チェック、文字コードチェックを徹底する。例えば、www.foo.com/matsuoka/hajime.htmlと、www.foo.com/../matsuoka/hajime.htmlが重複収録されている検索エンジンもあった。

2. クラスタリング

   データに前処理を行っておくことで、高速化が可能です。また、相関による自動生成目次や、上位概念の抽出のための基礎データに使えます。分割の単位や分割の基準は様々です。同じ分類に入ったキーワードを細分するために必要になります。

   　

   1. サイト単位のクラスタリング
   2. 上位ドメイン単位のクラスタリング
   3. ホスト単位のクラスタリング
   4. ディレクトリ単位のクラスタリング
   5. htmlのクラスタリング
   6. 段落単位のクラスタリング
   7. 文単位のクラスタリング
   8. 単語単位のクラスタリング

   単語の相関を元に最近傍グラフを描いた例です。手元にデータがあればすぐですが、これだけのために検索エンジンで２００回程AND検索をしています。ロシア語が混じるせいで、一部無意味なことになっています。これは、単語間のページ単位での相関ですが、実際には近隣の単語の張る空間内での単語間の距離を使う予定です。

   

   1. 　
3. インデックスを作る

   インデックス付けする文字列を増やせば、検索時に高速化できますが、インデックスサイズは増えます。しかし、単純なトレードオフではなく、同じインデックスサイズでも、できるだけ高速化する様に文字列の選び方を最適化する余地がある。この部分に多次元データのクラスタリングの手法が生かせる。

   同様に、多段のインデックスを用意することでアクセスするデータの範囲を削減して高速化することが可能。これも、多次元データのクラスタリングが生かせる。

4. 上位概念を抽出

   近傍の語によって分類された単語について、グループ内での相関の様子で上位概念を選び出す。基本的な語は頻度で決定する。

5. 画像理解、タグ付け、インデックス作成

   教師信号が構造化されていることによって、車種の名前しか書いてない画像でも、車の画像として学習させることによって、学習の回数が増えるというメリットの他にも、車種を学習するのに車の中で弁別できれば良いというメリットもあります。画像理解自体としては、効率良く情報圧縮されているので少ないタグで済むというメリットがあります。

6. ユーザーインタフェイス
   1. 構造化された語をたどれる
   2. テキスト or 画像 によるテキスト or 画像の検索

   相関やジャンル内のランキングなど多機能になっているので、目的毎に分けてユーザーインタフェイスをがらりと変えることになると思います。

1. 具体的なマイルストーン

   画像理解の前までは一息に作ってしまえると思います。画像理解の部分は、サンプル数などから1000語程度の基礎的な単語に対応する画像を理解可能にするつもりなのですが、学習にかかる時間が長いので、精度が予想以下だった場合に泥沼に陥る可能性もあります。

2. 人材

   めどはほとんどありません。

3. 資金。

   これも、ありません。

関連ページ

更新 2004/01/26

[HOME]  (C) MATSUOKA , Hajime