画像検索エンジン用に画像をスクレイピングする
公開: 2016-09-29先日、新しい携帯電話を買うためにオンラインショッピングをしていました。 複数のサイトを見て、私が言及し続けた唯一のことは価格であることがわかりました（もちろん！）. しかし、私が探し続けた別の側面があり、それは私が望んでいた電話のイメージでした. 後で、説明が画像と一致しない場合、その販売者と取引を進めるための信頼度が非常に低いことに気付きました. そして、ズームインして複数の角度から見ることができる高解像度の画像を見つけることができるサイトは、私が最も長く滞在したサイトでした. ショッピングやブラウジングの行動でも画像が目立つ場合は、画像検索の世界へようこそ。
実際、この傾向はオンライン エコシステムを支配しているため、巨大な検索エンジンである Google は、通常のテキスト クエリ検索に加えて、画像検索も導入しています。 私たちを信じていませんか？ 次に、通常の検索クエリで取得した画像の 1 つを検索文字列にドラッグして、意味を確認してみてください。
テキスト検索ボックスの左側にある画像をご覧ください。 これは私が Google に検索を依頼した画像で、結果はかなり正確でした (これは Asus ZenFone 3 で、私が購入を検討していた多くの携帯電話の 1 つです)。
画像検索エンジン
この新しい形式のコンテンツ検索は、画像検索エンジンの助けを借りて可能になります。 情報を検索するために、テキスト クエリだけに頼る必要はありません。 検索エンジンに提供したソース画像に基づいて、類似の画像を検索することもできます。 これは、画像検索エンジンの正確な USP です。 これは、画像の入力に基づいて情報を検索し、画像を視覚的に表示するように設計された検索エンジンとして定義されています。 この手法は、主に電子商取引のバイヤーとセラーによって使用され、未知のオブジェクトの画像に関する詳細情報を検索したり、競合他社が特定の製品をどのように位置付けているかに関する重要な情報を取得したりします.
検索エンジンが関連性のある一致する画像のみを返すことができるようにするために、バックグラウンドで実行されているクールなアルゴリズムまたは機械学習は何か疑問に思うかもしれません. ほとんどの場合、それは単純です。 画像は名前を検索し、重要度のクエリ画像と一致する場合、収集されて検索結果として表示されるのはこの名前です。 この昔ながらの方法は、画像をスクレイピングする基本的な方法です。 Web スクレイピングを実行すると、ツールはファイル名に検索クエリを含むファイル名の全部または一部があるかどうかをチェックし、その画像を返します。
ほとんどの開発者、デザイナー、およびデジタル マーケティング担当者は、元のファイル名 (IMG_10092015.jpg など) を意味のある結果の名前 (Earl_Grey_Teabag_1332.jpg など) に変更するという規則に従います。 これは、ランキング シグナルを改善するための鍵の 1 つとして、画像ファイルに適切な名前を付けるという Google アルゴリズムの命令に従うためです。 これは、画像検索エンジンが正確な検索結果を提供するために探すものです。
もちろん、これは画像検索エンジンを使用して画像を検索する方法の 1 つにすぎません。 情報がオンラインで検索される 2 つの主要な方法は次のとおりです。
- メタデータ検索 – 上記のセクションで概説したように、画像検索は画像のメタデータを検索することによって実行されます。 このメタデータには、1 つ以上のキーワード、キャプション、alt+text、または画像名を含めることができます。
- コンテンツ ベースの検索 – このタイプの検索では、ソース イメージのさまざまな特性が使用され、コンピューター プログラムと専用ソフトウェアを実行して、関連する結果を返します。 このタイプの検索では、メタデータの代わりに画像のコンテンツを検索に使用します。 このタイプの情報検索には、以下のような多くの基本的な手法があります –
- クエリ アプローチ – ユーザーがソース イメージを提供すると、プログラムは形状、色、サイズなどの特性を調べます。
- セマンティック検索 – ユーザーは画像を検索するためのクエリを記述します。 これは、検索クエリで指定された説明と画像を照合するのが明らかに難しいため、あまり使用されないオプションです。
- 機械学習 – 機械学習を使用した画像検索は、ニューラル ネットワークとディープ ラーニングの助けを借りて強化できます。
- サード パーティ アプリケーション – 画像クエリの検索結果を提供する際の画像精度の向上に関して、いくつかの興味深い作業が行われています。 2006 年の Google による Neven Vision の買収がその好例です。
画像スクレイピングは、さまざまなソースからデータと画像を取得し、そのメタデータと画像を構造化された方法で移行するのに役立ちます。 一般的なエクスポート チャネルには、Excel、バックエンド データベース、CSV、XML などがあります。 Web から画像をスクレイピングすることは、Web 開発者、デザイナー、コンテンツ マネージャー、ジャーナリスト、マーケティング担当者、ブロガーなど、複数の受益者に役立ちます。
スパイダーを使用して画像をクロールする場合、プログラムは 4 つの重要なものを探します。
- ページのタイトル
- 発行日
- 実際のイメージ
- サイトの URL
次に何が起こるか知りたいですか？ それから読んでください。
画像検索の分析
プログラムが画像をスクレイピングし、メタデータと画像に関連付けられたコンテンツを確認したら、ほとんどの作業は完了です。 ただし、画像ファイルの内容を確認するという重要な指針はまだ残っています。 Supermanを見つけると、さまざまな組み合わせが得られるとします。
- 漫画の中のスーパーマン
- 映画の中のスーパーマン
- スーパーマン役のクリストファー・リーブス
- スーパーマンとしてのヘンリー・カヴィル
- 映画ポスターのスーパーマン
- スーパーマンとファン
…等々
画像検索処理の分類段階です。 エンジンは基本的な質問を投げかけます –
- 画像に顔はありますか？
- フロントプロフィールですか？
- 現在の背景色は何ですか?
- 現在の前景色とその頻度/強度は何ですか?
- それは無料またはライセンスされた画像ですか?
- ファイルサイズは？
- 画像の解像度は？
Google などの一部の画像検索エンジンは、さらに一歩進んで、ユーザーが独自の画像をアップロードして検索できるようにしています。
画像検索エンジンによって表示される結果の成功の程度と精度を判断するには、さまざまな基準があります。 以下のいずれかがある場合、正確な結果が返される可能性が大幅に低下します。
- バックグラウンドのノイズが多すぎる
- 前景または背景の色が多すぎる
- 詳細が少なすぎる、または
- 入力画像の解像度を下げる
ここで、別の分類方法、つまりクラスタリングについて見ていきます。 これは、内容が類似しているすべての画像を 1 つのグループにまとめようとします。 したがって、上記の例を進めると、クラスタリングはスーパーマンのこれらすべての組み合わせをまとめ、スーパーマン対バットマンやスーパーマンの漫画などの関連アイテムも含めます. 繰り返しますが、画像のノイズが少なく、解像度が高い場合にのみ、正確な結果が得られます。
画像のスクレイピング
画像検索エンジンを構築するには、大量の画像を取得することが重要です。 大量のデータを取得するには、スケーラブルな Web スクレイピング ソリューションが必要です。 Web スクレイピングは、構造化されたデータ、URL、画像など、Web からデータを取得する最も便利な方法です。 画像検索エンジン用に画像をスクレイピングする場合は、Web スクレイピング サービス プロバイダーに依存することをお勧めします。
サインオフする前に
明らかなように、画像検索エンジンが提供する価値は正確さをはるかに超えています。 買い物客が情報に基づいて購入を決定し、Web ユーザー エクスペリエンスを最大限に活用するのに役立ちます。 電子商取引の所有者にとって、競合他社の店舗での製品の品揃えに関する重要な情報を収集し、特定の製品に関するさまざまなデータについて最新の状態に保つのに役立ちます. したがって、店主のほとんどが 825 ドル前後の iPhone 6s を持っている場合、e コマース ポータルでの Web トラフィックの変換を支援するために、店もこの価格に合わせる必要があることがわかります。 このように、画像検索は価格インテリジェンスにも役立ちます。
Web からデータを取得する予定はありますか? 私たちは助けるためにここにいます。 お客様の要件をお知らせください。