データマイニングを最大限に活用する最良の方法
公開: 2020-02-26 目次を見る
序章：
データ マイニング プロジェクトの実行中に留意しながらデータ マイニングを最大限に活用する 7 つの方法:
一般的なデータ マイニング手法:
結論：
序章：
データ マイニングはさまざまな方法で説明できますが、最も単純な用語で説明します。 生データから有用な情報を抽出するプロセスです。 Webスクレイピングを使用してデータを取得したり、他のソースから取得したりすると、大量のデータが取得されます. そのほとんどは使用可能な形式で提供されず、ビジネス チームは生データの恩恵を受けません。 したがって、データのクリーニングと処理が必要であり、その後、さまざまなアルゴリズムを実行する必要があります。 さまざまな種類のビジネス情報を抽出するため。
データ マイニング プロジェクトの実行中に留意しながらデータ マイニングを最大限に活用する 7 つの方法:
特定の問題ステートメントを解決するために開始する前であっても、従わなければならない特定の手順があります。
- まず問題文を入手してください。 人々は、あなたがデータから始めると考えるかもしれません。 いいえ、問題から始めます。 問題は顧客を維持することであり、どの時点で顧客がカートを放棄しているかを理解したいですか? それとも、オーガニック ヒット数が低すぎるかどうかを知りたいですか? このような問題ステートメントは、データで何を探すべきかについて明確なアイデアを与えてくれます。 データから始めて、それが解決に役立つ問題を見つけようとするのは野心的です。 しかし、この逆のプロセスが裏目に出て、解決策も問題も見つからない可能性があります。 データ マイニング プロジェクトを確実に成功させるには、ビジネスに影響を与えるプロジェクトを引き受けるのが最善です。
- このようにして、結果が出たら試運転を行い、モデルに微調整を続けることができます。 そして、問題のステートメントに最適な予測エンジン。 また、問題ステートメントのないデータから始めると、解決できるビジネス上の問題に焦点を当てずに、データ探索だけに費やす時間が長くなります。 データ マイニング プロジェクトのエラーを最小限に抑えたい場合、単一のデータ ソースを使用することはお勧めできません。 代わりに、多くの情報源からのデータを使用して、より広い範囲をカバーし、ある情報源からのデータを使用して別の情報源を確認できるようにする必要があります。 カートにアイテムを追加するときの顧客の行動を研究しているとします。 出身地、経済的背景、年齢、性別などをカバーすることが重要です。 1 つのグループを除外すると、研究が歪められ、偏ったモデルが得られる可能性があります。 したがって、さまざまな e コマース サイトからデータを取得する必要がある場合があります。
- 企業がデータの使用を開始したい場合、通常、内部を調べて、内部システムに既に保存され、使用されていないデータを使用します。 このデータを使用してプロジェクトに取り組むことは魅力的に思えるかもしれませんが、内部データのみを使用すると、非常に小さなデータセットに拘束されます。 モデルを改善するためにプロジェクトに組み込むことができる、検証済みの外部ソースからデータを取得することをお勧めします。
- サンプリング戦略は必須です。 トレーニング セットとテスト セットが別々であることを確認する必要があります。また、モデルにバイアスがかからないように、両方のセットをランダム化する必要があります。 バックアップ用に追加のホールドアウトを常に設定してください。 モデルを新しいデータでトレーニングし続ける場合は、ホールドアウト セットでテストして、偏りや歪曲がないことを確認する必要があります。
- 最終的なモデルを構築する前に、さまざまなタスクに費やす時間。 データにはクリーニングが必要です。多くのアルゴリズムは、現在のデータに最適なアルゴリズムを見つけるためにテストする必要があります。 さまざまなソースからのデータを一緒に投げて、多くのモデルをテストします。 これは、最適なモデルを特定するのに役立ちます。 時間がかかるかもしれませんが、データ マイニング プロジェクトを使用して行われた将来の予測が実際の値に近いことを確認することが重要です。 これらの部分をスキップすると、重要な洞察を見逃す可能性があります。 データに隠されているため、プロジェクトの将来のステップについてより適切な決定を下すことができます。
- モデルが外出先でトレーニングされることを確認してください。 モデルを構築して放置することはできますが、データ マイニング プロジェクトは通常、モデルが新しいデータ フィードから学習し続けるライブ システムです。 これにより、新しいデータでモデルを最新の状態に保ち、バイアスを回避できます。
- 野心的なデータ マイニング プロジェクトを構築することはあまり意味がありません。 あなたの調査結果をビジネスチームや外の世界に紹介できない限り。 そのためには、抽出した利用可能な情報を読みやすくわかりやすい形式に変換する必要があります。 また、データ マイニング プロジェクトは、何ヶ月も活動がなかった後に中止される R&D プロジェクトとして終わるべきではありません。 ライブ システムにすぐにデプロイする必要があります。 これはビジネスに利益をもたらす可能性があり、欠点を理解して改善を続けることができます。
一般的なデータ マイニング手法:
データマイニングプロジェクトの着手方法については言及しましたが、 . さまざまな種類の情報を抽出するために、多くのデータ マイニング手法がデータに適用されることを知っておくことは重要です。
- パターン認識は、最も古くから使用されている技術の 1 つです。 都市部の世帯の人々は電子機器により多くのお金を費やしていますか? その場合、電子機器が都市の倉庫に保管されていることを確認する必要があるかもしれません. このようなパターンとその結果の推論は、企業がより効率的になる一方で利益を増やすことができるように、分析と適用を必要とします。 コストを削減するために使用できる、データに隠された他のパターンを見つけることもできます。 たとえば、1 日の特定の時間帯に Web サイトのトラフィックが急増する場合があります。 データにこのパターンが見つかれば、その時間帯にサーバーの容量を増やし、残りの時間は減らすことができます。 このようにして、多くのお金を節約できます。
- 分類は、大規模なデータセットで使用されるもう 1 つの一般的なアルゴリズム ソリューションです。 通常、データのセットをグループ化するために使用されます。 たとえば、100 万のユーザー データを含むデータセットがあり、ユーザーがオンラインで取引する頻度に基づいてそれらを並べ替えたいとします。 それらを低、中、高に分類します。
- レコメンダー エンジン (Amazon や Netflix など) で通常使用されるもう 1 つのアルゴリズムは、 associationです。 それを使用して、アイテムを閲覧しているときに類似の製品が表示されます。 また、商品のチェックアウト段階にある場合は、「通常一緒に購入する」他の商品。 これらはすべて、インターネット上の人間のデータを読み取り、繰り返しパターンを見つける連想アルゴリズムの結果です。
- 通常、データ マイニング予測に関連するアルゴリズムも、間違いやすいアルゴリズムの 1 つです。 また、今後数か月で顧客の行動や会社の財務を予測したいビジネス チームが最も使用するアルゴリズムでもあります。
結論：
データが手元にあれば、データを最大限に活用できます。 Web スクレイピング チームを構築することは、すべての企業で可能であるとは限りません。また、野心的なデータ サイエンス プロジェクトでは、内部データを使用するだけでは不十分な場合があります。 PromptCloudのチームが Web からスクレイピングしたデータを提供するだけでなく、要件を入力してプラグ アンド プレイ形式でデータを取得する本格的な DaaS ソリューションを提供するのはそのためです。