データ管理: データ使用量の効果的なスケーリング
公開: 2022-12-23ビジネス データベースにはデータがぎっしり詰まっています。 これにより、戦略と運用を促進するための有意義なビジネス インサイトを見つけることが非常に困難になる可能性があります。 この問題は、適切なデータ管理によって解決されます。
重要ポイント
- データ管理とは、データの作成から破棄まで、ライフサイクル全体にわたってデータを効果的に監視する方法です。
- マーケティングの観点から見ると、データ管理はデータ駆動型の文化を育み、収集して保存するデータの信頼性と信頼性を確保します。
- 健全なデータ管理戦略を作成するための手法とソリューションには、データ準備、ETL パイプライン、データ ガバナンスなどが含まれます。
- データ管理は単純ではなく、課題が伴います。 ベスト プラクティスに従って、社内の全員が支持できる効果的な戦略を作成します。
データ管理とは
データ管理とは、費用対効果が高く安全な方法で、ライフサイクル全体にわたってデータを効果的に監視する方法です。 主な目標は、簡単にアクセス、検索、および使用できる方法でデータを整理、保存、および管理することです。 これには、次のようなタスクが含まれます。
- さまざまなソースからデータを収集します。
- 安全で整理された方法でデータを保存する。
- データが正確かつ最新であることを保証する。
- 不正アクセスや改ざんからデータを保護する。 と
- データを分析および解釈して洞察を引き出し、意思決定を可能にします。
マーケティングに関しては、十分に確立された顧客データ管理プロセスにより、部門内のデータ駆動型文化が促進されます。 高品質のデータを保存して、さまざまなタッチポイントでのマーケティング活動と顧客の正確かつ包括的なビューを取得できます。 これにより、ターゲット オーディエンスをよりよく理解し、オーディエンスの悩みに合わせた価値を伝え、マーケティング投資収益率 (ROMI) を向上させる可能性が高い最も効果的な戦略を特定することができます。
データ管理が重要な理由
効果的なデータ管理は、企業が収集する大量のデータ内に秩序を生み出します。
データが乱雑になったり使用できなくなったりするのを防ぐために、データを適切に収集して操作する方法に関するロードマップを組織に提供し、迅速な意思決定を行い、市場のニーズに迅速に対応できるようにします。
また、従業員のリソースを解放します。 たとえば、Duo のシニア機械学習エンジニアであり、ニッチ分野で著名なインフルエンサーである Vicky Boykis による調査では、データ サイエンティストの大半が時間の 60% をデータのクリーニングと移動に費やしていることが示されています。
データ管理ソリューションは、手動タスクを完全に自動化し、アナリストが生データを修正する代わりに自分の仕事を行えるようにします。
データ管理ソリューションとテクニック
幸いなことに、ペタバイト単位の未加工データや貧弱なデータを管理できます。 明確なポリシーと適切なツールを使用すれば、データドリブンの文化と、収集したデータに対して全責任を負う従業員によって、ビジネスは成功します。
データ準備
多くの企業が低品質のデータに苦しんでいることは周知の事実です。 それらのデータは、一貫性がなく冗長であるか、一貫性のない分類法で異なる形式で保存されている可能性があります。
データ準備とは、生データを集約、変換、および構造化して、さらなる分析のために準備するプロセスです。 データ準備ツールは、データを統一された形式にまとめ、不整合を排除し、エラーにフラグを立て、データを自動的に結合します。 全体として、このプロセスにより、分析中にチームが導き出した洞察と、参照するレポートが有効であることを保証できます。これは、それらが基づいているデータが高品質であるためです。
データ パイプライン
データ パイプラインは、データ インジェストで開始し、データ ウェアハウス、ストレージ サービス、または別のアプリケーションなどのデータ シンクで終了する自動化された一連のアクティビティです。 手作業によるデータ入力と操作を排除することでデータ処理を合理化し、マーケティング分析とレポート作成プロセスを大幅に高速化します。
ETL パイプライン
抽出、変換、読み込み (ETL) は、データ パイプラインのサブセットです。
ETL プロセスは、1 つまたは複数のソースからのデータ抽出を自動化し、標準化された使用可能な形式に変換して、データ ウェアハウスや BI ソフトウェアなどのエンドポイントにロードします。
このエンドポイントは、組織の信頼できる唯一の情報源 (SSOT) になります。 ここに保存されているデータは、既にクリーンでフォーマットされており、分析、視覚化、またはレポート作成の準備が整っています。
たとえば、Improvado などの高度なマーケティング分析ツールは、ETL を活用して、Shopify、Facebook 広告、Google アナリティクスなどの 300 以上のマーケティングおよび販売データ ソースからデータを取得し、データを分析可能な形式に変換して、指定された宛先に読み込みます。 、つまり、マーケティング データ ウェアハウスまたは BI、視覚化、または分析ツールです。
データウェアハウス
データ ウェアハウスは、ビジネスの履歴データとリアルタイム データのストレージ領域です。 通常、さまざまな広告プラットフォーム、ソーシャル メディアなどの複数のソースからの構造化データを保存します。
分析を使用するごく初期の段階では、企業はスプレッドシートを使用してデータを保存することがよくあります。 しかし、最終的にはスプレッドシートの最後に到達します。 この時点で、データセットが大きくなりすぎて、クエリが停止します。 技術的に高度な企業は、Google Big Query などのクラウド データ ウェアハウスに移行して、分析チームがより頻繁にデータをクエリし、全体的な生産性を向上できるようにします。
データセキュリティ
データ セキュリティとは、会社のデータをそのライフサイクル全体を通じて破損や不正アクセスから保護するための予防策を講じることです。 また、ビジネスが HIPAA、SOC-2、GDPR などのデータ プライバシー法および規制に確実に準拠するようにします。
データガバナンス
データ ガバナンスは、高品質のデータの基盤です。 これは、データの収集、編成、保管、および分析に関する管理ポリシーと手順を詳述するプロセスです。 その目的は、正確、完全、一貫性、タイムリー、有効、および一意のデータを確保することです。
データ管理フレームワーク
チームは、これらのソリューションと手法と連携してデータ品質を達成し、データを管理するすべてのプロセスを適切に設定します。 データ ガバナンス、データ セキュリティ、情報システム アーキテクチャなどを一度に実装しなければ、最高品質のデータを実現することはできません。
データ管理フレームワークは、会社でデータ管理を実装するために必要な一連のルールとテクニックです。 現在、一般的に認められているフレームワークは 2 つあります。
DAMA-DMBOK 2
DAMA-DMBOK 2 は、Data Management Association - Data Management Body of Knowledge バージョン 2 の略です。2009 年に最初に公開されたフレームワークの第 2 版です。
フレームワークは、データ管理を構成する 11 の相互に関連した知識領域を識別します。 このフレームワークに従う場合、企業はすべての領域を考慮する必要があります。
また、DMBOK 2 は、データ管理プロセスを担当するのはデータ管理の専門家だけではないことも示唆しています。 すべてのビジネスの専門家がそれに関与しています。 DAMA Hexagon は、人、プロセス、テクノロジーの間の直接的な関係を示しています。
DMBOK 2 では、データ管理の主な使命を次のように定義しています。「すべての利害関係者のデータの可用性、品質、およびセキュリティのニーズを満たすこと」。 また、データ管理プロセスに関連するツール、参加者、指標、成果物についても概説します。
ただし、このフレームワークには重大な欠点が 1 つあります。 さまざまな知識領域間の関係を説明するものではなく、すべてを自分で決定する必要があります。 全体として、DMBOK 2 は多くの理論的知識を提供しますが、実用的なヒントはそれほど多くありません。
DCAM
DMBOK 2 は誰でもアクセスできるフレームワークですが、DCAM (Data Management Capability Assessment Model) は公開されていません。 Enterprise Data Management Council (EDC) メンバーのみがこのフレームワークにアクセスできます。
このフレームワークは、さまざまな成熟度レベルのさまざまな機能の観点からデータ管理を説明しています。 DCAM は実用面と運用面に重点を置いていますが、データ管理の実装に関する明確な視点を提供していません。
企業は DCAM を使用して、プロセスを評価し、利害関係者を教育し、データ管理プログラムの弱点を特定します。 また、GDPR などのデータ プライバシー規制違反のリスクを軽減するのにも役立ちます。
このフレームワークは公開されていないため、そのベスト プラクティスと推奨事項に関する情報はあまりありません。 ただし、Enterprise Data Management Council は最近、クラウド データ管理機能フレームワークの公開バージョンを公開しました。これは、EDC がフレームワークを定義するために使用するアプローチに光を当てています。
これらのフレームワークはどちらも、データ管理の旅の出発点として役立つ可能性があります。 これらは重要な概念を概説しているため、最初にデータ管理を実装するときに完全な明確さを維持できます。
データ管理の課題
組織のデータを管理しようとすると、多くの課題に遭遇します。 しかし、これらの潜在的な課題を認識すると、それらに対処するための準備が整います。
ビジネスデータの保護
データのセキュリティと整合性に対する多くの内部および外部の脅威があります。 また、データ侵害はいつでも発生する可能性があります。 これにより、顧客の個人データが危険にさらされます。
DMBOK-2 がデータ セキュリティ プロセスを定義する方法は次のとおりです。
個々の試みではなく、組織的な取り組みでセキュリティ リスクに対処することが常に最善です。 このプロセスには、1 人の従業員が処理するには多すぎるタスクが含まれます。 より大規模なデータ セキュリティは、次の 4 つの主要な活動を中心に展開されます。
- 機密データ資産を特定して分類します。
- 社内の機密データを見つけます。
- 各資産をどのように保護する必要があるかを決定します。 と
- この情報がビジネス プロセスとどのように相互作用するかを理解します。
次に、従業員の無知や不注意などの外的脅威も評価する必要があります。 データ アクセス管理とポリシーへの準拠により、機密データが公開されるリスクが軽減され、ビジネス インフラストラクチャのセキュリティ レベルが向上します。
あまりにも多くのデータを扱う
多くの企業がさまざまなソースから入ってくる膨大な量のデータに対応するのに苦労しているため、データの最大 73% が使用されていません。 オムニチャネル分析のためのデータ管理ガイドラインを持たない組織は圧倒されるため、でっち上げをしたり、利用可能なデータを使用したりしません。
ただし、一度にすべてのデータを管理しようとしないでください。 企業は大規模なデータセットを作成しますが、その大部分は決して使用されません。 そのため、データ管理ライフサイクルでは、最も重要なデータに注目し、データの ROT (冗長、廃止、または些細なデータ) を最小限に抑えることを推奨しています。
異なるソースからのデータの結合
ビジネスで使用する多数のツールを考えてみてください。 マーケティング部門内でも、おそらく複数のデータ収集ツールと分析ツールを利用しているでしょう。
これにより、データ サイロが作成される可能性があります。これは、データが相互に通信しない分離されたストレージ ソリューションに格納されているために発生します。 その結果、各部門がそれぞれのデータに固執することになり、部門間のコラボレーションがより困難になります。
質の悪いデータ
組織は、収益のほぼ 4 分の 1 をデータ品質の問題の解決に費やしています。
低品質のデータは、データ入力時のエラー、ツール間でデータを転送する際のデータの破損、または標準化されたプラクティスの欠如によって生じます。
DMBOK-2 によるデータ品質管理の包括的な概要を次に示します。
データ管理のライフサイクル、データ ガバナンス、および重要なデータへのフォーカスは、データの品質を向上させようとする際に考慮すべき最も重要な要素の一部です。
「データ品質」は、信頼できるデータセットが持つべき 12 の特性を含む総称であることに注意してください。
資格のあるデータ アナリストの不足
デジタルおよび現代のビジネスにおけるデータの重要性についてはさまざまな議論がありますが、専門のデータ アナリストを見つけるのは困難です。 資格のあるアナリストを雇うには時間がかかり、新入社員のトレーニングには費用と時間がかかる場合があります。
データガバナンスの欠如
多くの企業は、データがすでに乱雑になっている場合、後付けとしてデータ ガバナンス標準を作成します。 データ ガバナンスがなければ、組織は質の低いデータに圧倒されます。 その結果、アナリストは雑草の整理に多くの時間を費やし、エンド ユーザーはそれを理解するために多くの時間を費やしています。
データ管理のベスト プラクティス
データ管理は、多くの可動部分を含む大きなタスクです。 しかし、良いスタートを切ることができるデータ管理のベスト プラクティスがあります。
データ保護とセキュリティを優先する
データ セキュリティ違反は、優れたデータ管理の原則によって防ぐことができる数百万ドルの問題です。
データ保護対策には、適切なユーザー権限を持つこと、データを処理および管理する集中型システムを持つこと、データ プライバシー法に準拠したソフトウェアのみを使用することが含まれます。
すべてのデータを統合し、信頼できる唯一の情報源を構築します
組織には、データ サイロに保存される可能性のある大量のデータがあります。 これは、ビジネスの状況を完全に把握することが難しいことを意味します。 これにより、マーケティングの専門家は、さまざまな顧客タッチポイントを見ることができなくなります。
たとえば、ETL パイプラインを使用してすべてのデータを 1 つの集中型ストレージ領域に統合すると、収益データの洞察をより簡単に得ることができます。
品質データ管理ソフトウェアを使用する
手動のデータ操作は、企業が扱うデータの量に対応できなくなりました。
幸いなことに、データの収集と分析をより簡単かつ迅速にする多くの新しいテクノロジーと自動化ソフトウェア ソリューションがあります。 他のアプリケーションとうまく統合できる高品質のソフトウェアを使用してください。
組織のメタデータの用語集を作成する
収集するすべてのデータ (「メタデータ」とも呼ばれます) の定義を標準化します。 データ属性、作成日、作成者名、保存領域などの特定の詳細を含めます。
これにより、組織全体の透明性と連携が確保されます。
誰もがデータ品質に責任を持つようにする
データ品質は共同責任です。 組織内の全員に説明責任を負わせ、責任を負わせることによってのみ、一般的なデータの問題を減らすことができます。
これにおけるマーケターの役割は何ですか？ マーケティング担当者は、主要なデータ収集に部分的に責任を負います。マーケティング担当者は、UTM タグの分類法、広告キャンペーンのマークアップ、および追跡する必要があるアカウントを知っています。 一方、データ エンジニアとアナリストは、データ フローの他の段階でデータ品質を担当します。
データ管理プラクティスを確立するための最初のステップ
データドリブンな組織になるための道は、適切なデータ管理の実践から始まります。 成功しているデータドリブン ビジネスが順守しているプラクティスに従うことで、この変革をサポートします。
1.経営幹部にデータ管理計画の作成に投資してもらう
経営陣が事業全体に投資していない場合、データ管理は困難です。 彼らは、適切に実行されたデータ管理戦略の価値を理解して、それを積極的に実装する必要があります。
2.現在のデータを監査する
ほとんどの場合、あなたの会社はすでに大量のデータを収集しています。 すでに持っているものを監査します。 状況を観察し、組織の目標とリソースを考慮して、既存のデータに基づいてデータ管理計画を作成します。
3. 自動化ツールを可能な限り使用する
ヒューマン エラーは、データ品質の低下の一般的な原因です。 適切な自動化ツールを選択すると、データ管理がより迅速かつ簡単になります。 また、データの収集、操作、および分析中の人的エラーも大幅に削減されます。
4. 成長計画
あなたの会社が収集するデータは増える一方です。 データ管理戦略を柔軟にして、会社とともに成長し、スケーリングを容易に推進できるようにします。
5. 信頼できる技術パートナーを見つける
特に顧客データのセキュリティが危機に瀕している場合、信頼できるデータ管理プロセスを確立するには、技術スタックを構築し、適切なパートナーを見つけることが不可欠です。 Impprovado は、既存の分析環境に適合し、組織内のデータ文化を促進する高度なマーケティング分析ソリューションです。 ソリューションは、自動化されたマーケティング データの管理とレポート作成です。これにより、チームは高品質で最新のデータのみに依存してビジネス パフォーマンスを推進できます。
あなたの番
このガイドで概説されているデータ管理のベスト プラクティスに従うことで、データをクリーンアップし、組織をよりデータ駆動型の考え方に導くことができます。 簡単なプロセスではありません。 それは旅です。 しかし、社内の誰もが信頼できる高品質のデータを取得し、実用的なビジネス インサイトを得るための価値は十分にあります。