ビルド対。 ETL を購入する: ETL を構築するためにデータの手間をかける価値はありますか?

過去 10 年間、企業のデータ ニーズは急速に進化しており、世界のデータ市場は 2025 年までに 180 ゼタバイトに達すると推定されています。

このビジネス変革において、堅牢なデータ インフラストラクチャは、組織が収集する大量のデータが十分に活用されていない資産のままにならないようにするための重要な要素の 1 つです。 技術的な障壁に直面した企業は、データ パイプライン、つまり ETL を社内で構築するか、既製のソリューションを購入するかというジレンマに直面します。

両方のソリューションの長所と短所、およびデータ パイプラインの誤動作がもたらす評判とセキュリティのリスクを理解することは、会社にとって正しい選択をするのに役立ちます。

重要ポイント

• ETL パイプラインは、データの抽出、その変換、選択した宛先へのデータのロードという 3 つの異なるプロセスで構成されています。
• ETL の構築には、大規模な人的資源、初期費用、および継続的なメンテナンスが必要です。
• ETL を購入すると、チームからの入力が少なくて済み、最も使用頻度の高いデータ ソースにほぼ瞬時にアクセスできます。
• 事前構築されたパイプラインは簡単に拡張でき、業界のコンプライアンス要件を満たします。
• データの潜在的価値が高まるにつれて、企業は適切なビジネス上の意思決定を行い、競争力を維持するために、データを迅速に獲得する必要があります。

マーケティング ETL ビルディング ブロック

ETL (抽出、変換、ロード) は、データが 1 つまたは複数のソースから抽出され、変換され、エンドポイントにロードされるプロセスです。

ETL プロセスの初心者向けガイド: ETL の段階と利点の説明

各フェーズでのデータの自由な流れを保証する主なコンポーネントは次のとおりです。

• データ ソース コネクタ: Google 広告マネージャー、Shopify、Twitter 広告、またはその他のデータ ソースからデータを収集するには、まずコネクタ (通常はオープン API) を確立する必要があります。 一部のアプリケーションは、オープン API を提供しないか、未加工ファイルを使用します。 ETL ソリューションは、複数のデータ形式を処理できる必要があります。
• 抽出層:データをソースの場所からステージング領域にプルし、そこでパイプラインの次のフェーズを待機する複雑なソフトウェア。 抽出レイヤーは API を利用してデータをフェッチしますが、最新の API バージョンと内部および外部の要件に従って、時間どおりにデータを正しくフェッチすることは困難です。 ここで重要なことは、耐久性のある技術スタックで抽出レイヤーをサポートすることです。 大規模なマーケティング部門は、5 万行以上のデータを取り込むことができます。 バックエンドがこの量のデータを処理できない場合、最終的な出力が壊れているか、不完全なデータが含まれている可能性があります。
• 変換エンジン:多くの場合、使用できない形式またはバラバラな形式の生データを取得し、分析用に準備するために一貫した値の型に再フォーマットします。 最も一般的なデータ変換の種類には、クリーニング、重複排除、標準化などがあります。 ほとんどのマーケティング担当者は SQL (変換の適用によく使用される) の経験がないことを考えると、エンジンには明確で簡潔な UI が必要です。
• ロード ロジック: ETL パイプラインの最終ストップ。変換されたデータが最終的な宛先 (BI、視覚化または分析ツール、またはデータ ウェアハウス) にロードされます。 非常に使いやすく、選択した視覚化ソリューションと簡単に統合できるはずです。

上記のすべてのコンポーネントは、会社とそのデータ ニーズの拡大に合わせて拡張する必要があります。

これは、ETL システムのビルディング ブロックの概要です。 問題は、それらを手作業でコーディングするか、既製のソリューションを購入するかです。

購入と ETL の構築の先行投資

ETL のコストには、値札だけではありません。

ETL の構築

エンジニアリング帯域幅とコストは、最初に考慮すべき事項です。 この規模と複雑さのプロジェクトは、完了するまでに数か月かかり、コストが積み重なっていきます。

さらに、ほとんどの ETL プロジェクトでは、データ ウェアハウスに大量のクラウド ストレージが必要です。これは、構築シナリオと購入シナリオの両方でコストになります。 ただし、独自のサービスを構築する場合は、追加のデータ ウェアハウス管理サービスを調達するためのロジスティクスも把握する必要があります。これには、必要に応じてスケールアップおよびスケールダウンするためのコストの予算を立てる方法も含まれます。

システムを作成して実装した後は、トレーニング資料に時間と予算を費やして、変換の実行方法、データ ソースの接続方法、提示されたデータを最大限に活用する方法についてチームを最新の状態に保つ必要があります。

ETLの購入

ETL を購入するコストはもう少し単純です。 月額または年額のサービス プラン料金が 1 つなので、ETL インフラストラクチャを理解するための開発スタッフ、クラウド サービスのアップグレード、または広範なトレーニングを用意する必要はありません。

ユーザー ガイドや技術文書などのオンボーディング リソースが含まれています。 新しいトレーニング ドキュメントが常に追加されているため、追加の社内リソースを使用する必要はありません。

開発の複雑さ

ETL パイプラインの構築は、それ自体が労働集約的で技術的に困難な作業です。 マーケティング部門の ETL を構築するにはマーケティングの専門知識が必要ですが、製品チーム出身の開発者には不足している可能性があります。

ETL の構築

ETL を作成するとき、開発者はデータ ソースの最初の接続に多くの時間と労力を費やします。 次に、API が提供されている場合でも、自家製のシステムで動作するように API を微調整する必要があることがよくあります。 また、プラットフォームに API がない可能性が高く、開発者は別の方法でデータを取得する必要があります。

パイプラインに含めるデータ ソースを特定するとどうなるでしょうか? エラーが発生せず、インフラストラクチャが最新で安全であると仮定すると、データ統合には最大 6.5 週間の実装時間がかかる場合があります。

新しい API コネクタが追加されると、プラグ アンド プレイ イベントではないため、そのデータを待つ時間が長くなることが予想されます。 人々は間違いを犯すため、時々、おそらく悪いデータがそこに忍び込むことを期待してください。

そして、これは ETL パイプラインの 1 つのコンポーネントにすぎません。

ETLの購入

ETL を購入すると、使用するすべての API、適用するすべての変換、または接続先を作成または調整するという長い To Do リストから、あなたと開発チームが解放されます。

API の例に戻ります。パイプラインが設定されると、リストからデータ ソースを選択し、クリックするだけで接続できます。 新しいデータ ソース コネクタが追加されると、データへのアクセスと表示はほぼ即時になります。

ベンダーがサポートしていないアプリケーションからデータを取得したい場合はどうなりますか? 評判の良い企業は、開発者がコネクタを作成する場合よりもはるかに短い時間でこれらを処理できます。 たとえば、Improvado には Data Extraction Customization Services (DECS) クレジット システムがあります。 顧客は、請求プランの 20% に相当する DECS クレジットを取得し、これらのクレジットをカスタム API、ファイルの取り込み、およびその他の抽出のニーズに使用できます。

維持費

すべてにメンテナンスが必要であり、ETL パイプラインも例外ではありません。

ETL の構築

何をするにしても、テクノロジーを維持するたびに新しいコストが発生します。 これは、次の場合に発生します。

• データ ソースは出力または接続方法を変更しますが、これは頻繁に発生します。 たとえば、Google 広告 API は新しいバージョンがリリースされるたびに価値が低下するため、新しい API に移行する以外に選択肢はありません。 バージョンの平均寿命は 12 か月です。
• データの使い方が変わります。
• 他のデータに関して、使用するデータがどのように変化するか。
• コンプライアンス対策では、プロセスまたはデータ ストレージを更新する必要があります。

社内パイプラインがデータを移行するのを支援する必要性が非常に高いため、ビジネス全体がこの種のサポートに基づいて構築されています。

ETLの購入

パイプラインを購入し、何かを修正する必要がある場合はどうなりますか? ベンダーは、更新プロセスの一部として自動的に処理します。 データ ソースの出力が変化すると、テクノロジがアップグレードされ、業界の規制も常に考慮されます。

データ パイプラインを購入すると、サポート チームにアクセスして、発生する可能性のある技術的な要求や問題に対処できるようになるため、規模を拡大する際のメンテナンスの手間が軽減されます。

機会費用

このホワイト ペーパーで時間と腐敗しやすさについて説明したように、データは時間の経過とともに価値を失います。 パイプラインの構築や微調整に費やされ、使用可能なデータが収集されないたびに、ビジネスに対するそのデータの価値が低下します。

ETL の構築

テストや展開を含めた長いロールアウト時間は、物事を把握している間にデータが失われることを意味します。 これにより、ボタンを押すだけですぐにデータを使用できる業界の他の企業よりも競争力が低下します。

ETL が概念段階から使用可能なデータを生成するまでに数か月、場合によっては数年かかることは珍しくありません。 あなたのニッチな分野の他のビジネスがすでにデータに基づいて行動している場合、遅れを取るのにそれほど時間はかかりません.

ETLの購入

ビジネス データが自分にとって何を意味するかを定義できるのは自分だけですが、世界のビジネス分析ソフトウェア市場は 2019 年に 670 億ドルに達しました。競合他社よりも価値があります。

データを配布する準備が整ったパイプラインを使用すると、ビジネス上の意思決定を最適に導く方法ですぐに使用できます。

リスクとその他のセキュリティ上の懸念

クラウドに保存されているビジネス ファイルの 21% には機密データが含まれています。 データ パイプラインを選択する際は、厳密なセキュリティ対策を講じないと危険にさらされる可能性のあるデータの量を考慮する必要があります。

ETL の構築

ヘルスケアや金融などのコンプライアンス規制が継続的に変更されるということは、パイプラインが継続的に更新されることを意味し、合法性を維持して顧客やパートナーの重要なデータを保護するために、メンテナンスの悪夢が発生する可能性があります。 データ監査のコストだけでも、パイプライン開発の価格をゆがめる可能性がありますが、データ保護とコンプライアンス規則に違反した場合の潜在的な罰金を追加することも、実際の財務上および評判上のリスクです。

ETLの購入

事前に構築されたパイプラインを使用すると、コンプライアンスが組み込まれます。開発者は、自分の能力以外に規制のベスト プラクティスを学び、準拠するように微調整する必要はありません。

HIPAA や SOC 2 などの業界要件が変更されると、自分で変更を追跡していない場合でも、パイプラインはそれらを満たすように自動的に更新されます。

銀行、ヘルスケア、および社会サービス業界は、追いつくべきことがたくさんあります。 規制の変更によって、コンプライアンスを維持するようチームにどのような圧力がかかるかを予測することさえできませんが、事前に構築されたパイプラインがこのストレスを取り除きます。

パフォーマンスとスケーラビリティ

インフラストラクチャからヒューマン エラーまで、多くの要因がパフォーマンスに影響します。

ETL の構築

独自の ETL を構築する場合、そのプロセスには人的エラーが発生する可能性がたくさんあります。 . たとえば、スペルミスが 1 つあるだけで、データ ソース全体が狂ってしまいます。

その上、新しいソースごとに、新しいコードの作成、テスト、展開、およびフォーマット変換が必要になります。これは開発者の時間を非常に非効率的に使用し、重要な瞬間にスケーリングを思いとどまらせる可能性があります。

クラウド接続エラーまたはエンドでの処理リソースが原因で、データ結果の取得に遅延が発生する場合があります。 物事をうまく運営し続ける責任はあなたにあります。

ETLの購入

インフラストラクチャはベンダーにプッシュされるため、すべてのクラウド コンピューティング リソースをオンサイトに維持したり、複数のクラウド ベンダーに料金を支払ったりする必要はありません。 また、いつでもスケールアップして、より多くの行、コネクタなどにアクセスできます。

ETL を DIY にするべきではない理由

多くのビジネス リーダーは革新的で、適切であり、ETL パイプラインに DIY アプローチを採用することに意欲的です。 労働市場の不確実性、高いリソース コスト、および時間の経過とともにデータが劣化するという明白な事実により、自分で物事を処理するのを待つことは、市場で重大な不利な立場に置かれる可能性があります。

Impprovado から事前構築済みの ETL を選択すると、最新のデータにアクセスできるようになり、今日の市場について重要なビジネス上の意思決定を行うことができます。

300 を超えるデータ統合 (および増加中) により、ソースを組み合わせて組み合わせることで、カスタマー ジャーニー、財務、広告費などの全体像を把握できます。単独で行うことに伴うコンプライアンスの頭痛や継続的なメンテナンス コストは不要です。

市場、規制、およびデータ ソースが変化するにつれて、Improvado はそのプロセスを調整して、データの整合性とセキュリティの要求に対応します。 これは、データ主導の意思決定を重視する企業にとって理想的な選択肢です。