실시간 분석의 장벽
게시 됨: 2016-08-30빅 데이터는 여러 수준에서 여러 산업의 비즈니스에 가치를 제공하고 있습니다. 소매업을 예로 들어보자. 이 부문은 시시각각 진화하는 요구 사항과 선호 사항으로 인해 점점 더 복잡해지는 생태계에서 씨름하고 있습니다. 더 빠른 서비스 제공, 우수한 품질, 더 낮은 가격이라는 세 가지 고객 요구는 이러한 요구에 대응하고 적절하게 충족하여 수익 손실을 방지하기 위한 무기로 빅 데이터를 발생시키고 있습니다.
이러한 요구를 충족하기 위한 첫 번째 단계는 특정 브랜드에 대해 고객이 말하는 내용을 파악하는 것입니다. 이는 소매업체가 고객이 필요로 하는 것을 결정하는 데 도움이 됩니다. 전문 데이터 추출 회사 에서 제공하는 대상 웹 크롤링의 도움으로 이제 회사는 잠재적으로 수백만 개의 웹 페이지와 소셜 미디어 플랫폼에서 데이터를 추출할 수 있는 능력을 갖게 되었습니다.
웹 크롤링 및 데이터 추출에서 생성된 빅데이터 분석
다음 단계는 웹 크롤링으로 수집된 데이터를 분석하는 것입니다. 이는 데이터 과학자와 마케팅 관리자가 고객이 요구하는 요구 사항, 요구 사항, 선호도 및 선택 사항을 이해하는 데 도움이 됩니다. 결과적으로, 소매 업계의 의사 결정자는 고객이 보고 싶어하는 것과 일치하도록 수요의 격차를 채우거나 제품 구색을 조정하기 위해 신속하게 조치를 취할 수 있습니다. 그러나 분석할 수 있는 데이터 행이 수백만 개라면 데이터 분석은 쉽지 않습니다. Gartner에 따르면 데이터 는 향후 5년 동안 전례 없이 800% 증가할 것이며 데이터의 80%는 비정형 데이터가 될 것입니다. 따라서 빅 데이터 분석의 필요성은 앞으로 몇 년 안에 폭발적으로 증가할 것입니다.
데이터 분석은 수년에 걸쳐 어떻게 발전해 왔습니까?
데이터 분석은 수년 동안 사용되어 왔지만 현재 데이터가 들어오는 규모와 속도는 데이터 과학자와 분석가에게 문제를 제기하고 있습니다. Walmart 글로벌 전자 상거래의 수석 부사장이자 @WalmartLabs의 공동 설립자인 Anant Rajaraman은 다음과 같이 말했습니다 . 그것과 당신이 그것으로 작업하는 방식은 매우 다를 수 있습니다….. [빅 데이터를 위한] 도구는 매우 다릅니다. 예측 분석을 위한 많은 기본 알고리즘은 데이터에 액세스할 수 있는 단일 CPU가 있는 주 메모리에 데이터를 유지하는 데 결정적으로 의존합니다. 빅 데이터는 이러한 조건을 깨뜨립니다. 데이터가 모두 동시에 메모리에 있을 수는 없으므로 분산 방식으로 처리해야 합니다. 이를 위해서는 새로운 프로그래밍 모델이 필요합니다. "
실시간 데이터 분석의 필요성
몇 년 전으로 돌아가 보면 디지털 마케터의 도식에서 실시간 분석의 이점이 완전히 빠져 있었습니다. 이러한 제한은 광고주, 마케팅 관리자 및 의사 결정권자에게 여러 측면에서 문제를 제기 했습니다. 불과 며칠 또는 몇 주 전의 통계를 사용했지만 빅 데이터의 엄청난 속도 덕분에 이 기간은 데이터를 구식으로 만들기에 충분했습니다. 이로 인해 인사이트에 더 빠르게 액세스하고 더 짧은 시간에 분석을 수행해야 한다는 요구가 생겼습니다.
빅 데이터가 제공하는 가치는 기업이 더 빠른 데이터 분석 결과와 통찰력을 찾는 데 충분히 합리적 입니다. EMC 소유 Greenplum의 CTO인 Duke Lonergan은 다음과 같이 말했습니다. 우리는 빅 데이터에 대한 특정 시급성을 봅니다. "
이는 비즈니스 및 기술 세계가 웹 크롤링에서 추출한 실시간 데이터에 대한 실시간 빅 데이터 분석과 해당 분야 전문가의 데이터 추출 능력에 점점 더 많이 의존하고 있음을 보여줍니다 . 실시간 데이터 분석의 도움으로 마케팅 관리자와 고위 경영진은 특정 제품을 보고 있는 사람의 수, 온라인에서 제품에 응답하는 사람의 수, 현재 보고 있는 사람의 수와 같은 다양한 성과 지표를 실시간으로 확인할 수 있습니다. 실제로 구매합니다. 회사의 경우 사람들이 실제로 이야기하는 내용과 바로 그 순간에 유행하는 내용을 기반으로 디지털 지출을 늘리거나 줄이는 데 도움이 됩니다. 디지털 지출을 최적화하면 브랜드가 고객과의 관계를 강화하고 장기적인 브랜드 가치를 구축하는 데 도움이 됩니다.
실시간 데이터 분석의 과제
그러나 실시간 데이터 분석은 이론상으로는 훌륭해 보일 수 있지만 실제 설계 및 제공에서는 다소 복잡해집니다. 데이터 추출 회사 에서 실행되는 웹 크롤링의 도움으로 생성된 실시간 데이터 분석 은 기본적으로 다음과 같은 목표를 달성해야 합니다.
- 패턴을 발견하고 알아야 할 가치가 있는 추세를 파악하는 데 도움이 되도록 장기간에 걸쳐 데이터를 분석합니다.
- 미래 예측을 위한 모델 생성 또는 제어 시스템 고안
- 관련이 없어 보이는 매개변수의 상관 관계를 파악하는 데 도움이 됩니다. 예를 들어, 가속 및 속도에 대한 IoT 센서 데이터와 같은 매개변수를 검사하여 운전 행동에 대한 더 많은 통찰력을 탐색할 수 있습니다.
분명히 알 수 있듯이 실시간 분석에 대한 ROI가 매력적이 되기 전에 극복해야 할 몇 가지 중요한 과제가 있습니다. 다음은 몇 가지 주요 과제입니다.
- 레거시 시스템에 대한 의존도 : 몇 년 전인 2009년 쯤으로 돌아가면 간단한 쿼리와 쿼리에 대한 답변을 위한 데이터 검색에 많은 시간이 걸렸습니다. "Android 전화를 통해 내 사이트를 탐색하는 고객 수"라는 쿼리가 있는 경우 이 쿼리에 대한 답을 얻기 위한 첫 번째 단계는 데이터 웨어하우스의 스키마를 개선하는 것입니다. 이 단계 자체는 평균 몇 달 이 걸립니다.
따라서 데이터 관리자의 일반적인 경향은 스키마와 웨어하우스를 설계할 때 질문을 미리 파악하여 실제로 발생했을 때 쿼리에 응답할 수 있도록 하는 것이었습니다. 그러나 동적 환경에서는 더 이상 실현 가능한 경우가 아닙니다. 따라서 Vertica, Hive 및 MapReduce와 같은 미래형 실시간 데이터 분석 도구로 업그레이드하지 않고 레거시 시스템에 의존하는 것은 실시간 데이터 분석에 큰 장벽 입니다.
- 오늘날의 속도 : 기술 환경의 개선으로 이전에는 몇 개월, 몇 주, 며칠이 걸리던 전체 분석 프로세스가 이제는 몇 분, 몇 초, 마이크로초로 단축되었습니다. 데이터 과학자는 쿼리와 비올라만 생각하면 됩니다! 그들은 실험 결과와 가설을 거의 즉시 눈앞에 두고 있습니다. 데이터 분석을 위한 더 짧은 처리 시간은 이제 더 큰 기대로 이어졌습니다.
Cloudera의 수석 제품 관리자인 Justin Erickson은 다음과 같이 말합니다 . ” 따라서 데이터 분석 및 인사이트 생성 시간 단축에 대한 수요 증가는 실시간 데이터 분석으로 가치를 제공하는 데 걸림돌입니다.
- 의사 결정: 이제 기술, 프로세스 및 인력이 데이터 추출 및 웹 크롤링 을 통해 빠르게 데이터를 수집할 수 있는 권한이 부여되었습니다 . 또한 이제 실시간으로 데이터를 사용하고 분석할 수 있습니다. 그러나 데이터 분석을 기반으로 조치를 취하고 결정을 내릴 때 우리는 어떻게 지내고 있습니까? 여기에는 두 가지 옵션이 있습니다.
- 인간 중심 – 고위 직원이나 의사 결정자가 분석 결과를 살펴본 다음 이러한 통찰력과 시각화를 기반으로 결정을 내리는 전통적인 접근 방식
- 자동화된 시스템 – 자동화된 프로세스는 사람들의 개입을 기다리지 않고 특정 결과 집합을 기반으로 결정을 내리는 데 도움이 될 수 있습니다.
자동화된 시스템이 있으면 실시간 데이터 분석 및 후속 의사 결정 프로세스의 효율성을 개선하는 데 도움이 될 것이 분명합니다 . 그러나 의사 결정 과정에서 취한 행동의 신뢰성을 일치시킬 수 없기 때문에 인간 중심의 의사 결정이 우세합니다. 이는 다시 실시간 데이터 분석의 효율성을 높이는 데 장애가 됩니다.
- 문화적 변화 : 실시간 분석을 사용할 수 있고 액세스할 수 있게 되면 기업이 현재 기능하는 방식에도 영향을 미칠 것입니다. 실시간 통찰력은 일주일에 한두 번 통찰력을 작업하는 데 익숙한 기업을 쇄도할 것입니다. 회사가 일주일에 한 번 인사이트 실행 접근 방식을 기반으로 인력, 프로세스 및 성과 지표를 구축했다고 상상해 보십시오. 실시간 데이터 분석 덕분에 인사이트가 매주가 아니라 매일 제공되기 시작하면 메트릭, 생산성 및 성능은 어떻게 될까요?
전환이 전략적 방식으로 계획되지 않으면 결과는 혼돈이 될 것입니다. 매일 1초마다 통찰력을 받아 실행하려면 매주 통찰력에 따라 실행하는 기존 접근 방식과 다른 문화와 접근 방식이 필요하기 때문입니다. 기업 직장에서 실시간 데이터 분석을 채택하는 데 있어 이러한 문화적 장벽도 드문 일이 아닙니다.
결론적으로
결론적으로, 실시간 빅 데이터 분석이 제공하는 엄청난 가치 제안은 오늘날의 주요 산업 부문이 고객에게 만족스럽게 서비스를 제공하는 경쟁을 극복하고 경쟁 우위를 확보하는 데 도움이 될 것입니다. 이것은 그들이 문제를 만족스럽게 해결할 수 있다는 전제 하에 있습니다.
웹에서 데이터를 수집할 계획입니까? 도와드리겠습니다. 귀하의 요구 사항에 대해 알려주십시오 .