Барьеры для аналитики в реальном времени

Большие данные приносят пользу предприятиям в различных отраслях на многих уровнях. Возьмем, к примеру, розничную торговлю. Сектор борется во все более сложной экосистеме с потребностями и предпочтениями, которые меняются с каждой минутой. Тройное требование клиентов: более быстрое предоставление услуг, превосходное качество и более низкие цены — вот что порождает большие данные в качестве оружия для противодействия этим требованиям и их надлежащего удовлетворения, чтобы избежать потери доходов.

Первый шаг к удовлетворению этих требований — узнать, что клиенты говорят о конкретном бренде. Это поможет ритейлерам определить, что нужно покупателям. С помощью целевого веб-сканирования, предоставляемого специализированными компаниями по извлечению данных , компании теперь могут извлекать данные с потенциально миллионов веб-страниц и платформ социальных сетей с большим эффектом.

Анализ больших данных, полученных в результате веб-сканирования и извлечения данных

Следующим шагом является проведение анализа данных, собранных с помощью веб-сканирования. Это поможет специалистам по данным и менеджерам по маркетингу понять, каковы потребности, желания, предпочтения и выбор клиентов. В результате лица, принимающие решения в сфере розничной торговли, могут быстро восполнить пробелы в спросе или настроить ассортимент своей продукции в соответствии с тем, что хотят видеть покупатели. Однако аналитика данных не будет легкой, когда у вас есть миллионы строк данных, доступных для анализа. По данным Gartner, данные вырастут на беспрецедентные 800% в течение следующих 5 лет, и 80% данных будут неструктурированными. Таким образом, в ближайшие несколько лет потребность в анализе больших данных будет только возрастать.

Как развивалась аналитика данных с годами?

Хотя анализ данных существует уже много лет, масштаб и скорость, с которой данные сейчас поступают, создают проблемы для ученых и аналитиков данных. Как говорит Анант Раджараман, старший вице-президент отдела электронной коммерции Walmart Global и соучредитель @WalmartLabs: « Многие люди знают, как работать с данными, но сейчас данных гораздо больше, поэтому вы можете с ним и то, как вы с ним работаете, могут быть очень разными….. Инструменты [для больших данных] очень разные. Многие фундаментальные алгоритмы предиктивной аналитики в решающей степени зависят от хранения данных в основной памяти с одним процессором для доступа к ним. Большие данные нарушают это условие. Данные не могут находиться в памяти одновременно, поэтому их необходимо обрабатывать распределенным образом. Это требует новой модели программирования. ”

Необходимость анализа данных в реальном времени

Если мы оглянемся на несколько лет назад, преимущество аналитики в реальном времени очень отсутствовало в схеме вещей цифровых маркетологов. Это ограничение создало проблемы для рекламодателей, менеджеров по маркетингу и лиц, принимающих решения, по нескольким направлениям . Хотя они использовали статистику, которой было всего несколько дней или недель, этого периода времени было достаточно, чтобы сделать данные устаревшими благодаря огромной скорости больших данных. Это создало потребность в более быстром доступе к информации и в более короткие сроки.

Ценность, предлагаемая большими данными, достаточно обоснована для того, чтобы компании искали более быстрые результаты анализа данных и идеи. Дюк Лонерган, технический директор компании Greenplum, принадлежащей EMC, говорит: «Каждая компания ищет способы наладить более тесную связь со своими клиентами, улучшить прогнозирование и продвинуть их по траектории. Мы видим определенную актуальность вокруг больших данных. ”

Это показывает, что мир бизнеса и технологий все больше склоняется к аналитике больших данных в реальном времени на основе данных в реальном времени, извлеченных из веб-сканирования, и навыков извлечения данных экспертов в этой области. С помощью аналитики данных в режиме реального времени менеджеры по маркетингу и высшее руководство могут видеть в режиме реального времени различные показатели производительности, например, сколько людей видят конкретный продукт, сколько реагируют на продукт в Интернете и сколько фактически покупая его. Для компании это помогает увеличивать или уменьшать свои цифровые расходы в зависимости от того, о чем на самом деле говорят люди и что сейчас в тренде. Оптимизация цифровых расходов помогает бренду укрепить отношения с клиентами и создать долгосрочную ценность бренда.

Проблемы анализа данных в реальном времени

Однако, несмотря на то, что аналитика данных в реальном времени может выглядеть великолепно в теории, на практике она становится немного сложной. Аналитика данных в режиме реального времени, созданная с помощью веб-сканирования, выполняемого компаниями по извлечению данных, должна в основном служить следующим целям:

• Анализируйте данные за длительный период времени, чтобы выявить закономерности и тенденции, о которых стоит знать.
• Создавайте модели для прогнозирования будущего или разрабатывайте системы управления
• Помогите сопоставить, казалось бы, несвязанные параметры. Например, можно получить больше информации о поведении при вождении, изучив такие параметры, как данные датчика IoT об ускорении и скорости.

Очевидно, что предстоит решить немало серьезных проблем, прежде чем рентабельность инвестиций в аналитику в реальном времени станет привлекательной. Ниже приведены некоторые из ключевых проблем.

1. Зависимость от устаревших систем . Несколько лет назад — примерно в 2009 году — простой запрос и поиск данных для ответа на запрос заняли ОЧЕНЬ много времени. Предположим, если у вас есть запрос «Сколько клиентов просматривают мои сайты через телефон Android», первым шагом для получения ответа на этот запрос будет улучшение схемы в вашем хранилище данных. Сам этот шаг займет в среднем пару месяцев .

Следовательно, общая тенденция менеджеров данных заключалась в том, чтобы заранее выяснить вопросы при разработке схемы и хранилища, чтобы они были приспособлены для ответов на запросы, когда они действительно возникают. Однако в динамичной среде это уже невозможно. Следовательно, зависимость от устаревших систем без обновления до готовых к будущему инструментов анализа данных в реальном времени, таких как Vertica, Hive и MapReduce, является большим препятствием для анализа данных в реальном времени .

2. Насколько быстро сегодня : Улучшение технологического ландшафта привело к тому, что все процессы аналитики, которые раньше занимали месяцы, недели и дни, теперь занимают минуты, секунды и микросекунды. Специалисты по данным просто должны придумать запрос и альт! Практически мгновенно они получают результаты своих экспериментов и гипотез. Сокращение времени обработки для анализа данных привело к увеличению ожиданий.

Как говорит Джастин Эриксон, старший менеджер по продуктам Cloudera: « Речь идет о том, чтобы двигаться с большей скоростью к ранее неизвестным вопросам, определять новые идеи и сокращать время между тем, когда где-то в мире происходит событие, и кто-то отвечает или реагирует на это событие. Следовательно, растущий спрос на сокращение времени анализа данных и получения информации является препятствием для предоставления ценности с помощью анализа данных в реальном времени.

3. Принятие решений. Совершенно очевидно, что технологии, процессы и люди теперь могут быстро собирать данные посредством извлечения данных и сканирования веб-страниц . Теперь они также могут получать и анализировать данные в режиме реального времени. Однако как обстоят дела, когда дело доходит до действий и принятия решений на основе анализа данных? Здесь есть два варианта —

• Ориентация на человека — традиционный подход, при котором старший сотрудник или лицо, принимающее решения, просматривает результаты аналитики, а затем принимает решения на основе этих идей и визуализации.
• Автоматизированная система. Автоматизированный процесс может помочь в принятии решения на основе определенного набора результатов, не дожидаясь вмешательства человека.

Очевидно, что наличие автоматизированной системы поможет повысить эффективность анализа данных в реальном времени и последующего процесса принятия решений. Однако его неспособность соответствовать достоверности действий, предпринятых в процессе принятия решений, дает преимущество при принятии решений, ориентированных на человека. Это снова является препятствием для повышения эффективности анализа данных в реальном времени.

4. Культурный сдвиг : наличие и доступность аналитики в реальном времени также повлияет на то, как компании работают в настоящее время. Инсайты в реальном времени наводнят компании, которые привыкли работать с инсайтами один или два раза в неделю. Представьте, если бы компания построила людей, процессы и показатели производительности на основе подхода к принятию мер раз в неделю? Что произойдет с показателями, производительностью и производительностью, когда информация начнет поступать ежедневно, а не еженедельно, благодаря анализу данных в реальном времени?

Результатом станет хаос, если переход не будет спланирован стратегически. Это связано с тем, что ежесекундное получение информации и ежедневное действие в соответствии с ней потребуют иной культуры и подхода, чем традиционный подход еженедельного действия на основе информации. Такие культурные барьеры на корпоративном рабочем месте при внедрении аналитики данных в реальном времени также не будут редкостью.

Заключить

Подводя итог, можно сказать, что огромное ценностное предложение, предлагаемое аналитикой больших данных в режиме реального времени, поможет сегодняшним основным секторам промышленности превзойти своих конкурентов в удовлетворительном обслуживании клиентов и получить конкурентное преимущество. Это при условии, что они успешно справляются с поставленными задачами.

Планируете получать данные из Интернета? Мы здесь, чтобы помочь. Дайте нам знать о ваших требованиях.