Obstacles à l'analyse en temps réel

Le Big Data apporte de la valeur aux entreprises de plusieurs secteurs à de nombreux niveaux. Prenons par exemple le secteur de la vente au détail. Le secteur est aux prises avec un écosystème de plus en plus complexe avec des besoins et des préférences qui évoluent de minute en minute. La triple demande des clients d'une prestation de service plus rapide, d'une qualité supérieure et de prix plus bas est à l'origine du big data comme arme pour contrer ces demandes et les satisfaire correctement, afin d'éviter la perte de revenus.

La première étape pour répondre à ces demandes est de savoir ce que les clients disent d'une marque particulière. Cela aidera les détaillants à déterminer ce dont les clients ont besoin. Avec l'aide de l'exploration Web ciblée fournie par des sociétés spécialisées dans l'extraction de données , les entreprises ont désormais le pouvoir d'extraire des données de potentiellement des millions de pages Web et de plateformes de médias sociaux avec un grand effet.

L'analyse des mégadonnées générées à partir de l'exploration Web et de l'extraction de données

L'étape suivante consiste à effectuer une analyse des données collectées avec le crawling Web. Cela aidera les scientifiques des données et les responsables marketing à comprendre quels sont les besoins, les désirs, les préférences et les choix demandés par les clients. En conséquence, les décideurs du secteur de la vente au détail peuvent agir rapidement pour combler les lacunes de la demande ou ajuster leur assortiment de produits, pour correspondre à ce que les clients veulent voir. Cependant, l'analyse des données ne sera pas facile lorsque vous aurez des millions de lignes de données disponibles à analyser. Selon Gartner, les données vont croître à un taux sans précédent de 800 % au cours des 5 prochaines années et 80 % des données ne seront pas structurées. Ainsi, le besoin d'analyse de données volumineuses ne fera qu'exploser dans les prochaines années.

Comment l'analyse des données a-t-elle évolué au fil des ans ?

Bien que l'analyse des données existe depuis de nombreuses années, c'est l'échelle et la vitesse à laquelle les données arrivent maintenant qui posent des problèmes aux data scientists et aux analystes. Comme le dit Anant Rajaraman, vice-président senior chez Walmart Global e-commerce et co-fondateur @WalmartLabs, « Beaucoup de gens savent comment travailler avec des données, mais maintenant il y a beaucoup plus de données donc le genre de choses que vous pouvez faire avec elle et la façon dont vous travaillez avec elle peuvent être très différentes….. Les outils [pour le Big Data] sont très différents. De nombreux algorithmes fondamentaux pour l'analyse prédictive dépendent de manière cruciale de la conservation des données dans la mémoire principale avec un seul processeur pour y accéder. Le Big Data rompt cette condition. Les données ne peuvent pas toutes être en mémoire en même temps, elles doivent donc être traitées de manière distribuée. Cela nécessite un nouveau modèle de programmation. ”

Le besoin d'analyse de données en temps réel

Si nous regardons quelques années en arrière, l'avantage de l'analyse en temps réel manquait cruellement à l'ordre du jour des spécialistes du marketing numérique. Cette limitation posait des problèmes sur plusieurs fronts aux annonceurs, responsables marketing et décideurs . Bien qu'ils aient utilisé des statistiques qui ne dataient que de quelques jours ou semaines, cette période de temps était suffisante pour rendre les données obsolètes, grâce à la formidable vitesse des mégadonnées. Cela a créé la demande d'accéder plus rapidement aux informations et d'effectuer des analyses dans un délai plus court.

La valeur offerte par le Big Data est suffisamment justifiée pour que les entreprises recherchent des résultats et des informations d'analyse de données plus rapides. En tant que CTO de Greenplum, propriétaire d'EMC, Duke Lonergan déclare : « Chaque entreprise cherche des moyens d' établir une connexion plus étroite avec ses clients, d'améliorer les prévisions et de les faire progresser le long d'une trajectoire. Nous voyons une certaine urgence autour du Big Data. ”

Cela montre que le monde des affaires et de la technologie se penche de plus en plus vers l'analyse de données volumineuses en temps réel sur des données en temps réel extraites de l'exploration Web et des compétences d'extraction de données d'experts dans le domaine. Avec l'aide d'analyses de données en temps réel, les responsables marketing et la haute direction peuvent voir en temps réel diverses mesures de performance telles que le nombre de personnes qui voient un produit particulier, combien répondent à un produit en ligne et combien sont en fait l'acheter. Pour une entreprise, cela aide à augmenter ou à diminuer ses dépenses numériques en fonction de ce dont les gens parlent réellement et de la tendance à ce moment précis. L'optimisation des dépenses numériques aide une marque à resserrer sa relation avec les clients et à créer une valeur de marque à long terme.

Les défis de l'analyse de données en temps réel

Cependant, alors que l'analyse de données en temps réel peut sembler fabuleuse en théorie, elle devient un peu compliquée dans la conception et la livraison réelles. L' analyse de données en temps réel générée à l'aide de l'exploration Web exécutée par des sociétés d'extraction de données devrait essentiellement servir les objectifs ci-dessous :

• Analyser les données sur une longue période de temps, pour aider à découvrir des modèles et débloquer des tendances à connaître
• Créer des modèles pour prévoir l'avenir ou concevoir des systèmes de contrôle
• Aide à corréler des paramètres apparemment sans rapport. Par exemple, davantage d'informations sur le comportement de conduite peuvent être explorées en examinant des paramètres tels que les données des capteurs IoT sur l'accélération et la vitesse.

Il est évident qu'il reste un certain nombre de défis importants à surmonter avant que le retour sur investissement de l'analyse en temps réel ne devienne attrayant. Voici quelques-uns des principaux défis -

1. Dépendance vis-à-vis des systèmes hérités : En remontant quelques années en arrière - vers 2009, une simple requête et la découverte de données pour répondre à la requête ont pris BEAUCOUP de temps. Supposons que vous ayez une requête "Combien de clients naviguent sur mes sites via un téléphone Android", la première étape pour obtenir une réponse à cette requête serait d'améliorer le schéma de votre entrepôt de données. Cette étape elle-même prendrait en moyenne quelques mois .

Par conséquent, la tendance commune des gestionnaires de données était de déterminer les questions à l'avance lors de la conception du schéma et de l'entrepôt afin qu'il soit adapté pour répondre aux requêtes lorsqu'il se présente réellement. Cependant, dans un environnement dynamique, cela ne peut plus être un cas réalisable. Par conséquent, la dépendance à l'égard des systèmes hérités sans mise à niveau vers des outils d'analyse de données en temps réel prêts pour l'avenir, tels que Vertica, Hive et MapReduce, constitue un obstacle majeur à l'analyse des données en temps réel .

2. À quelle vitesse est rapide aujourd'hui : L'amélioration du paysage technologique a fait en sorte que des processus d'analyse complets qui prenaient des mois, des semaines et des jours prennent désormais des minutes, des secondes et des microsecondes. Les data scientists doivent simplement penser à une requête et alto ! Ils ont les résultats de leurs expériences et hypothèses devant eux en un rien de temps. Des délais de traitement plus courts pour l'analyse des données ont maintenant conduit à une augmentation des attentes.

Comme le dit Justin Erickson, chef de produit senior chez Cloudera, « il s'agit d'avancer plus rapidement vers des questions jusque-là inconnues, de définir de nouvelles idées et de réduire le temps entre le moment où un événement se produit quelque part dans le monde et le moment où quelqu'un répond ou réagit à cet événement. " Par conséquent, la demande croissante de raccourcissement du temps d'analyse des données et de génération d'informations est un obstacle à la création de valeur avec l'analyse des données en temps réel.

3. Prise de décision : il est à peu près certain que les technologies, les processus et les personnes sont désormais en mesure de collecter rapidement des données grâce à l'extraction de données et à l'exploration du Web . Ils peuvent également désormais consommer et analyser des données en temps réel. Cependant, où en sommes-nous lorsqu'il s'agit de prendre des mesures et de prendre des décisions basées sur l'analyse des données ? Il y a deux options ici -

• Centré sur l'humain - L'approche traditionnelle où une personne senior ou un décideur examinera les résultats d'analyse, puis prendra des décisions basées sur ces informations et visualisations
• Système automatisé - Un processus automatisé peut aider à prendre la décision en fonction d'un ensemble de résultats particulier sans attendre que les gens interviennent.

Il est évident que le fait de disposer d'un système automatisé contribuera à améliorer l'efficacité de l'analyse des données en temps réel et du processus décisionnel ultérieur. Cependant, son incapacité à égaler la crédibilité des actions prises dans le processus de prise de décision donne le dessus à la prise de décision centrée sur l'humain. Là encore, il s'agit d'un obstacle à l'amélioration de l'efficacité de l' analyse des données en temps réel.

4. Changement culturel : la disponibilité et l'accessibilité des analyses en temps réel auront également un impact sur le fonctionnement actuel des entreprises. Les informations en temps réel vont inonder les entreprises qui ont l'habitude de travailler sur des informations une ou deux fois par semaine. Imaginez si une entreprise a construit des personnes, des processus et des mesures de performance sur l'approche d'action prenant des informations une fois par semaine ? Qu'adviendra-t-il des métriques, de la productivité et des performances lorsque les informations commenceront à arriver quotidiennement plutôt qu'hebdomadairement, grâce à l'analyse des données en temps réel ?

Le résultat sera le chaos si la transition n'est pas planifiée de manière stratégique. En effet, recevoir et agir sur des idées chaque seconde sur une base quotidienne nécessitera une culture et une approche différentes de l'approche traditionnelle consistant à agir sur des idées sur une base hebdomadaire. De telles barrières culturelles sur le lieu de travail de l'entreprise lors de l'adoption de l'analyse de données en temps réel ne seront pas rares non plus.

De conclure

Pour conclure, l'immense proposition de valeur offerte par l'analyse de données volumineuses en temps réel contribuera à propulser les principaux secteurs industriels d'aujourd'hui à dépasser leurs concurrents pour servir les clients de manière satisfaisante et à acquérir un avantage concurrentiel. A condition qu'ils soient capables de relever les défis de manière satisfaisante.

Vous envisagez d'acquérir des données sur le Web ? Nous sommes là pour vous aider. Faites-nous part de vos besoins.