Ostacoli all'analisi in tempo reale

I Big Data stanno fornendo valore alle aziende in più settori a molti livelli. Prendiamo ad esempio il settore della vendita al dettaglio. Il settore è alle prese in un ecosistema sempre più complesso con bisogni e preferenze che evolvono di minuto in minuto. La triplice richiesta da parte dei clienti di fornire servizi più rapidi, qualità superiore e prezzi più bassi è ciò che sta dando vita ai big data come arma per contrastare queste richieste e soddisfarle adeguatamente, per evitare perdite di ricavi.

Il primo passo per soddisfare queste esigenze è sapere cosa dicono i clienti su un particolare marchio. Ciò aiuterà i rivenditori a determinare ciò di cui i clienti hanno bisogno. Con l'aiuto della scansione web mirata fornita da società specializzate nell'estrazione di dati , le aziende ora hanno il potere di estrarre dati da potenzialmente milioni di pagine web e piattaforme di social media con grande efficacia.

L'analisi dei big data generati dal web crawling e dall'estrazione dei dati

Il passo successivo consiste nell'effettuare un'analisi dei dati raccolti con il web crawling. Ciò aiuterà i data scientist e i responsabili del marketing a capire quali sono i bisogni, i desideri, le preferenze e le scelte richieste dai clienti. Di conseguenza, i responsabili delle decisioni nel settore della vendita al dettaglio possono agire rapidamente per colmare le lacune nella domanda o modificare l'assortimento di prodotti, in modo che corrisponda a ciò che i clienti vogliono vedere. Tuttavia, l'analisi dei dati non sarà facile quando avrai milioni di righe di dati disponibili da analizzare. Secondo Gartner, i dati cresceranno di un 800% senza precedenti nei prossimi 5 anni e l'80% dei dati non sarà strutturato. Pertanto, la necessità di analisi dei big data esploderà solo nei prossimi anni.

Come si è evoluta l'analisi dei dati nel corso degli anni?

Sebbene l'analisi dei dati sia in circolazione da molti anni, è la scala e la velocità con cui i dati stanno arrivando, pone problemi a data scientist e analisti. Come afferma Anant Rajaraman, Senior Vice President presso Walmart Global e-commerce e co-fondatore @WalmartLabs, " Molte persone sanno come lavorare con i dati, ma ora ci sono molti più dati, quindi il tipo di cose che puoi fare con esso e il modo in cui lavori con esso possono essere molto diversi….. Gli strumenti [per i Big Data] sono molto diversi. Molti degli algoritmi fondamentali per l'analisi predittiva dipendono in modo cruciale dal mantenimento dei dati nella memoria principale con una singola CPU per accedervi. I Big Data rompono questa condizione. I dati non possono essere tutti in memoria contemporaneamente, quindi devono essere elaborati in modo distribuito. Ciò richiede un nuovo modello di programmazione. "

La necessità di analisi dei dati in tempo reale

Se guardiamo indietro di qualche anno, il vantaggio dell'analisi in tempo reale era gravemente assente dallo schema delle cose dei marketer digitali. Questa limitazione ha posto problemi su diversi fronti per gli inserzionisti, i responsabili del marketing e i responsabili delle decisioni . Sebbene utilizzassero statistiche che risalivano a pochi giorni o settimane, questo periodo di tempo è stato sufficiente per rendere i dati obsoleti, grazie all'enorme velocità dei big data. Ciò ha creato la richiesta di accedere più rapidamente alle informazioni dettagliate e di eseguire le analisi in un periodo di tempo più breve.

Il valore offerto dai big data è sufficientemente motivato da consentire alle aziende di cercare risultati e approfondimenti di analisi dei dati più rapidi. Duke Lonergan, CTO di EMC, possedeva Greenplum, afferma: “Ogni azienda è alla ricerca di modi per ottenere una connessione più stretta con i propri clienti, per migliorare la previsione e spostarli lungo una traiettoria. Vediamo una certa urgenza intorno ai Big Data. "

Ciò dimostra che il mondo degli affari e della tecnologia è sempre più incline all'analisi dei big data in tempo reale sui dati in tempo reale estratti dalle competenze di scansione del Web e di estrazione dei dati degli esperti del settore. Con l'assistenza dell'analisi dei dati in tempo reale, i responsabili del marketing e l'alta dirigenza possono vedere in tempo reale varie metriche delle prestazioni come quante persone stanno vedendo un particolare prodotto, quante stanno rispondendo a un prodotto online e quante lo sono effettivamente acquistandolo. Per un'azienda, aiuta ad aumentare o diminuire la spesa digitale in base a ciò di cui le persone stanno effettivamente parlando e alle tendenze in quel momento. L'ottimizzazione della spesa digitale aiuta un marchio a rafforzare la relazione con i clienti e a creare valore del marchio a lungo termine.

Sfide nell'analisi dei dati in tempo reale

Tuttavia, mentre l'analisi dei dati in tempo reale può sembrare favolosa in teoria, diventa un po' complicata nella progettazione e nella consegna effettive. L' analisi dei dati in tempo reale generata con l'aiuto della scansione web eseguita da società di estrazione di dati dovrebbe essenzialmente raggiungere gli obiettivi seguenti:

• Analizza i dati per un lungo periodo di tempo, per aiutare a scoprire schemi e sbloccare tendenze che vale la pena conoscere
• Creare modelli per prevedere il futuro o ideare sistemi di controllo
• Aiuta a correlare parametri apparentemente non correlati. Ad esempio, è possibile esplorare ulteriori approfondimenti sul comportamento di guida esaminando parametri come i dati dei sensori IoT su accelerazione e velocità.

Come evidente, ci sono alcune sfide significative da superare prima che il RoI sull'analisi in tempo reale diventi interessante. Di seguito sono elencate alcune delle sfide principali:

1. Dipendenza dai sistemi legacy : risalendo a qualche anno fa, intorno al 2009, una semplice query e la scoperta dei dati per rispondere alla query richiedevano MOLTO tempo. Supponiamo che tu abbia una query "Quanti clienti stanno navigando nei miei siti tramite un telefono Android", il primo passo per ottenere una risposta a questa query sarebbe migliorare lo schema nel tuo data warehouse. Questo passaggio stesso richiederebbe in media un paio di mesi .

Quindi la tendenza comune dei gestori di dati era di capire le domande in anticipo durante la progettazione dello schema e del magazzino in modo che fosse adatto a rispondere alle domande quando si imbatteva effettivamente. Tuttavia, in un ambiente dinamico, questo non può più essere un caso fattibile. Quindi la dipendenza dai sistemi legacy senza l'aggiornamento a strumenti di analisi dei dati in tempo reale pronti per il futuro come Vertica, Hive e MapReduce, rappresenta un grosso ostacolo all'analisi dei dati in tempo reale .

2. Quanto è veloce oggi : il miglioramento del panorama tecnologico ha assicurato che interi processi di analisi che prima richiedevano mesi, settimane e giorni, ora richiedano minuti, secondi e microsecondi. I data scientist devono semplicemente pensare a una query e violare! Hanno davanti a sé i risultati dei loro esperimenti e delle loro ipotesi praticamente in un attimo. Tempi di elaborazione più brevi per l'analisi dei dati hanno ora portato a maggiori aspettative.

Come afferma Justin Erickson, senior product manager di Cloudera, “ Si tratta di muoversi con maggiore velocità verso domande precedentemente sconosciute, definire nuove informazioni e ridurre il tempo che intercorre tra quando un evento accade in qualche parte del mondo e qualcuno risponde o reagisce a quell'evento. "Quindi, la crescente domanda di accorciare i tempi di analisi dei dati e generazione di informazioni dettagliate è un ostacolo alla fornitura di valore con l'analisi dei dati in tempo reale.

3. Processo decisionale: è abbastanza certo che le tecnologie, i processi e le persone siano ora in grado di raccogliere dati rapidamente attraverso l'estrazione dei dati e la scansione del Web . Ora possono anche consumare e analizzare i dati in tempo reale. Tuttavia, come stiamo andando, quando si tratta di intraprendere azioni e prendere decisioni sulla base dell'analisi dei dati? Ci sono due opzioni qui:

• Incentrato sull'uomo: l'approccio tradizionale in cui una persona anziana o un decisore esaminerà i risultati dell'analisi e quindi prenderà decisioni sulla base di queste informazioni e visualizzazioni
• Sistema automatizzato: un processo automatizzato può aiutare a prendere la decisione in base a un particolare set di risultati senza attendere l'intervento delle persone.

È ovvio che avere un sistema automatizzato aiuterà a migliorare l'efficacia dell'analisi dei dati in tempo reale e il successivo processo decisionale. Tuttavia, la sua incapacità di eguagliare la credibilità delle azioni intraprese nel processo decisionale dà il sopravvento al processo decisionale incentrato sull'uomo. Anche questo è un ostacolo al miglioramento dell'efficacia dell'analisi dei dati in tempo reale.

4. Cambiamento culturale : disporre di analisi in tempo reale disponibili e accessibili influirà anche sul modo in cui le aziende funzionano attualmente. Le informazioni in tempo reale inonderanno le aziende che sono abituate a lavorare sulle informazioni una o due volte alla settimana. Immagina se un'azienda ha costruito persone, processi e metriche delle prestazioni sull'approccio dell'adozione di informazioni dettagliate una volta alla settimana? Cosa accadrà alle metriche, alla produttività e alle prestazioni quando le informazioni inizieranno ad arrivare quotidianamente anziché settimanalmente, grazie all'analisi dei dati in tempo reale?

Il risultato sarà il caos se la transizione non è pianificata in modo strategico. Questo perché ricevere e agire in base alle intuizioni ogni secondo su base giornaliera richiederà una cultura e un approccio diversi rispetto all'approccio tradizionale di agire in base alle intuizioni su base settimanale. Tali barriere culturali sul posto di lavoro aziendale nell'adozione anche dell'analisi dei dati in tempo reale non saranno rare.

Concludere

Per concludere, l'immensa proposta di valore offerta dall'analisi dei big data in tempo reale aiuterà a spingere i principali settori industriali di oggi a superare la concorrenza nel servire i clienti in modo soddisfacente e ottenere un vantaggio competitivo. Ciò a condizione che siano in grado di affrontare le sfide in modo soddisfacente.

Stai pianificando di acquisire dati dal web? Siamo qui per aiutare. Facci sapere le tue esigenze.