Hambatan untuk Analisis Waktu Nyata

Big Data memberikan nilai bagi bisnis di berbagai industri di berbagai tingkatan. Ambil contoh industri ritel. Sektor ini bergulat dalam ekosistem yang semakin kompleks dengan kebutuhan dan preferensi yang berkembang dari menit ke menit. Tuntutan tiga pelanggan untuk pengiriman layanan yang lebih cepat, kualitas unggul, dan harga yang lebih rendah, adalah apa yang memunculkan data besar sebagai senjata untuk melawan tuntutan ini dan memuaskannya dengan benar, untuk menghindari hilangnya pendapatan.

Langkah pertama untuk memenuhi tuntutan ini adalah mengetahui apa yang dikatakan pelanggan tentang merek tertentu. Ini akan membantu pengecer untuk menentukan apa yang dibutuhkan pelanggan. Dengan bantuan perayapan web bertarget yang disediakan oleh perusahaan ekstraksi data spesialis , perusahaan kini memiliki kekuatan untuk mengekstrak data dari jutaan halaman web dan platform media sosial yang berpotensi menghasilkan efek yang luar biasa.

Analisis data besar yang dihasilkan dari perayapan web dan ekstraksi data

Langkah selanjutnya adalah melakukan analisis terhadap data yang dikumpulkan dengan web crawling. Ini akan membantu ilmuwan data dan manajer pemasaran untuk memahami apa kebutuhan, keinginan, preferensi, dan pilihan yang diminta oleh pelanggan. Akibatnya, para pengambil keputusan di industri ritel dapat dengan cepat bertindak untuk mengisi kesenjangan dalam permintaan atau mengubah berbagai produk mereka, agar sesuai dengan apa yang ingin dilihat pelanggan. Namun, analisis data tidak akan mudah ketika Anda memiliki jutaan baris data yang tersedia untuk dianalisis. Menurut Gartner, data akan tumbuh pada 800% yang belum pernah terjadi sebelumnya selama 5 tahun ke depan dan 80% data tidak akan terstruktur. Dengan demikian, kebutuhan akan analisis data besar hanya akan meledak dalam beberapa tahun mendatang.

Bagaimana analitik data berkembang selama bertahun-tahun?

Sementara analisis data telah ada selama bertahun-tahun, skala dan kecepatan di mana data sekarang masuk, menimbulkan masalah bagi para ilmuwan dan analis data. Seperti yang dikatakan Anant Rajaraman, Senior Vice President di Walmart Global e-commerce dan salah satu pendiri @WalmartLabs, “ Banyak orang tahu cara bekerja dengan data, tetapi sekarang ada lebih banyak data sehingga berbagai hal dapat Anda lakukan dengan itu dan cara Anda bekerja dengannya bisa sangat berbeda….. Alat [untuk Big Data] sangat berbeda. Banyak algoritme dasar untuk analitik prediktif sangat bergantung pada penyimpanan data di memori utama dengan satu CPU untuk mengaksesnya. Big Data mematahkan kondisi itu. Tidak semua data dapat berada di memori pada saat yang bersamaan, sehingga perlu diproses secara terdistribusi. Itu membutuhkan model pemrograman baru. ”

Kebutuhan akan analitik data waktu nyata

Jika kita melihat beberapa tahun yang lalu, keuntungan dari analisis real-time sangat hilang dari skema pemasar digital. Keterbatasan ini menimbulkan masalah di beberapa bidang bagi pengiklan, manajer pemasaran, dan pengambil keputusan . Meskipun mereka menggunakan statistik yang baru berumur beberapa hari atau minggu, periode waktu ini sudah cukup untuk membuat data menjadi usang, berkat kecepatan data besar yang luar biasa. Hal ini menciptakan permintaan untuk mengakses wawasan lebih cepat dan melakukan analitik dalam periode waktu yang lebih singkat.

Nilai yang ditawarkan oleh big data cukup beralasan bagi perusahaan untuk mencari temuan dan wawasan analitik data yang lebih cepat. Sebagai CTO EMC yang dimiliki Greenplum, Duke Lonergan mengatakan “Setiap bisnis mencari cara untuk mendapatkan hubungan yang lebih erat dengan pelanggannya, untuk meningkatkan prediksi dan menggerakkan mereka di sepanjang lintasan. Kami melihat urgensi tertentu seputar Big Data. ”

Ini menunjukkan bahwa dunia bisnis dan teknologi semakin condong ke analitik data besar real-time pada data real-time yang diekstraksi dari perayapan web dan keahlian ekstraksi data para ahli di bidangnya. Dengan bantuan analisis data real-time, manajer pemasaran dan manajemen senior dapat melihat secara real-time, berbagai metrik kinerja seperti, berapa banyak orang yang melihat produk tertentu, berapa banyak yang menanggapi produk secara online, dan berapa banyak yang sebenarnya membelinya. Bagi sebuah perusahaan, ada baiknya menambah atau mengurangi pengeluaran digital mereka berdasarkan apa yang sebenarnya dibicarakan orang-orang dan apa yang sedang tren saat itu. Mengoptimalkan pembelanjaan digital membantu merek untuk mempererat hubungannya dengan pelanggan dan membangun nilai merek jangka panjang.

Tantangan dalam analisis data waktu nyata

Namun, sementara analisis data waktu nyata mungkin terlihat luar biasa dalam teori, itu menjadi sedikit rumit dalam desain dan pengiriman yang sebenarnya. Analisis data waktu nyata yang dihasilkan dengan bantuan perayapan web yang dijalankan dari perusahaan ekstraksi data pada dasarnya harus memenuhi tujuan di bawah ini:

• Analisis data dalam jangka waktu yang lama, untuk membantu mengungkap pola dan membuka tren yang perlu diketahui
• Buat model untuk meramalkan masa depan atau merancang sistem kontrol
• Bantuan dalam menghubungkan parameter yang tampaknya tidak terkait. Misalnya, lebih banyak wawasan tentang perilaku mengemudi dapat dieksplorasi dengan memeriksa parameter seperti data sensor IoT tentang akselerasi dan kecepatan.

Terbukti, ada beberapa tantangan signifikan yang harus diatasi sebelum ROI pada analitik real-time menjadi menarik. Di bawah ini adalah beberapa tantangan utama –

1. Ketergantungan pada sistem lama : Beberapa tahun yang lalu – sekitar tahun 2009, kueri sederhana dan menemukan data untuk menjawab kueri membutuhkan banyak waktu. Misalkan jika Anda memiliki pertanyaan "Berapa banyak pelanggan yang menjelajahi situs saya melalui ponsel Android", langkah pertama untuk mendapatkan jawaban atas pertanyaan ini adalah dengan memperbaiki skema di gudang data Anda. Langkah ini sendiri akan memakan waktu rata-rata beberapa bulan .

Oleh karena itu kecenderungan umum dari manajer data adalah untuk mencari tahu pertanyaan sebelumnya ketika merancang skema dan gudang sehingga cocok untuk menjawab pertanyaan ketika benar-benar muncul. Namun, dalam lingkungan yang dinamis, hal ini tidak mungkin lagi menjadi kasus yang layak. Oleh karena itu ketergantungan pada sistem lama tanpa meningkatkan ke alat analisis data real-time yang siap di masa mendatang seperti Vertica, Hive, dan MapReduce, merupakan penghalang besar untuk menganalisis data secara real-time .

2. Seberapa cepat hari ini : Peningkatan lanskap teknologi telah memastikan bahwa seluruh proses analitik yang dulunya memakan waktu berbulan-bulan, berminggu-minggu, dan berhari-hari, sekarang membutuhkan beberapa menit, detik, dan mikro-detik. Ilmuwan data hanya perlu memikirkan kueri dan biola! Mereka memiliki hasil eksperimen dan hipotesis mereka di depan mereka dalam waktu singkat. Waktu pemrosesan yang lebih singkat untuk analisis data kini telah meningkatkan ekspektasi.

Seperti yang dikatakan Justin Erickson, manajer produk senior Cloudera, “ Ini tentang bergerak dengan kecepatan lebih besar menuju pertanyaan yang sebelumnya tidak diketahui, mendefinisikan wawasan baru, dan mengurangi waktu antara saat suatu peristiwa terjadi di suatu tempat di dunia dan seseorang merespons atau bereaksi terhadap peristiwa itu. ” Oleh karena itu, meningkatnya permintaan untuk mempersingkat analitik data dan waktu pembuatan wawasan merupakan penghalang untuk memberikan nilai dengan analitik data waktu nyata.

3. Pengambilan keputusan: Sudah cukup pasti bahwa teknologi, proses, dan orang sekarang diberdayakan untuk mengumpulkan data dengan cepat melalui ekstraksi data dan penjelajahan web . Mereka juga sekarang dapat menggunakan dan menganalisis data secara real-time. Namun bagaimana keadaan kita, ketika harus mengambil tindakan dan membuat keputusan berdasarkan analisis data? Ada dua opsi di sini -

• Berpusat pada manusia – Pendekatan tradisional di mana orang senior atau pembuat keputusan akan melihat hasil analitik dan kemudian membuat keputusan berdasarkan wawasan dan visualisasi ini
• Sistem otomatis – Proses otomatis dapat membantu dalam membuat keputusan berdasarkan hasil tertentu tanpa menunggu orang untuk campur tangan.

Jelas bahwa memiliki sistem otomatis akan membantu meningkatkan efektivitas analisis data waktu nyata dan proses pengambilan keputusan selanjutnya. Namun, ketidakmampuannya untuk mencocokkan kredibilitas tindakan yang diambil dalam proses pengambilan keputusan membuat pengambilan keputusan yang berpusat pada manusia di atas angin. Ini sekali lagi merupakan penghalang untuk meningkatkan efektivitas analitik data waktu nyata.

4. Pergeseran budaya : Memiliki analitik waktu nyata yang tersedia dan dapat diakses juga akan memengaruhi cara perusahaan berfungsi saat ini. Wawasan waktu nyata akan membanjiri perusahaan yang terbiasa mengerjakan wawasan sekali atau dua kali seminggu. Bayangkan jika sebuah perusahaan telah membangun orang, proses, dan metrik kinerja pada pendekatan pengambilan tindakan wawasan sekali seminggu? Apa yang akan terjadi pada metrik, produktivitas, dan kinerja ketika wawasan mulai masuk setiap hari, bukan setiap minggu, berkat analitik data waktu nyata?

Akibatnya akan terjadi chaos jika transisi tidak direncanakan secara strategis. Ini karena menerima dan bertindak berdasarkan wawasan setiap detik setiap hari akan membutuhkan budaya dan pendekatan yang berbeda, daripada pendekatan tradisional yang bertindak berdasarkan wawasan setiap minggu. Hambatan budaya seperti itu di tempat kerja perusahaan dalam mengadopsi analitik data waktu nyata juga tidak biasa.

Untuk menyimpulkan

Untuk menandatangani, proposisi nilai besar yang ditawarkan oleh analitik data besar waktu nyata akan membantu mendorong sektor industri utama saat ini untuk melewati persaingan mereka dalam melayani klien dengan memuaskan dan mendapatkan keunggulan kompetitif. Ini asalkan mereka mampu mengatasi tantangan dengan memuaskan.

Berencana untuk memperoleh data dari web? Kami di sini untuk membantu. Beri tahu kami tentang kebutuhan Anda.