Liburan 2014: Di balik layar dengan Bazaarvoice Engineering

Bazaarvoice Engineering dibangun di atas fondasi pemberdayaan tim berbakat kami untuk memiliki setiap aspek penyampaian layanan kepada pelanggan, dari awal hingga akhir. Untuk acara terbesar kami tahun ini, akhir pekan Black Friday / Cyber ​​Monday: setiap tim teknik membuat proyeksi beban lalu lintas, rencana pengujian beban, rencana pembekuan kode, dan masing-masing bertanggung jawab atas pelaksanaan dan pelaporan hasil untuk kesiapan. Persiapan ini dimulai lebih dari 7 bulan yang lalu dari Black Friday.

Pekerjaan dimulai pada bulan April

Sementara banyak orang memikirkan perjalanan mereka ke Disneyland atau pantai, Bazaarvoice Engineering memulai persiapan untuk acara terbesar kami tahun ini: Black Friday / Cyber ​​Monday. Ada banyak detail yang harus diselesaikan dan banyak persiapan di toko. Saat inilah upaya perencanaan sistem skala besar kami dimulai, saat kami menilai kembali kapasitas sistem secara keseluruhan sehubungan dengan proyeksi pertumbuhan lalu lintas di situs e-niaga dan merek di seluruh jaringan kami. Tim kami menganalisis pola lalu lintas terperinci, pertumbuhan lalu lintas web, pertumbuhan konten buatan pengguna, kapasitas penyimpanan, dan banyak lagi. Selain sistem kami sendiri, kami menilai sistem pihak ketiga yang kami integrasikan dan mengadakan pertemuan dengan tim kepemimpinan mereka untuk membantu mereka memahami peningkatan yang diperlukan sebelum lalu lintas liburan besar tiba.

Dari penilaian awal, jelas kami memiliki sejumlah proyek besar yang harus diselesaikan untuk persiapan liburan ke depan. Jadi, sementara musim panas Texas mulai memanas di bulan Mei, kami memulai pertemuan perencanaan Black Friday mingguan kami dan tim mulai bekerja. Ada proyek infrastruktur besar untuk meningkatkan apa yang kami sebut "Tampilan", sistem yang melayani permintaan front-end dari setengah miliar pengunjung unik setiap bulan. Ada lebih banyak pekerjaan yang harus dilakukan untuk lebih meningkatkan umpan data yang kami kirimkan kepada pelanggan kami setiap hari. Ada alat pengujian beban baru untuk membangun bagian-bagian baru dari platform kami. Dasbor real-time baru direncanakan untuk meningkatkan kemampuan kami untuk memvisualisasikan dengan cepat status semua layanan kami saat ini. Terakhir, ada proses dan saluran komunikasi yang lebih baik sebelum dan selama musim puncak yang perlu direncanakan dan diluncurkan melalui perusahaan dan kepada pelanggan kami. Batalkan liburan itu!

Tenang sebelum badai

Dengan proyeksi lalu lintas rekor untuk 2014, dan dengan sejumlah besar layanan baru dalam produksi, jelas kami membutuhkan kemampuan pengujian beban yang diperluas. Kami membangun lingkungan pengujian virtual baru yang masif di mana semua tim akan menerapkan dan meningkatkan layanan mereka, seperti yang akan kami lakukan dalam produksi ketika saatnya tiba. Alat uji baru dapat mensimulasikan dengan sangat tepat pola lalu lintas aktual dari pembeli dan seperti selang kebakaran, kami menaikkan volume dan menguji semua layanan bersama-sama. Selain pengujian beban, setiap tim berpartisipasi dalam "Hari Permainan" di mana kami dengan sengaja mematikan layanan yang ditargetkan untuk memastikan kami dapat mendeteksi, bereaksi, dan memulihkan dari kegagalan di seluruh sistem. Setiap tim mempublikasikan semua hasil dan tanda tangan mereka – kami siap.

Saat Black Friday mendekat, beberapa minggu ke depan kami sudah menjalankan server virtual baru di cloud. Satu hal yang kami pelajari tahun lalu, bahkan jika Anda telah memesan kapasitas di cloud, jika Anda mencoba memutar server sebelum Black Friday, mungkin masih ada kapasitas yang tidak tersedia. Bahkan saat kami menikmati makan siang Thanksgiving tim kami minggu sebelumnya, kami sudah melihat periode lalu lintas berlipat ganda.

"Hari bermain"

Thanksgiving adalah waktu yang indah sepanjang tahun, penuh dengan keluarga, makanan, sepak bola, dan untuk tim Bazaarvoice Engineering, grafik kinerja sistem, jadwal panggilan, peringatan pager, dan ruang obrolan. Pusat komando adalah "Ruang Insiden" kami di alat HipChat kami. Karena seluruh negara menikmati kalkun dan kickoff, hari permainan kami online. Rupanya, negara ini menikmati sedikit belanja online dengan sepak bola mereka. Buat yang banyak belanja.

Pemantauan kami membuahkan hasil, kami menemukan banyak masalah dan menyesuaikan kapasitas sebelum masalah yang dihadapi pelanggan terlihat. Hari Thanksgiving dan ruang obrolan penuh dengan insinyur di seluruh tim yang siap jika terjadi masalah. Setiap jam permintaan per detik tampaknya mencapai rekor baru. Dan, mau tidak mau, ada masalah pada malam Thanksgiving di salah satu dari banyak layanan, tetapi berkat desain sistem kami, tingkat kesalahannya adalah <.1%. Masih para insinyur bekerja sampai setelah tengah malam Thanksgiving untuk menyelesaikan masalah sepenuhnya.

Saat liburan akhir pekan berlangsung, kami melihat lalu lintas tumbuh hingga lebih dari 6x volume normal, dan ketika lalu lintas ke platform data besar kami mencapai 30.000 per detik, kami semua menjadi bersemangat. Di ruang obrolan, manajer insiden kami memposting grafik dari dasbor kami secara berkala dan tim mengobrol dengan salam liburan dan gif menghibur untuk menjaga suasana tetap ringan. Black Friday ada di sini dan lebih besar dari sebelumnya.

Setiap jam, kami mengirimkan email status kesehatan kepada perusahaan untuk mereka yang tidak berada di ruang obrolan dan kami dapat melihat peningkatan yang signifikan dalam tampilan halaman dan lalu lintas API dibandingkan waktu yang sama tahun lalu. Beberapa masalah terus muncul hingga akhir pekan, tetapi sangat sedikit yang terlihat oleh pelanggan dan tim merespons dengan cepat, menambahkan sumber daya layanan, mengaktifkan layanan baru, atau meningkatkan batas. Tim Teknik bekerja dengan tim Dukungan DevOps dan tim Layanan Pelanggan kami yang luar biasa untuk memastikan proses komunikasi yang telah direncanakan berjalan dengan baik dan semua orang diberi tahu selama proses berlangsung. Seperti yang kami katakan di BV – satu tim, satu mimpi! Sementara itu, lalu lintas ke platform data besar kami melewati 37.000 permintaan per detik dan akhirnya mencapai puncak di utara 50.000 rps.

384 juta tampilan halaman

Pada saat Cyber ​​Monday bergulir, peningkatan lalu lintas terasa seperti norma baru. Tim kembali secara fisik di kantor, tetapi Anda dapat mengatakan bahwa stres "Liburan" diredakan oleh kelegaan bahwa kami melakukannya. Jadi, apa yang sebenarnya kita lakukan? Nah, di Black Friday saja, kami menyajikan 384 juta tampilan halaman ke lebih dari 73 juta pengunjung unik. Kami melihat lebih dari 222 juta pengunjung unik selama periode liburan ini yang naik 38% dari tahun lalu, dan kami menyajikan 7,7 miliar tayangan keseluruhan yang naik 42% luar biasa dari tahun lalu.

Dalam keinginan kami yang tidak pernah berakhir untuk meningkat, kami telah memiliki retrospektif dan pemikiran tentang bagaimana dapat meningkatkan untuk tahun depan, tetapi saya sangat bangga dengan bagaimana tim ini merencanakan, mempersiapkan, mengeksekusi, merespons, dan menyampaikan dengan tepat. layanan kelas dunia untuk pelanggan kami. Sungguh, ini adalah tim yang paling berfokus pada pelanggan dan berdedikasi yang pernah saya pimpin dalam karir saya, dan kami sudah menantikan hal-hal hebat yang akan datang di tahun 2015.