عطلة 2014: خلف الكواليس مع Bazaarvoice Engineering

تم بناء Bazaarvoice Engineering على أساس تمكين فرقنا الموهوبة من امتلاك كل جانب من جوانب تقديم الخدمة للعملاء ، من البداية إلى النهاية. لأكبر حدث لهذا العام ، الجمعة السوداء / يوم الاثنين الإلكتروني: يقوم كل فريق هندسي ببناء أحمال المرور المتوقعة ، وخطة اختبار الحمل ، وخطة تجميد الكود ، وكل منهم مسؤول عن التنفيذ والإبلاغ عن النتائج للاستعداد. يبدأ هذا الإعداد بعد أكثر من 7 أشهر من يوم الجمعة الأسود.

يبدأ العمل في أبريل

بينما يفكر العديد من الأشخاص في رحلتهم إلى ديزني لاند أو الشاطئ ، تبدأ Bazaarvoice Engineering الاستعدادات لأكبر حدث في العام: الجمعة السوداء / Cyber ​​Monday. هناك العديد من التفاصيل للعمل من خلالها والكثير من التحضير في المتجر. هذا هو الوقت الذي تبدأ فيه جهود تخطيط الأنظمة واسعة النطاق لدينا ، حيث نقوم بإعادة تقييم سعة النظام الإجمالية في ضوء النمو المتوقع لحركة المرور في مواقع التجارة الإلكترونية والعلامات التجارية عبر شبكتنا. تقوم فرقنا بتحليل أنماط حركة المرور التفصيلية ، ونمو حركة المرور على الويب ، ونمو المحتوى الذي ينشئه المستخدمون ، وسعة التخزين ، والمزيد. بالإضافة إلى أنظمتنا الخاصة ، نقوم بتقييم أنظمة الجهات الخارجية التي ندمجها مع فرق القيادة الخاصة بهم ونعقد اجتماعات معها لمساعدتهم على فهم التحسينات المطلوبة قبل وصول حركة المرور الكبيرة في العطلات.

انطلاقا من التقييم الأولي ، من الواضح أن لدينا عددًا من المشاريع الكبرى التي يجب إكمالها حتى نكون مستعدين لقضاء العطلات المقبلة. لذا ، بينما يبدأ صيف تكساس في التسخين في مايو ، نبدأ اجتماعات التخطيط الأسبوعية للجمعة السوداء وتبدأ الفرق في العمل. هناك مشاريع بنية تحتية كبرى لتوسيع نطاق ما نسميه "العرض" ، وهي الأنظمة التي تخدم طلبات الواجهة الأمامية من نصف مليار زائر فريد شهريًا. هناك المزيد من العمل الذي يتعين القيام به لتحسين تغذية البيانات التي نرسلها لعملائنا كل يوم. هناك أدوات جديدة لاختبار الحمل لبناء أجزاء جديدة تمامًا من منصتنا. تم تخطيط لوحات معلومات جديدة في الوقت الفعلي لتحسين قدرتنا على تصور الحالة الحالية لجميع خدماتنا بسرعة. أخيرًا ، هناك عمليات وقنوات اتصال محسّنة قبل موسم الذروة وخلاله والتي يجب التخطيط لها ونشرها من خلال الشركة وعملائنا. إلغاء تلك الإجازات!

الهدوء الذى يسبق العاصفة

مع تسجيل حركة المرور المتوقعة لعام 2014 ، ومع وجود عدد كبير من الخدمات الجديدة في الإنتاج ، كان من الواضح أننا بحاجة إلى قدرة اختبار حمل موسعة. نحن نبني بيئة اختبار افتراضية جديدة ضخمة في المكان الذي ستنشر فيه جميع الفرق خدماتهم وتوسع نطاقها ، تمامًا كما سنقوم في الإنتاج عندما يحين الوقت. يمكن لأدوات الاختبار الجديدة محاكاة أنماط حركة المرور الفعلية من المتسوقين بدقة شديدة ، ومثل خرطوم الحريق ، نرفع مستوى الصوت ونختبر جميع الخدمات معًا. بالإضافة إلى اختبار الحمل ، يشارك كل فريق في "يوم اللعبة" حيث نقتل الخدمات المستهدفة عمدًا لضمان قدرتنا على اكتشاف الأعطال والرد عليها والتعافي منها في جميع أنحاء النظام. ينشر كل فريق جميع نتائجه ويوقع الخروج - نحن جاهزون.

مع اقتراب يوم الجمعة الأسود ، فإننا نقوم بالفعل بتدوير خوادم افتراضية جديدة في السحابة خلال الأسابيع المقبلة. هناك شيء واحد تعلمناه في العام الماضي ، حتى لو كان لديك سعة محجوزة في السحابة ، إذا حاولت تدوير الخوادم قبل يوم الجمعة الأسود مباشرة ، فقد لا تزال السعة متاحة. على الرغم من أننا نتمتع بفريقنا بتناول وجبة غداء عيد الشكر في الأسبوع السابق ، فإننا نرى بالفعل فترات ازدحام حركة المرور.

"يوم اللعبة"

عيد الشكر هو وقت رائع من العام ، مليء بالعائلة والطعام وكرة القدم وللفريق Bazaarvoice Engineering والرسوم البيانية لأداء النظام وجداول المكالمات وتنبيهات بيجر وغرف الدردشة. مركز القيادة هو "غرفة الحوادث" في أداة HipChat الخاصة بنا. نظرًا لأن بقية البلاد تستمتع بلعب الديك الرومي وانطلاق المباريات ، فإن يوم لعبتنا على الإنترنت. على ما يبدو ، تتمتع البلاد بقليل من التسوق عبر الإنترنت من خلال كرة القدم الخاصة بهم. اجعل هذا كثيرًا من التسوق.

إن مراقبتنا تؤتي ثمارها ، فنحن نكتشف العديد من المشكلات ونعدل السعة قبل رؤية أي عميل يواجه مشاكل. عيد الشكر وغرفة الدردشة مليئة بالمهندسين عبر الفرق المستعدين في حالة حدوث مشكلة. يبدو أن الطلبات في الثانية تصل إلى رقم قياسي جديد في كل ساعة. ومن المؤكد أن هناك مشكلة في أمسية عيد الشكر في إحدى الخدمات العديدة ، ولكن بفضل تصميم نظامنا ، فإن معدل الأخطاء هو <.1٪. لا يزال المهندسون يعملون حتى بعد منتصف الليل ليلة عيد الشكر لحل المشكلة تمامًا.

مع تقدم عطلة نهاية الأسبوع ، نرى حركة المرور تتزايد إلى أكثر من 6 أضعاف الحجم العادي ، وعندما تصل حركة المرور إلى نظام البيانات الأساسي لدينا إلى 30000 في الثانية ، نشعر جميعًا بالإثارة. في غرفة الدردشة ، ينشر مدير الحوادث لدينا رسومًا بيانية من لوحات المعلومات الخاصة بنا بشكل دوري ويقوم الفريق بالدردشة مع تحيات العطلة وصور متحركة مسلية للحفاظ على أجواء هادئة. الجمعة السوداء هنا وهي أكبر من أي وقت مضى.

في كل ساعة ، نرسل رسائل بريد إلكتروني خاصة بالحالة الصحية إلى الشركة لمن ليسوا في غرفة الدردشة ويمكننا أن نرى زيادة كبيرة في مشاهدات الصفحة وحركة مرور واجهة برمجة التطبيقات مقارنة بالوقت نفسه من العام الماضي. يستمر ظهور عدد قليل من المشكلات خلال عطلة نهاية الأسبوع ، ولكن القليل جدًا منها يكون مرئيًا للعملاء وتستجيب الفرق بسرعة ، أو إضافة موارد الخدمة ، أو تشغيل خدمات جديدة ، أو زيادة الحدود. يعمل الفريق الهندسي مع فريق دعم DevOps وفريق خدمة العملاء المتميز لدينا للتأكد من أن عملية الاتصال المخططة مسبقًا تعمل وأن الجميع على علم على طول الطريق. كما نقول في BV - فريق واحد ، حلم واحد! وفي الوقت نفسه ، فإن حركة المرور إلى منصة البيانات الضخمة الخاصة بنا تهب من خلال 37000 طلب في الثانية وتصل في النهاية إلى ذروتها شمالًا عند 50000 دورة في الثانية.

384 مليون صفحة مشاهدة

بحلول الوقت الذي يدور فيه Cyber ​​Monday ، تبدو زيادة حركة المرور وكأنها القاعدة الجديدة. عاد الفريق فعليًا إلى المكتب ، ولكن يمكنك أن تقول إن ضغوط "العطلة" قد خففت من الراحة التي فعلناها. لذا ، ماذا فعلنا بالضبط؟ حسنًا ، في يوم الجمعة الأسود وحده ، قدمنا ​​384 مليون مشاهدة للصفحة إلى أكثر من 73 مليون زائر فريد. لقد رأينا أكثر من 222 مليون زائر فريد خلال فترة العطلة هذه ، وهي زيادة هائلة بنسبة 38٪ عن العام الماضي ، وقد قدمنا ​​ما يزيد عن 7.7 مليار انطباع عام وهو ما يمثل زيادة مذهلة بنسبة 42٪ عن العام الماضي.

في إطار رغبتنا التي لا تنتهي في التحسين ، كان لدينا بالفعل نظرة استعادية وفكرنا في أفكار حول كيفية التحسين للعام المقبل ، لكنني فخور جدًا بكيفية تخطيط هذا الفريق وإعداده وتنفيذه واستجابته وتسليمه خدمة عالمية المستوى لعملائنا. حقًا هذا هو الفريق الأكثر تركيزًا وتفانيًا على العملاء الذي حظيت بامتياز لقيادته في مسيرتي المهنية ، ونحن نتطلع بالفعل إلى أشياء عظيمة قادمة في عام 2015.