Data Mesh: เส้นทางสู่ความพร้อมใช้งานของข้อมูลและการเข้าถึงในระดับต่างๆ

ในโลกดิจิทัลที่ทุกการกระทำทิ้งร่องรอยไว้ ไม่มีความลับใดที่ข้อมูลจะมีมากมาย การศึกษาล่าสุดพบว่ามีการสร้างข้อมูล 1.145 ล้านล้าน MB ทุกวัน จากมุมมองทางธุรกิจ ข้อมูลผู้บริโภคคือศูนย์กลางของข้อมูลที่เสนอวิธีในการมีส่วนร่วมกับแนวโน้มและความต้องการของลูกค้าในปัจจุบันและในอนาคต การใช้ข้อมูลนี้อย่างมีประสิทธิภาพเป็นกุญแจสำคัญในการสร้างประสบการณ์ที่เน้นลูกค้าเป็นศูนย์กลาง อย่างไรก็ตาม การจัดการข้อมูลแบบเดิมต้องเผชิญกับปัญหาด้านประสิทธิภาพและความยืดหยุ่น ในการแก้ปัญหานี้ แนวทางใหม่ในสถาปัตยกรรมข้อมูลที่เรียกว่า data mesh กำลังได้รับโมเมนตัม

ในบทความนี้ เราจะอธิบาย data mesh เปรียบเทียบกับโครงสร้างพื้นฐานข้อมูลเสาหิน และเจาะลึกถึงประโยชน์ของ data mesh ที่เสนอ โดยเฉพาะอย่างยิ่งกับทีมขายและการตลาด

Data Mesh คืออะไร?

พูดง่ายๆ ดาต้าเมชเป็นแนวทางการกระจายอำนาจสู่สถาปัตยกรรมข้อมูล ซึ่งข้อมูลได้รับการจัดการโดยผู้บริโภคข้อมูลเฉพาะโดเมน แต่ละโดเมน ซึ่งแสดงโดยโดเมนธุรกิจหรือทีมในองค์กร ดำเนินการไปป์ไลน์ข้อมูลของตนเอง รวมถึงฟังก์ชันต่างๆ เช่น การนำเข้าข้อมูล การแปลง และการโหลด ในระดับองค์กร โครงสร้างพื้นฐานข้อมูลจะจัดเตรียมโซลูชันการจัดการข้อมูลให้แต่ละโดเมน ควบคุมการเข้าถึงข้อมูล จัดเก็บข้อมูลดิบ และกำหนดมาตรฐานข้อมูลทั่วไป

เพื่อให้เข้าใจแนวคิดที่แท้จริงของ data mesh มากขึ้น จำเป็นต้องทราบคำจำกัดความสำคัญสองสามข้อและบทบาทในไดอะแกรมสถาปัตยกรรมข้อมูล

️ ความเป็นเจ้าของโดเมน : หลักการของเครือข่ายข้อมูลหลักระบุว่าข้อมูลต้องพังทลายหรือกระจายอำนาจ และมอบหมายความรับผิดชอบในการจัดการข้อมูล ให้ กับทีมธุรกิจที่ใกล้ชิดกับข้อมูลหลักมากที่สุด ดังนั้น บริษัทจึงมั่นใจว่าจะคงไว้ซึ่งการเปลี่ยนแปลงอย่างต่อเนื่องและความสามารถในการปรับขนาดของข้อมูล โดยพื้นฐานแล้ว โดยการกระจายอำนาจโดเมนและแจกจ่ายให้กับทีมธุรกิจ องค์กรสามารถเข้าถึงข้อมูลได้อย่างสมบูรณ์เมื่อจำเป็น โดยไม่ต้องแยกจากคลังข้อมูล

️ Data as a Product : หลักการนี้มีจุดมุ่งหมายเพื่อแก้ปัญหาข้อมูลคุณภาพต่ำที่ทวีความรุนแรงขึ้นเมื่อมีเจ้าของข้อมูลเพิ่มมากขึ้นเท่านั้น Data mesh ถือว่าข้อมูลที่ได้รับจากโดเมนเป็นผลิตภัณฑ์และผู้บริโภคของข้อมูลนี้เป็นลูกค้า เนื่องจากเป้าหมายของผลิตภัณฑ์ใดๆ ก็ตามคือการแก้ปัญหาความเจ็บปวดของลูกค้าและทำให้พวกเขามีความสุข ข้อมูลจึงต้องมีคุณสมบัติตรงตามที่กำหนดจึงจะถือเป็นผลิตภัณฑ์ได้ ดังนั้น ข้อมูลจะต้องสามารถค้นพบได้ เชื่อถือได้ ปลอดภัย ฯลฯ

️ วิธีการแบบบริการตนเอง : หลักการนี้ง่าย: สำหรับทีมธุรกิจที่จะเป็นเจ้าของผลิตภัณฑ์ข้อมูลที่เกี่ยวข้องด้วยตนเอง พวกเขาต้องมีสิทธิ์เข้าถึงวิธีง่ายๆ ในการจัดการไปป์ไลน์ข้อมูลที่คาดหวังอย่างมีประสิทธิภาพ การสร้างแพลตฟอร์มบริการตนเองด้วยเครื่องมือและอินเทอร์เฟซเฉพาะทำให้การไหลของกระบวนการข้อมูลตาข่ายง่ายขึ้น

️ การกำกับดูแลการคำนวณแบบสหพันธรัฐ: นี่คือรูปแบบการกำกับดูแลที่สนับสนุนความเป็นอิสระของโดเมนและรับรองการทำงานร่วมกันผ่านมาตรฐานข้อมูลทั่วไปและกฎการประสานกัน

ในที่สุด data mesh ก็ประสบความสำเร็จเพราะจะจ่ายความเป็นเจ้าของข้อมูลให้กับทีมเฉพาะโดเมนขององค์กรที่จัดการข้อมูลเป็นผลิตภัณฑ์ แพลตฟอร์มข้อมูลแบบบริการตนเองช่วยให้บริษัทของคุณสามารถเข้าถึงข้อมูลที่มีค่าได้รวดเร็วและแม่นยำยิ่งขึ้น

ความท้าทายของแพลตฟอร์มข้อมูลปัจจุบัน

อะไรนำไปสู่การก่อตัวของวิธีการดาต้าเมชกับสถาปัตยกรรมข้อมูล? องค์กรต่างคุ้นเคยกับความท้าทายรอบ ๆ แพลตฟอร์มข้อมูลปัจจุบันมากเกินไป ปัญหาด้านสถาปัตยกรรมเหล่านี้มีสาเหตุหลักมาจากการใช้กลยุทธ์การรวมศูนย์แบบเดิม แพลตฟอร์มข้อมูลแบบเสาหินเหล่านี้ไม่เพียงแต่มีราคาแพง แต่ยังมีความยืดหยุ่นและยุ่งยากอีกด้วย

ในแนวทางการกระจายอำนาจ โฟลว์กระบวนการ data mesh จะช่วยขจัดปัญหาเด่นๆ มากมายที่เน้นด้านล่าง

1. การนำเข้าข้อมูล

ปัญหา การรวมศูนย์ : กลยุทธ์การรวมศูนย์ในปัจจุบันต้องการให้บริษัทนำเข้าข้อมูลไปยัง data lake ส่วนกลางหรือคลังข้อมูล ที่นี่ ข้อมูลจะถูกสอบถามสำหรับการวิเคราะห์ ซึ่งเป็นกระบวนการที่มีราคาแพง

โซลูชันการกระจายอำนาจ : เนื่องจาก data mesh มองว่าข้อมูลแต่ละสายข้อมูลเป็นผลิตภัณฑ์ที่มีโดเมนของตัวเอง เวลาในการทำความเข้าใจและ time-to-value จะลดลงอย่างมาก ซึ่งหมายความว่าทีมปฏิบัติการสามารถวิเคราะห์ข้อมูลได้เร็วและง่ายขึ้น

2. การตอบสนองการปรับขยายได้

ปัญหาการรวมศูนย์: การเปลี่ยนแปลงหรือวิธีการสืบค้นในไปป์ไลน์ข้อมูลปัจจุบันไม่ตอบสนองต่อมาตราส่วน เมื่อจำนวนแหล่งที่มาเพิ่มขึ้น เวลาตอบสนองต่อข้อมูลใหม่นี้จะลดลง ดังนั้นความคล่องตัวทางธุรกิจจึงได้รับผลกระทบในทางลบและทำให้มูลค่าของข้อมูลลดลง

โซลูชันการกระจายอำนาจ: ในฐานะที่เป็นส่วนหนึ่งของโฟลว์กระบวนการ data mesh ความเป็นเจ้าของข้อมูลจะถูกมอบหมายไปยังโดเมนต่างๆ ซึ่งประกอบด้วยผู้ใช้ทางธุรกิจหรือทีมที่ได้รับมอบหมาย ซึ่งช่วยให้ธุรกิจเกิดความคล่องตัวในวงกว้าง ส่งผลให้เกิดช่องว่างที่แคบลงมากระหว่างเวลาที่เหตุการณ์ข้อมูลเกิดขึ้นและการแยกข้อมูลเพื่อการวิเคราะห์

3. การย้ายข้อมูล

ปัญหาการรวมศูนย์: ในหลายกรณี ข้อมูลมีแนวโน้มที่จะปฏิบัติตามแนวทางความเป็นส่วนตัวที่ห้ามการย้ายข้อมูลไปยังเขตอำนาจศาลต่างๆ ส่งผลให้มีถิ่นที่อยู่ของข้อมูล และการดึงข้อมูลนี้ต้องใช้กระบวนการที่ใช้เวลานานซึ่งจะทำให้การประมวลผลและการวิเคราะห์ล่าช้า ความล่าช้าประเภทนี้ส่วนใหญ่เกิดขึ้นระหว่างประเทศ

โซลูชันการกระจายอำนาจ: ด้วย data mesh โดเมนมีหน้าที่รับผิดชอบในการรักษาความปลอดภัยและการถ่ายโอนผลิตภัณฑ์ข้อมูลต่างๆ เลเยอร์การเชื่อมต่อช่วยให้เข้าถึงผู้ใช้ทั้งด้านเทคนิคและที่ไม่ใช่ด้านเทคนิคได้อย่างรวดเร็วและง่ายดายจากทุกที่ สิ่งนี้จะขจัดข้อบังคับเกี่ยวกับถิ่นที่อยู่และการถ่ายโอนข้อมูลที่มีราคาแพง

วิธีข้อมูลแบบรวมศูนย์และแบบกระจายศูนย์

ดูการเปรียบเทียบความแตกต่างพื้นฐานระหว่างแนวทางแบบรวมศูนย์และแบบกระจายอำนาจแบบเคียงข้างกัน

ประโยชน์ของ Data Mesh

การเลือกใช้ data mesh อาจส่งผลดีเด่นหลายประการเหนือแพลตฟอร์มข้อมูลที่ล้าสมัย สิ่งมีชีวิตที่พิเศษที่สุด:

1. ความยืดหยุ่น

การใช้สถาปัตยกรรม data mesh หมายความว่าองค์กรไม่ได้ผูกติดอยู่กับแพลตฟอร์มข้อมูลเดียว เนื่องจาก data mesh มีโครงสร้างพื้นฐานแบบกระจายมากกว่า บริษัทต่างๆ จะสามารถเข้าถึงโฮสต์ของระบบต่างๆ ได้

2. การกำกับดูแลข้อมูลที่เข้มงวดยิ่งขึ้น

Data mesh สร้างการดำเนินการข้อมูลแบบกระจายศูนย์ ซึ่งจะทำให้กระบวนการควบคุมความปลอดภัยของข้อมูลที่ต้นทางง่ายขึ้น เมื่อรวมกับการปฏิบัติตามแนวทางการกำกับดูแลข้อมูลทั่วโลกที่เข้มงวดอย่างง่ายแล้ว บริษัทต่างๆ จะได้รับประโยชน์จากความสะดวกในการเข้าถึงข้อมูลและการส่งมอบข้อมูลที่มีคุณภาพ

ค้นพบเครื่องมือกำกับดูแลข้อมูล 11 อันดับแรกเพื่อดำเนินการกับข้อมูลของคุณอย่างมั่นใจ

3. เพิ่มความคล่องตัวทางธุรกิจ

โดยการกระจายอำนาจการดำเนินการของข้อมูล data mesh จะขจัดปัญหา IT backlog ที่อาจเกิดขึ้น ซึ่งจะช่วยลดต้นทุนการจัดเก็บและการดำเนินงาน ด้วยโครงสร้างพื้นฐานของข้อมูลที่เข้าถึงได้มากขึ้น ธุรกิจสามารถต่อรองเกี่ยวกับเวลาในการออกสู่ตลาดที่ได้รับการปรับปรุง รวมถึงความคล่องตัวของโดเมน

4. ปรับปรุงความโปร่งใส

ด้วยแพลตฟอร์มข้อมูลทั่วไป ความเป็นเจ้าของข้อมูลจึงถูกแยกออกจากกันเป็นส่วนใหญ่ ส่งผลให้ขาดความโปร่งใสอย่างมาก เมื่อสิ่งนี้เกิดขึ้น ทีมธุรกิจต้องจัดการกับการควบคุมข้อมูลและการสูญเสียความเป็นเจ้าของ ด้วย data mesh ความเป็นเจ้าของจะถูกกระจายไปยังทีมโดเมนข้ามสายงานหลายทีม ทีมธุรกิจ ผู้เชี่ยวชาญด้านไอที และทีมเสมือนสามารถใช้แนวทางที่มุ่งเน้นโดเมนเพื่อรับประโยชน์จากคุณภาพของข้อมูล

5. การเข้าถึงและการจัดส่งที่รวดเร็วและแม่นยำยิ่งขึ้น

องค์กรสามารถใช้การสืบค้น SQL เพื่อเข้าถึงข้อมูลจากทุกที่ ด้วยการใช้รูปแบบการบริการตนเอง ผู้ใช้สามารถคาดหวังการจัดส่งที่รวดเร็วและแม่นยำยิ่งขึ้น Data mesh ช่วยให้ข้อมูลพร้อมใช้งานเมื่อผู้เชี่ยวชาญด้านธุรกิจของคุณต้องการ

6. เพิ่มข้อมูลที่ได้รับ

สำหรับบริษัทที่พึ่งพาการดึงข้อมูลและการแปลงข้อมูลเป็นอย่างมาก data mesh เป็นโซลูชั่นที่สมบูรณ์แบบ ต่างจากแพลตฟอร์มข้อมูลส่วนกลางแบบรวมศูนย์ที่ใช้อยู่ในปัจจุบัน โซลูชัน data mesh ช่วยให้ธุรกิจสามารถเข้าถึงข้อมูลของตนได้โดยไม่ต้องมีคลังข้อมูล การเข้าถึงข้อมูลได้เร็วขึ้นหมายความว่าองค์กรสามารถสร้างกลยุทธ์ทางการตลาดที่มีประสิทธิภาพมากขึ้น

7. เพิ่มความปลอดภัยของข้อมูลและปรับปรุงการเชื่อมต่อแพลตฟอร์ม

ข้อมูลที่ละเอียดอ่อนในสถานที่สามารถเชื่อมต่อกับแอปพลิเคชันระบบคลาวด์ที่ปลอดภัยในรูปแบบของการสตรีมสดหรือโดยการเข้าถึงข้อมูลตามเวลาจริงที่มีอยู่ในอุปกรณ์ Data mesh ขจัดผู้ใช้ที่ต้องกำหนดเส้นทางผ่านคลังข้อมูลหรือเครือข่ายสาธารณะ การทำเช่นนี้จะลดความเสี่ยงของการละเมิดข้อมูลได้มาก นอกจากนี้ยังช่วยลดเวลาในการตอบสนองของข้อมูล ซึ่งจะช่วยปรับปรุงประสิทธิภาพโดยรวม เช่น การเล่นเกมออนไลน์ การซื้อขายทางการเงิน และการสตรีมสด

Data Mesh มีประโยชน์อย่างไรสำหรับทีมการตลาด การขาย และรายได้

องค์กรจะไม่ลงทุนในแพลตฟอร์มข้อมูลใหม่หากไม่มีประโยชน์มากมายต่อผลประกอบการของพวกเขา นอกเหนือจากข้อดีทั่วไปของ data mesh แล้ว ทีมการตลาดยังได้รับประโยชน์จากความพร้อมใช้งานของข้อมูลประเภทนี้ในทันทีอีกด้วย แนวทางการกระจายอำนาจไปยังข้อมูล:

• เร่งเวลาในการทำความเข้าใจ ช่วยให้ทีมสลับกันได้เร็วกว่า
• ช่วยให้ทีมธุรกิจที่ได้รับมอบหมายทำงานได้อย่างคล่องตัวและเป็นอิสระมากขึ้น
• ช่วยให้ทีมตัดสินใจของผู้บริหารได้ดีขึ้นเนื่องจากความพร้อมใช้งานของข้อมูล
• ช่วยให้ฝ่ายการตลาดสร้างกลยุทธ์ที่ขับเคลื่อนด้วยข้อมูลที่สามารถแข่งขันได้
• ช่วยให้นักการตลาดติดตามแนวโน้มและการเปลี่ยนแปลงของตลาด
• ช่วยให้ทีมขายเข้าถึงข้อมูลที่เป็นปัจจุบันเพื่อปรับแต่งข้อเสนอของลูกค้าและผลิตภัณฑ์

วิธีเตรียมตัวสำหรับการนำ Data Mesh มาใช้

หากคุณกำลังเตรียมการปรับใช้ data mesh มีขั้นตอนสองสามขั้นตอนที่คุณสามารถทำได้เพื่อให้แน่ใจว่าช่วงการเปลี่ยนแปลงจะราบรื่น

• ระบุโซลูชัน data mesh ที่เหมาะกับธุรกิจของคุณ : ตามเป้าหมายข้อมูลธุรกิจของคุณ คุณต้องค้นหาโซลูชันข้อมูลที่สามารถนำไปใช้กับโครงสร้างพื้นฐานข้อมูลปัจจุบันของคุณ ผู้สนับสนุนธุรกิจที่คุณเลือกควรมีประวัติที่ติดตามย้อนกลับได้ในการจัดหาผลิตภัณฑ์นี้ให้กับองค์กรที่คล้ายคลึงกันอย่างมีประสิทธิภาพ
• การได้ รับเงินทุน : เช่นเดียวกับแอปพลิเคชันใหม่ใดๆ การลงทุนในแพลตฟอร์ม data mesh จำเป็นต้องมีเงินทุน ที่นี่ คุณสามารถเลือกซื้อจากบริษัทผู้สนับสนุนของคุณเพื่อเป็นเจ้าของการพัฒนาผลิตภัณฑ์ข้อมูล พวกเขาควรแบ่งปันเป้าหมายร่วมกันของคุณในการเพิ่มขีดความสามารถให้กับทีมที่กำหนดเพื่อสร้างมูลค่าทางธุรกิจจากข้อมูลที่ได้รับ นอกจากนี้ ผลิตภัณฑ์ข้อมูลที่ได้มานี้ควรเข้าถึงได้ง่ายผ่านแพลตฟอร์มข้อมูลแบบบริการตนเองที่มีคุณลักษณะการกำกับดูแลแบบฝัง
• สร้างความพร้อมของแพลตฟอร์ม : ขั้นตอนต่อไปเกี่ยวข้องกับการทำให้มั่นใจว่าแพลตฟอร์มข้อมูลปัจจุบันของคุณมีความสามารถทางเทคนิคในการออนบอร์ดโซลูชัน data mesh ใหม่ นอกจากนี้ยังเกี่ยวข้องกับการรับรองความพร้อมในการปรับใช้ตามแนวทางปฏิบัติที่ดีที่สุดของ CI/CD
• ฝึกอบรมทีมที่เกี่ยวข้อง: ระบุทีมที่จะรับผิดชอบหน้าที่หลัก ใช้วิธีการสื่อสาร การฝึกอบรม และการให้คำปรึกษาเพื่อถ่ายทอดขั้นตอนขององค์กรไปในทิศทางนี้ สิ่งสำคัญคือต้องเน้นย้ำถึงประโยชน์ของแต่ละทีม เช่นเดียวกับ ROI โดยรวม การฝึกอบรมเพิ่มเติมควรเกิดขึ้นในรูปแบบของการประชุมเชิงปฏิบัติการร่วมกันและการสร้างคู่มือการศึกษาและคู่มือการฝึกอบรม

ความคิดสุดท้าย

การย้ายไปสู่แพลตฟอร์ม data mesh จะช่วยขจัดความล่าช้าของคอขวดที่สร้างโดยแพลตฟอร์มข้อมูลทั่วไปได้อย่างง่ายดาย การย้ายความเป็นเจ้าของข้อมูลไปยังทีมธุรกิจเฉพาะโดเมน องค์กรของคุณจะได้รับประโยชน์จากศักยภาพที่แท้จริงของข้อมูลองค์กรที่พร้อมใช้งาน ขจัดอุปสรรคของโปรแกรมความพร้อมใช้ข้อมูลแบบเดิมๆ และเพิ่มประสิทธิภาพข้อมูลเชิงลึกทางธุรกิจในวงกว้างด้วยการขับเคลื่อนด้วยข้อมูลมากขึ้น

แนะนำให้อ่านเพิ่มเติม:

• การนำเข้าข้อมูล: จุดเริ่มต้นของระบบนิเวศข้อมูลที่สมบูรณ์
• เครื่องมือทำแผนที่ข้อมูล 11 อันดับแรก [+ตารางเปรียบเทียบ]
• การประสานข้อมูลคืออะไร และเหตุใดจึงสำคัญสำหรับการวิเคราะห์การตลาดเชิงประสิทธิภาพ
• การปรับข้อมูลให้เป็นมาตรฐาน: การแปลงตัวเลขดิบเป็นรายได้