เซิร์ฟเวอร์ Sitebulb – เคล็ดลับและเทคนิคทางเทคนิคสำหรับการตั้งค่าโปรแกรมรวบรวมข้อมูลองค์กร DIY ที่ทรงพลัง (ในงบประมาณ)

เมื่อทำการตรวจสอบ SEO การรวบรวมข้อมูลมีความสำคัญอย่างยิ่ง สำหรับ SEO และเจ้าของเว็บไซต์ มีตัวเลือกมากมายตั้งแต่โปรแกรมรวบรวมข้อมูลในเครื่องไปจนถึงโปรแกรมรวบรวมข้อมูลขององค์กร (บริการ SAAS) หลายปีที่ผ่านมา ฉันได้พูดมากเกี่ยวกับเครื่องมือรวบรวมข้อมูลที่ฉันชื่นชอบ ซึ่งได้แก่ Screaming Frog, Sitebulb, DeepCrawl และล่าสุด JetOctopus Screaming Frog และ Sitebulb มักเป็นโปรแกรมรวบรวมข้อมูลในพื้นที่ ในขณะที่ DeepCrawl และ JetOctopus เป็นโปรแกรมรวบรวมข้อมูลสำหรับองค์กรที่ยอดเยี่ยมและทรงพลัง

เมื่อพูดถึง Screaming Frog และ Sitebulb ฉันพูดว่า "โดยทั่วไปคือโปรแกรมรวบรวมข้อมูลในเครื่อง" เนื่องจากมีวิธีแฮ็กโปรแกรมรวบรวมข้อมูลในเครื่องให้เป็นโปรแกรมรวบรวมข้อมูล SAAS ตัวอย่างเช่น ฉันได้แยกเซิร์ฟเวอร์ AWS หลายตัว ติดตั้ง Screaming Frog และ Sitebulb ไว้ จากนั้นฉันสามารถรวบรวมข้อมูลจากระยะไกลได้ ประโยชน์หลักคือการที่ฉันเพิ่มทรัพยากรในเครื่องเพื่อมุ่งความสนใจไปที่สิ่งอื่น ในขณะที่เซิร์ฟเวอร์ AWS ของฉันทำหน้าที่ในการรวบรวมข้อมูลที่หนักหน่วง

ซึ่งได้ผลค่อนข้างดี แต่มี วิธีแก้ปัญหาใหม่ สำหรับคุณที่ต้องทำด้วยตัวเอง เรียกว่า Sitebulb Server และขณะนี้อยู่ในรุ่นเบต้า ฉันใช้มันมาหลายเดือนแล้วและต้องการครอบคลุมเคล็ดลับและกลเม็ดในโพสต์บนบล็อก ฉันคิดว่ามันเป็นโซลูชันที่ทรงพลังที่สามารถนำคุณจากท้องถิ่นสู่องค์กรด้วยงบประมาณจำกัด

หมายเหตุ ฉันจะไม่ครอบคลุมทุกสิ่งที่คุณจำเป็นต้องรู้ในโพสต์นี้ แต่ฉันต้องการอธิบายวิธีการทำงาน เคล็ดลับและลูกเล่นทางเทคนิค และข้อควรระวังบางประการ ฉันแน่ใจว่าทีมงานที่ Sitebulb สามารถตอบคำถามอื่น ๆ ที่คุณมีได้ (สิ่งเหล่านี้มีประโยชน์อย่างมากในช่วงหลายปีที่ผ่านมาและในรุ่นเบต้านี้) และคุณสามารถ ping ฉันได้เสมอบน Twitter หากคุณพบปัญหาใดๆ ถ้าฉันสามารถตอบคำถามเหล่านั้นได้อย่างรวดเร็ว ฉันจะทำ

เซิร์ฟเวอร์ Sitebulb คืออะไรกันแน่?
Sitebulb Server เป็นวิธีหนึ่งสำหรับคุณในการตั้งค่า Sitebulb เวอร์ชันพิเศษบนเซิร์ฟเวอร์แยกต่างหาก ซึ่งสามารถเรียกใช้การรวบรวมข้อมูลได้ในขณะที่ไม่ทำให้ทรัพยากรในเครื่องของคุณสะดุด ด้วย Sitebulb เวอร์ชันมาตรฐาน ผู้ใช้ส่วนใหญ่ใช้งานบนเครื่องคอมพิวเตอร์ของตน ไม่เป็นไร แต่มันสามารถทำให้ระบบของคุณติดขัดและใช้แบนด์วิดท์ได้อย่างแน่นอน ด้วย Sitebulb Server ทุกสิ่งจะเกิดขึ้นบนเซิร์ฟเวอร์แยกต่างหาก จากนั้นคุณสามารถใช้ Sitebulb เวอร์ชันพิเศษบนเดสก์ท็อปของคุณเพื่อเชื่อมต่อกับเซิร์ฟเวอร์ของคุณ และเมื่อคุณทำเช่นนั้น คุณจะสามารถเข้าถึงการตรวจสอบได้เหมือนกับที่คุณเรียกใช้บนเครื่องของคุณ มันยอดเยี่ยมมากที่สามารถทำได้

ฉันได้กล่าวไว้ก่อนหน้านี้ว่าคุณสามารถตั้งค่าเซิร์ฟเวอร์ระยะไกลแยกต่างหากและเรียกใช้ Sitebulb (หรือ Screaming Frog) ได้ตลอดเวลา ฉันทำสิ่งนี้มาหลายปีแล้วและใช้งานได้ดี (แม้ว่าคุณจะไม่สามารถเรียกใช้การรวบรวมข้อมูลหลาย ๆ อันพร้อมกันได้) Sitebulb Server เป็นเซิร์ฟเวอร์รวบรวมข้อมูลระยะไกล แต่ใช้สเตียรอยด์ สร้างขึ้นเพื่อเรียกใช้การรวบรวมข้อมูลหลายรายการพร้อมกันในขณะที่ช่วยให้คุณสามารถเชื่อมต่อกับการรวบรวมข้อมูลเหล่านั้นจากแอปเดสก์ท็อปของคุณเองได้ นอกจากนี้ สมาชิกในทีมหลายคนสามารถเข้าถึงการรวบรวมข้อมูลเหล่านั้นจาก Sitebulb Server ดังนั้น หากคุณมีทีม SEO ที่ทำงานเกี่ยวกับการตรวจสอบ เซิร์ฟเวอร์ Sitebulb อาจเป็นโซลูชัน DIY ที่แข็งแกร่งสำหรับการเข้าถึงข้อมูลการรวบรวมข้อมูลของสมาชิกในทีมเหล่านั้น

ความสามารถในการรวบรวมข้อมูลไซต์พร้อมกันบนเซิร์ฟเวอร์ระยะไกลนั้นยอดเยี่ยมมาก:

คุณสามารถเข้าถึงเซิร์ฟเวอร์ของคุณได้จากทุกที่เพื่อตรวจสอบข้อมูลการตระเวนเหมือนกับที่อยู่บนเครื่องของคุณ:

IMO อุปสรรคที่ใหญ่ที่สุด – การตั้งค่าเซิร์ฟเวอร์ที่น่ากลัว สับสน คลุมเครือ แต่มักจะง่าย
ทั้งหมดนี้ฟังดูดีใช่มั้ย แต่สิ่งกีดขวางหรือห่วงที่ใหญ่ที่สุดที่คุณต้องข้ามคืออะไร? ไม่ต้องสงสัยเลยว่าเป็นการตั้งค่าเซิร์ฟเวอร์ ฉันพบปัญหานี้เมื่อตั้งค่าอินสแตนซ์ AWS เพื่อเรียกใช้ Screaming Frog และ Sitebulb เวอร์ชันของตนเอง เป็นกระบวนการที่คลุมเครือซึ่ง SEO และเจ้าของเว็บไซต์จำนวนมากไม่คุ้นเคย ไม่ใช่เรื่องยาก แต่เป็นอุปสรรคในความคิดของฉัน ฉันพบว่า SEO จำนวนมากไม่ได้ตั้งค่าเซิร์ฟเวอร์แยกต่างหากสำหรับการรวบรวมข้อมูล และฉันรู้จำนวนที่เจออุปสรรคขณะพยายามตั้งค่า

ดี Sitebulb เพื่อช่วยเหลือ Patrick และ Gareth จาก Sitebulb ได้สร้างเอกสารประกอบที่ยอดเยี่ยมสำหรับการตั้งค่า Sitebulb Server วิธีการตั้งค่าเซิร์ฟเวอร์ระยะไกล (รวมถึง AWS และ Google Cloud Compute) และอื่นๆ คุณสามารถอ่านเพิ่มเติมในเอกสารช่วยเหลือ ซึ่งรวมถึงคลิปวิดีโอด้วย (ซึ่งน่าทึ่งมากเมื่อคุณพยายามตั้งค่าเซิร์ฟเวอร์ระยะไกล) บางครั้งรูปภาพก็แทนคำพูดได้เป็นพันคำ

ตัวอย่างเช่น นี่คือวิดีโอคลิป Sitebulb ที่รวบรวมไว้สำหรับการตั้งค่า Sitebulb Server ผ่าน AWS:

โปรดทราบว่าฉันใช้ AWS เป็นการส่วนตัวและใช้งานได้ดี แต่คุณสามารถใช้การตั้งค่าใดก็ได้ตามต้องการ คุณสามารถใช้เซิร์ฟเวอร์เฉพาะ, AWS, Google Cloud Compute, คอมพิวเตอร์สำรองในเครือข่ายท้องถิ่นของคุณ ฯลฯ เมื่อคุณตั้งค่าเซิร์ฟเวอร์ซึ่งโดยทั่วไปจะใช้เวลาไม่นาน คุณจะสามารถดำเนินการตั้งค่า Sitebulb Server และ Sitebulb รุ่นเดสก์ท็อปพิเศษที่เชื่อมต่อกับเซิร์ฟเวอร์ของคุณ

พื้นที่ดิสก์และ vCPU: จุดสำคัญบางประการเกี่ยวกับเซิร์ฟเวอร์ของคุณ
เมื่อตั้งค่าเซิร์ฟเวอร์ของคุณ สิ่งสำคัญคือต้องแน่ใจว่าคุณมีพื้นที่ดิสก์เพียงพอและ vCPU เพียงพอ (หรือ CPU เสมือน) เพียงพอ สิ่งเหล่านี้ส่งผลกระทบต่อข้อมูลการรวบรวมข้อมูลที่คุณสามารถจัดเก็บได้และจำนวนเธรดที่คุณสามารถใช้ได้เมื่อทำการตระเวน

ขั้นแรก การรวบรวมข้อมูลจะใช้พื้นที่มาก และการรวบรวมข้อมูลขององค์กรก็ใช้พื้นที่เป็นจำนวนมาก ตรวจสอบให้แน่ใจว่าคุณได้เลือกพื้นที่ดิสก์เพียงพอตามประเภทของการรวบรวมข้อมูลที่คุณเรียกใช้ตามปกติ ด้านล่างนี้เป็นภาพหน้าจอจาก AWS สำหรับการกำหนดค่าพื้นที่จัดเก็บ

ถัดไปคือ vCPU (หรือ CPU เสมือน) สิ่งสำคัญคือต้องเข้าใจว่าแต่ละ vCPU เป็นเธรด ดังนั้น หากการรวบรวมข้อมูลของคุณใช้ 5 เธรด คุณจะต้องมี vCPU 5 รายการ นอกจากนี้ เมื่อคุณเชื่อมต่อกับเซิร์ฟเวอร์ คุณกำลังสร้างเธรดด้วย และถ้าคุณต้องการเรียกใช้การรวบรวมข้อมูลหลายรายการพร้อมกัน คุณต้องคำนึงถึงสิ่งนั้นด้วย (มีเธรดมากขึ้นด้วย) ด้านล่างนี้ คุณจะเห็นว่าอินสแตนซ์ AWS มี 8 vCPU (หรือ 8 เธรดสำหรับ Sitebulb Server)

ตัวอย่างเช่น หากคุณเรียกใช้การรวบรวมข้อมูลสองครั้งโดยใช้ 5 เธรดแต่ละรายการ และคุณกำลังเชื่อมต่อกับเซิร์ฟเวอร์ คุณจะต้องมี 11 เธรด (5 + 5 + 1) ฉันมีคำถามบางอย่างเกี่ยวกับเรื่องนี้ และแพทริครู้สึกดีมากที่ได้ตอบกลับพร้อมข้อมูลเพิ่มเติม ทีมงานที่ Sitebulb มีความรู้มากมายและช่วยเหลือลูกค้าได้อย่างเหลือเชื่อ ดังนั้นก่อนอื่นให้ตรวจสอบเอกสารของพวกเขา หากคุณยังไม่มีคำตอบ เรามั่นใจว่าพวกเขาสามารถช่วยคุณหาทางออกที่ดีที่สุดได้

หมายเหตุเกี่ยวกับการเรียกใช้การรวบรวมข้อมูลพร้อมกันกับการจัดคิว
ความสับสนอีกประการหนึ่งคือการเรียกใช้การรวบรวมข้อมูลพร้อมกัน กล่าวอีกนัยหนึ่ง นี่คือวิธีที่คุณจะเรียกใช้การรวบรวมข้อมูลหลายรายการพร้อมกัน โดยทั่วไปแล้วสิ่งนี้จะสงวนไว้สำหรับโปรแกรมรวบรวมข้อมูลขององค์กรเท่านั้น แต่คุณสามารถทำได้ผ่าน Sitebulb Server

ขั้นแรก เมื่อตั้งค่าเซิร์ฟเวอร์ของคุณ ตรวจสอบให้แน่ใจว่าคุณได้เลือกตัวเลือกสำหรับการเรียกใช้การรวบรวมข้อมูลพร้อมกัน ที่อยู่ในส่วนการตั้งค่าเซิร์ฟเวอร์

ถัดไป ตรวจสอบให้แน่ใจว่าคุณมีการตั้งค่าที่เหมาะสมสำหรับ "ประเภทคิวพร้อมกัน" ควรตั้งค่าเป็น "ถัดไปตามเธรดที่มีอยู่" ไม่ใช่ "เข้าก่อน ออกก่อน" หากคุณตั้งค่าเป็น "เข้าก่อน ออกก่อน" การรวบรวมข้อมูลแต่ละครั้งจะทำงานแยกกัน (และตามลำดับ) การใช้ "ประเภทคิวพร้อมกัน" การรวบรวมข้อมูลสามารถทำงานพร้อมกันได้ตราบใดที่มีเธรดเพียงพอ (ดูความคิดเห็นของฉันก่อนหน้านี้เกี่ยวกับเรื่องนั้น)

และสำหรับ “เธรดที่สงวนไว้” หมายเลขที่คุณตั้งจะขึ้นอยู่กับจำนวนสมาชิกในทีมที่เข้าถึงเซิร์ฟเวอร์พร้อมกัน หากคุณเป็นที่ปรึกษาเดี่ยว คุณสามารถตั้งค่าได้เพียงคนเดียว หากคุณมีเพื่อนร่วมทีมอีกสองคนที่จะเข้าถึงเซิร์ฟเวอร์พร้อมกัน คุณควรตั้งค่านั้นเป็นสามคน (คุณและเพื่อนร่วมทีมสองคน)

ที่อยู่ IP เปลี่ยนแปลงเมื่อคุณหยุดและรีสตาร์ท AWS
อีกหัวข้อที่สับสนเกี่ยวข้องกับที่อยู่ IP และอินสแตนซ์ AWS ของคุณ เนื่องจากคุณจ่ายเงินเมื่อมีการใช้งานเซิร์ฟเวอร์ คุณมักจะต้องการหยุดอินสแตนซ์นั้นเมื่อไม่ได้ใช้งาน หากไม่เป็นเช่นนั้น ค่าใช้จ่ายของคุณอาจเริ่มพุ่งสูงขึ้น แต่นี่คือการถู เมื่อคุณหยุดและรีสตาร์ทอินสแตนซ์ AWS ของคุณ เซิร์ฟเวอร์จะได้รับ ที่อยู่ IP ใหม่ และที่อยู่ IP นั้นคือสิ่งที่คุณใช้เมื่อเชื่อมต่อแอป Sitebulb บนเดสก์ท็อปกับเซิร์ฟเวอร์ Sitebulb ของคุณ นอกจากนี้ยังเป็นสิ่งที่คุณใช้เมื่อเชื่อมต่อกับเซิร์ฟเวอร์นั้นผ่านเดสก์ท็อประยะไกล (สำหรับการจัดการเซิร์ฟเวอร์จากระยะไกล)

ดังนั้น คุณจะต้องเข้าไปที่การตั้งค่าของคุณบนเดสก์ท็อป Sitebulb อย่างรวดเร็ว และเปลี่ยนที่อยู่ IP สำหรับเซิร์ฟเวอร์ของคุณ ใช้เวลาไม่นาน ทำได้ไม่ยาก แต่อาจทำให้เกิดความสับสนได้หากคุณไม่รู้ว่าต้องทำอย่างนั้น โดยทั่วไป คุณจะไม่สามารถเชื่อมต่อกับ Sitebulb Server ของคุณได้ เว้นแต่จะใช้ที่อยู่ IP ที่ถูกต้อง

และจำไว้ว่าคุณจะต้องเปลี่ยนที่อยู่ IP นั้นเมื่อเชื่อมต่อผ่านเดสก์ท็อประยะไกล ถ้าไม่เช่นนั้น การเชื่อมต่อของคุณจะล้มเหลว คุณใช้เดสก์ท็อประยะไกลเพื่อจัดการเซิร์ฟเวอร์ของคุณจากระยะไกล (เช่น การติดตั้งซอฟต์แวร์)

เชื่อมต่อกับเซิร์ฟเวอร์ Sitebulb หลายเครื่องจากการตั้งค่า Sitebulb บนเดสก์ท็อปเดียว
ฟีเจอร์เด็ดอีกอย่างของ Sitebulb Server คือคุณสามารถเชื่อมต่อกับเซิร์ฟเวอร์หลายเครื่องจากการตั้งค่าเดสก์ท็อปเครื่องเดียว ดังนั้น หากคุณต้องการเซิร์ฟเวอร์ Sitebulb หลายตัว เนื่องจากคุณจำเป็นต้องเรียกใช้การรวบรวมข้อมูลจำนวนมากพร้อมกัน คุณสามารถทำได้ เพียงหมุนเซิร์ฟเวอร์ AWS หรือเซิร์ฟเวอร์เฉพาะ ตั้งค่า Sitebulb Server จากนั้นเชื่อมต่อกับเซิร์ฟเวอร์เหล่านั้นจากแอปเดสก์ท็อปของคุณ Sitebulb Server สามารถปรับขนาดได้อย่างมากในด้านหน้านั้น

สำคัญ: เปิดพอร์ตเครือข่ายบนเซิร์ฟเวอร์ของคุณ
ตกลง ฉันพบปัญหานี้เมื่อตั้งค่า Sitebulb Server ดังนั้นฉันแน่ใจว่าคนอื่นๆ จะต้องเหมือนกัน Sitebulb ยังมีสิ่งนี้ในเอกสารประกอบ ดังนั้นหวังว่าคุณจะไม่พลาดเมื่อตั้งค่าเซิร์ฟเวอร์ของคุณเอง แต่ฉันก็อยากจะเล่าไว้ที่นี่อยู่ดี เพราะมันสำคัญ

คุณ อาจ ต้องเปิดพอร์ตเครือข่ายบนไฟร์วอลล์เซิร์ฟเวอร์ของคุณเพื่อเรียกใช้ Sitebulb Server อย่างถูกต้อง โดยปกติพอร์ตเครือข่ายจะปิดโดยค่าเริ่มต้น ดังนั้น คุณจะต้องสร้างนโยบายไฟร์วอลล์เพื่อเปิดพอร์ต 10401 บนเซิร์ฟเวอร์ของคุณ มันง่ายที่จะทำเมื่อคุณรู้ว่าจะไปที่ไหนและต้องทำอย่างไร แต่ฉันคิดว่าหลายคนอาจพลาดการตั้งค่า วิดีโอบทช่วยสอนของ Sitebulb ครอบคลุมขั้นตอนนี้โดยละเอียด ดังนั้นฉันจะไม่สร้างวงล้อขึ้นใหม่ที่นี่ แต่อีกครั้งสิ่งสำคัญที่ต้องทำ

เซิร์ฟเวอร์ Sitebulb – ตัวเลือกที่แข็งแกร่งสำหรับการเรียกใช้การรวบรวมข้อมูลขององค์กรโดยไม่ทำให้การตั้งค่าในพื้นที่ของคุณสะดุด
อีกครั้ง ฉันไม่ต้องการที่จะพยายามครอบคลุมทุกอย่างเกี่ยวกับ Sitebulb Server ในโพสต์นี้ แต่ฉันต้องการครอบคลุมเคล็ดลับและเทคนิคทางเทคนิคบางอย่างที่ SEO และเจ้าของไซต์อาจพบเจอขณะตั้งค่าและใช้งาน Sitebulb Server (อิงจากการใช้ Sitebulb Server ในช่วงหลายเดือนที่ผ่านมา) โดยส่วนตัวแล้ว ฉันพบว่า Sitebulb Server เป็นโซลูชันที่แข็งแกร่งสำหรับการรันการรวบรวมข้อมูลขององค์กรด้วยงบประมาณจำกัด และฉันคิดว่าคุณก็เช่นกัน ฉันแนะนำให้ติดต่อ Patrick และ Gareth ที่ Sitebulb เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับตัวเลือกที่มีให้ทดลองใช้ Sitebulb Server

GG