Serwer Sitebulb — porady techniczne i wskazówki dotyczące konfigurowania potężnego robota typu „zrób to sam” dla przedsiębiorstw (z ograniczonym budżetem)

Podczas przeprowadzania audytów SEO niezwykle ważne jest indeksowanie. Dla SEO i właścicieli witryn dostępnych jest kilka opcji, od przeszukiwaczy lokalnych po przeszukiwacze korporacyjne (usługi SAAS). Przez lata bardzo głośno mówiłem o moich ulubionych narzędziach do indeksowania, którymi są Screaming Frog, Sitebulb, DeepCrawl, a ostatnio JetOctopus. Screaming Frog i Sitebulb są typowymi robotami lokalnymi, podczas gdy DeepCrawl i JetOctopus są doskonałymi i potężnymi robotami indeksującymi dla przedsiębiorstw.

Odnosząc się do Screaming Frog i Sitebulb, powiedziałem „typowo lokalne roboty”, ponieważ istnieją sposoby na zhakowanie lokalnego robota do robota SAAS. Na przykład uruchomiłem kilka serwerów AWS, zainstalowałem na nich Screaming Frog i Sitebulb, a następnie mogę się zdalnie indeksować. Podstawową korzyścią jest to, że zwalniam moje lokalne zasoby, aby skupić się na innych rzeczach, podczas gdy moje serwery AWS wykonują ciężkie prace pełzające.

To całkiem nieźle się sprawdziło, ale jest nowe rozwiązanie dla majsterkowiczów. Nazywa się Sitebulb Server i jest obecnie w wersji beta. Używam go od kilku miesięcy i chciałem opisać kilka wskazówek i trików w poście na blogu. Myślę, że to potężne rozwiązanie, które może przenieść Cię z lokalnego do przedsiębiorstwa przy ograniczonym budżecie.

Uwaga, w tym poście nie będę omawiał wszystkiego, co musisz wiedzieć. Zamiast tego chciałem omówić, jak to działa, kilka technicznych wskazówek i trików oraz kilka uwag. Jestem pewien, że zespół Sitebulb może odpowiedzieć na wszelkie inne pytania (byli bardzo pomocni przez lata i dzięki tej wersji beta). I zawsze możesz wysłać do mnie wiadomość ping na Twitterze, jeśli napotkasz jakiekolwiek problemy. Jeśli potrafię szybko odpowiedzieć na te pytania, to zrobię.

Czym dokładnie jest serwer Sitebulb?
Sitebulb Server to sposób na skonfigurowanie specjalnej wersji Sitebulb na osobnym serwerze, który może uruchamiać indeksowanie, nie blokując lokalnych zasobów. W standardowej wersji Sitebulb większość użytkowników uruchamia ją na swoich komputerach lokalnych. W porządku, ale z pewnością może spowolnić system i zająć przepustowość. Dzięki Sitebulb Server wszystko dzieje się na osobnym serwerze. Następnie możesz użyć specjalnej wersji Sitebulb na swoim komputerze, aby połączyć się z serwerem. A kiedy to zrobisz, możesz uzyskać dostęp do audytów tak, jakbyś uruchamiał je na swoim lokalnym komputerze. Wspaniale jest móc to zrobić.

Wspomniałem wcześniej, że zawsze możesz skonfigurować oddzielny zdalny serwer i uruchomić Sitebulb (lub Screaming Frog). Robię to od lat i działa całkiem nieźle (chociaż nie można uruchomić wielu indeksowań jednocześnie). Cóż, Sitebulb Server to zdalny serwer indeksujący, ale na sterydach . Został stworzony do uruchamiania wielu indeksowań w tym samym czasie, jednocześnie umożliwiając łączenie się z dowolnym z tych indeksowań z własnej aplikacji komputerowej. Ponadto wielu członków zespołu może uzyskać dostęp do tych indeksów z serwera Sitebulb. Więc jeśli masz zespół SEO pracujących nad audytem, ​​Sitebulb Server może być silnym rozwiązaniem do samodzielnego uzyskania dostępu do danych indeksowania wśród członków zespołu.

Możliwość jednoczesnego indeksowania witryn na zdalnym serwerze jest niesamowita:

Możesz uzyskać dostęp do swojego serwera z dowolnego miejsca w celu audytu danych indeksowania tak, jakby znajdowały się na komputerze lokalnym:

The Biggest Obstacle IMO – Przerażająca, myląca, tajemnicza, ale często łatwa konfiguracja serwera.
To wszystko brzmi świetnie, prawda? Ale jaka jest największa przeszkoda lub obręcz, przez którą musisz przeskoczyć? Niewątpliwie jest to konfiguracja serwera. Natknąłem się na to, gdy po raz pierwszy konfigurowałem instancje AWS do uruchamiania własnych wersji Screaming Frog i Sitebulb. Jest to tajemniczy proces, z którym wielu SEO i właścicieli witryn nie jest zaznajomionych. Niekoniecznie jest to trudne, ale moim zdaniem zdecydowanie stanowi przeszkodę. Uważam, że wielu SEO nie skonfigurowało oddzielnych serwerów do indeksowania i znam liczbę, która natrafiła na przeszkody podczas próby ich skonfigurowania.

Cóż, Sitebulb na ratunek. Patrick i Gareth z Sitebulb stworzyli doskonałą dokumentację dotyczącą konfiguracji serwera Sitebulb, jak skonfigurować serwery zdalne (w tym AWS i Google Cloud Compute) i nie tylko. Możesz przeczytać więcej w ich dokumentacji pomocy, która zawiera również klipy wideo (które są niesamowite, gdy próbujesz skonfigurować zdalne serwery). Czasami obraz jest wart tysiąca słów.

Na przykład, oto klip wideo, który Sitebulb przygotował w celu skonfigurowania serwera Sitebulb przez AWS:

Zauważ, że osobiście używam AWS i to działa dobrze, ale możesz użyć dowolnej konfiguracji. Możesz użyć serwera dedykowanego, AWS, Google Cloud Compute, zapasowego komputera w sieci lokalnej itp. Po skonfigurowaniu serwera, co zwykle nie zajmuje dużo czasu, możesz przejść do przodu z konfiguracją serwera Sitebulb i specjalna komputerowa wersja Sitebulb, która łączy się z Twoim serwerem.

Miejsce na dysku i procesory wirtualne: kilka ważnych punktów dotyczących serwera.
Podczas konfigurowania serwera ważne jest, aby upewnić się, że masz wystarczająco dużo miejsca na dysku i wystarczającą liczbę wirtualnych procesorów (lub wirtualnych procesorów). Wpływają one na ilość danych indeksowania, które można przechowywać, oraz liczbę wątków, których można użyć podczas indeksowania.

Po pierwsze, indeksowanie zajmuje dużo miejsca. A indeksowanie korporacyjne zajmuje mnóstwo miejsca. Upewnij się, że wybrałeś wystarczającą ilość miejsca na dysku na podstawie typowych typów indeksowania. Poniżej znajduje się zrzut ekranu z AWS do konfiguracji pamięci.

Dalej są vCPU (lub wirtualne procesory). Ważne jest, aby zrozumieć, że każdy procesor wirtualny to wątek. Jeśli więc indeksowanie zajmie 5 wątków, będziesz potrzebować 5 procesorów wirtualnych. Ponadto, gdy łączysz się z serwerem, również podejmujesz wątek. A jeśli chcesz uruchomić wiele indeksowań w tym samym czasie, musisz to również wziąć pod uwagę (jeszcze więcej wątków). Poniżej możesz zobaczyć, że instancja AWS ma 8 vCPU (lub 8 wątków dla Sitebulb Server).

Na przykład, jeśli uruchomisz dwa indeksowania po 5 wątków każdy i łączysz się z serwerem, będziesz potrzebować 11 wątków (5 + 5 + 1). Miałem kilka pytań na ten temat, a Patrick był niesamowity, gdy wrócił do mnie z dodatkowymi informacjami. Zespół Sitebulb ma ogromną wiedzę i jest niesamowity w pomaganiu klientom. Więc najpierw sprawdź ich dokumentację. Jeśli nadal nie masz odpowiedzi, na pewno pomogą Ci znaleźć najlepsze rozwiązanie.

Uwagi na temat jednoczesnego uruchamiania indeksowania w porównaniu z ich kolejkowaniem.
Innym problemem jest uruchamianie współbieżnego indeksowania. Innymi słowy, w ten sposób uruchomisz wiele indeksowań jednocześnie. Jest to zazwyczaj zarezerwowane tylko dla robotów indeksujących korporacyjnych, ale teraz możesz to zrobić za pośrednictwem serwera Sitebulb.

Po pierwsze, konfigurując serwer, upewnij się, że zaznaczyłeś opcję jednoczesnego indeksowania. To jest w sekcji ustawień serwera.

Następnie upewnij się, że masz odpowiednie ustawienie dla „Typ kolejki współbieżnej”. Powinno to być ustawione na „Dalej na podstawie dostępnych wątków”, a nie „Najpierw wchodzi, pierwszy wychodzi”. Jeśli ustawiono opcję „Pierwszy, pierwszy wyszedł”, każde indeksowanie będzie przebiegać osobno (i w kolejności). Używając „Typ kolejki współbieżnej”, indeksowanie może przebiegać w tym samym czasie, o ile jest wystarczająca liczba wątków (zobacz moje wcześniejsze komentarze na ten temat).

W przypadku „wątków zarezerwowanych” ustawiona liczba jest oparta na liczbie członków zespołu uzyskujących dostęp do serwera w tym samym czasie. Jeśli jesteś konsultantem solo, możesz go po prostu ustawić. Jeśli masz dwóch innych członków drużyny, którzy będą uzyskiwać dostęp do serwera w tym samym czasie, powinieneś ustawić to na trzech (ty i dwóch członków drużyny).

Zmiany adresu IP po zatrzymaniu i ponownym uruchomieniu AWS
Kolejny mylący temat dotyczy adresów IP i instancji AWS. Ponieważ płacisz, gdy serwer jest używany, zazwyczaj będziesz chciał zatrzymać tę instancję, gdy nie jest ona używana. Jeśli nie, Twoje koszty mogą zacząć gwałtownie rosnąć. Ale oto problem. Po zatrzymaniu i ponownym uruchomieniu instancji AWS serwer otrzymuje nowy adres IP . A ten adres IP jest używany podczas łączenia aplikacji komputerowej Sitebulb z serwerem Sitebulb. Jest to również to, czego używasz podczas łączenia się z tym serwerem przez Pulpit zdalny (do zdalnego zarządzania serwerem).

Dlatego będziesz musiał szybko przejść do ustawień na pulpicie Sitebulb i zmienić adres IP swojego serwera. Nie trwa to długo, nie jest trudne, ale może spowodować zamieszanie, jeśli nie wiesz, że musisz to zrobić. Zasadniczo nie będziesz w stanie połączyć się z serwerem Sitebulb, jeśli nie zostanie użyty prawidłowy adres IP.

Pamiętaj też, że będziesz musiał zmienić ten adres IP podczas łączenia się przez Pulpit zdalny. Jeśli nie, połączenie się nie powiedzie. Używasz Pulpitu zdalnego do zdalnego zarządzania serwerem (np. instalowania oprogramowania).

Połącz się z wieloma serwerami Sitebulb za ​​pomocą jednej konfiguracji Sitebulb na komputerze.
Kolejną fajną cechą Sitebulb Server jest to, że możesz połączyć się z wieloma serwerami z jednego komputera. Tak więc, jeśli potrzebujesz wielu serwerów Sitebulb, ponieważ musisz uruchamiać wiele indeksów jednocześnie, możesz to zrobić. Po prostu uruchom wiele serwerów AWS lub serwerów dedykowanych, skonfiguruj na nich Sitebulb Server, a następnie połącz się z tymi serwerami z aplikacji komputerowej. Pod tym względem serwer Sitebulb jest niezwykle skalowalny.

Ważne: Otwórz port sieciowy na swoim serwerze.
OK, napotkałem ten problem podczas konfigurowania serwera Sitebulb, więc jestem pewien, że inni też. Sitebulb ma to również w swojej dokumentacji, więc miejmy nadzieję, że nie przegapisz tego podczas konfigurowania własnego serwera. Ale i tak chciałem omówić to tutaj, ponieważ to ważne.

Prawdopodobnie będziesz musiał otworzyć port sieciowy na swoim serwerze, aby poprawnie uruchomić serwer Sitebulb. Porty sieciowe są zazwyczaj domyślnie zamknięte, więc musisz utworzyć zasadę zapory, aby otworzyć port 10401 na serwerze. Łatwo to zrobić, gdy wiesz, dokąd się udać i jak to zrobić, ale myślę, że wielu może przegapić konfigurację. Samouczki wideo Sitebulb szczegółowo opisują ten krok, więc nie będę tutaj odtwarzał koła. Ale znowu, to jest ważne.

Serwer Sitebulb — mocna opcja do uruchamiania indeksowania przedsiębiorstwa bez ograniczania lokalnej konfiguracji.
Ponownie, nie chciałem opisywać wszystkiego na temat serwera Sitebulb w tym poście. Zamiast tego chciałem omówić kilka technicznych wskazówek i sztuczek, na które mogą natknąć się SEO i właściciele witryn podczas konfigurowania i uruchamiania serwera Sitebulb (w oparciu o korzystanie z serwera Sitebulb w ciągu ostatnich kilku miesięcy). Osobiście uważam, że Sitebulb Server jest dobrym rozwiązaniem do przeprowadzania indeksowania przedsiębiorstw przy ograniczonym budżecie. I myślę, że ty też. Polecam skontaktować się z Patrickiem i Garethem w Sitebulb, aby dowiedzieć się więcej o dostępnych opcjach wypróbowania serwera Sitebulb.

GG