Sitebulb Server – Dicas e truques técnicos para configurar um poderoso rastreador empresarial DIY (com orçamento limitado)

Ao realizar auditorias de SEO, o rastreamento é extremamente importante. Para SEOs e proprietários de sites, existem várias opções disponíveis, desde rastreadores locais até rastreadores corporativos (serviços SAAS). Eu tenho falado muito ao longo dos anos sobre minhas ferramentas de rastreamento favoritas, que são Screaming Frog, Sitebulb, DeepCrawl e, mais recentemente, JetOctopus. Screaming Frog e Sitebulb são tipicamente rastreadores locais, enquanto DeepCrawl e JetOctopus são rastreadores empresariais excelentes e poderosos.

Ao me referir a Screaming Frog e Sitebulb, eu disse “tipicamente rastreadores locais”, já que existem maneiras de hackear um rastreador local em um rastreador SAAS. Por exemplo, criei vários servidores da AWS, instalei o Screaming Frog e o Sitebulb neles e posso rastrear remotamente. O principal benefício é que libero meus recursos locais para me concentrar em outras coisas, enquanto meus servidores AWS fazem o trabalho pesado de rastreamento.

Isso funcionou muito bem, mas há uma nova solução para você do-It-Yourself'ers. Chama-se Sitebulb Server e está atualmente em beta. Eu tenho usado por vários meses e queria cobrir algumas dicas e truques em uma postagem no blog. Acho que é uma solução poderosa que pode levá-lo do local à empresa com um orçamento limitado.

Observe que não vou cobrir tudo o que você precisa saber neste post. Em vez disso, eu queria cobrir como funciona, algumas dicas e truques técnicos e alguns cuidados. Tenho certeza de que a equipe do Sitebulb pode responder a quaisquer outras perguntas que você tenha (eles foram super úteis ao longo dos anos e com este beta). E você sempre pode me enviar um ping no Twitter se tiver algum problema. Se eu puder responder a essas perguntas rapidamente, eu o farei.

O que é exatamente o Sitebulb Server?
Sitebulb Server é uma maneira de você configurar uma versão especial do Sitebulb em um servidor separado, que pode executar rastreamentos sem sobrecarregar seus recursos locais. Com a versão padrão do Sitebulb, a maioria dos usuários o executa em seus computadores locais. Tudo bem, mas pode definitivamente atolar seu sistema e ocupar largura de banda. Com o Sitebulb Server, tudo isso acontece em um servidor separado. Então você pode usar uma versão especial do Sitebulb em seu desktop para se conectar ao seu servidor. E ao fazer isso, você pode acessar as auditorias como se as tivesse executado em sua máquina local. É incrível poder fazer isso.

Mencionei anteriormente que você sempre pode configurar um servidor remoto separado e executar o Sitebulb (ou Screaming Frog). Eu tenho feito isso há anos e funciona muito bem (embora você não possa executar vários rastreamentos ao mesmo tempo). Bem, Sitebulb Server é um servidor de rastreamento remoto, mas em esteróides . Ele foi desenvolvido para executar vários rastreamentos ao mesmo tempo, permitindo que você se conecte a qualquer um desses rastreamentos de seu próprio aplicativo de desktop. Além disso, vários membros da equipe podem acessar esses rastreamentos do Sitebulb Server. Portanto, se você tem uma equipe de SEOs trabalhando em uma auditoria, o Sitebulb Server pode ser uma solução DIY forte para acessar dados de rastreamento entre esses membros da equipe.

A capacidade de rastrear sites simultaneamente em um servidor remoto é incrível:

Você pode acessar seu servidor de qualquer lugar para auditar os dados de rastreamento como se estivessem em sua máquina local:

O Maior Obstáculo IMO – A configuração de servidor assustadora, confusa, enigmática, mas muitas vezes fácil.
Isso tudo parece ótimo, certo? Mas qual é o maior obstáculo ou aro que você precisa superar? Sem dúvida, é a configuração do servidor. Eu me deparei com isso ao configurar pela primeira vez instâncias da AWS para executar suas próprias versões do Screaming Frog e Sitebulb. É um processo enigmático com o qual muitos SEOs e proprietários de sites não estão familiarizados. Não é necessariamente difícil, mas definitivamente um obstáculo na minha opinião. Acho que muitos SEOs não configuraram servidores separados para rastreamento e conheço um número que se deparou com problemas ao tentar configurá-los.

Bem, Sitebulb para o resgate. Patrick e Gareth da Sitebulb criaram uma excelente documentação para configurar o Sitebulb Server, como configurar servidores remotos (incluindo AWS e Google Cloud Compute) e muito mais. Você pode ler mais na documentação de ajuda deles, que também inclui videoclipes (que são incríveis quando você está tentando configurar servidores remotos). As vezes uma imagem vale mil palavras.

Por exemplo, aqui está um videoclipe que o Sitebulb montou para configurar o Sitebulb Server via AWS:

Observe que eu pessoalmente uso a AWS, e isso funcionou bem, mas você pode usar qualquer configuração que desejar. Você pode usar um servidor dedicado, AWS, Google Cloud Compute, um computador sobressalente em sua rede local, etc. Depois de configurar um servidor, o que normalmente não demora muito, você pode prosseguir com a configuração do Sitebulb Server e do versão especial para desktop do Sitebulb que se conecta ao seu servidor.

Espaço em disco e vCPUs: Alguns pontos importantes sobre seu servidor.
Ao configurar seu servidor, é importante garantir que você tenha espaço em disco suficiente e vCPUs (ou CPUs virtuais) suficientes. Eles afetam a quantidade de dados de rastreamento que você pode armazenar e quantos threads você pode usar ao rastrear.

Primeiro, os rastreamentos ocupam muito espaço. E os rastreamentos corporativos ocupam muito espaço. Certifique-se de selecionar espaço em disco suficiente com base nos tipos de rastreamentos que você normalmente executa. Abaixo está uma captura de tela da AWS para configurar o armazenamento.

Em seguida, são vCPUs (ou CPUs virtuais). É importante entender que cada vCPU é um encadeamento. Portanto, se seu rastreamento ocupar 5 threads, você precisará de 5 vCPUs. Além disso, quando você se conecta ao servidor, também está ocupando um encadeamento. E se você quiser executar vários rastreamentos ao mesmo tempo, precisará levar isso em consideração também (ainda mais threads). Abaixo, você pode ver que a instância da AWS tem 8 vCPUs (ou 8 threads para Sitebulb Server).

Por exemplo, se você executar dois rastreamentos usando 5 threads cada e estiver se conectando ao servidor, precisará de 11 threads (5 + 5 + 1). Eu tinha algumas perguntas sobre isso, e Patrick foi incrível em me retornar com mais informações. A equipe da Sitebulb tem muito conhecimento e é incrível em ajudar os clientes. Então, primeiro verifique sua documentação. Se você ainda não tiver uma resposta, tenho certeza que eles podem ajudá-lo a descobrir a melhor solução.

Observações sobre a execução de rastreamentos simultaneamente versus enfileiramento.
Outro ponto de confusão é sobre a execução de rastreamentos simultâneos. Em outras palavras, é assim que você executará vários rastreamentos ao mesmo tempo. Isso é algo normalmente reservado apenas para rastreadores corporativos, mas você pode fazer isso agora através do Sitebulb Server.

Primeiro, ao configurar seu servidor, verifique a opção de executar rastreamentos simultâneos. Isso está na seção de configurações do servidor.

Em seguida, verifique se você tem a configuração correta para “Tipo de fila simultânea”. Isso deve ser definido como “Próximo com base nos threads disponíveis” e não “Primeiro a entrar, primeiro a sair”. Se você tiver definido como "Primeiro a entrar, primeiro a sair", cada rastreamento será executado separadamente (e em ordem). Ao usar o “tipo de fila simultânea”, os rastreamentos podem ser executados ao mesmo tempo, desde que haja threads suficientes (veja meus comentários anteriores sobre isso).

E para “Tópicos reservados”, o número que você define é baseado no número de membros da equipe que acessam o servidor ao mesmo tempo. Se você é um consultor solo, pode definir um. Se você tiver dois outros companheiros de equipe que acessarão o servidor ao mesmo tempo, então você deve definir para três (você e dois companheiros de equipe).

Mudanças de endereço IP quando você para e reinicia a AWS
Outro tópico confuso está relacionado a endereços IP e suas instâncias da AWS. Como você está pagando quando o servidor está em uso, normalmente você desejará interromper essa instância quando não estiver em uso. Caso contrário, seus custos podem começar a disparar. Mas aqui está o problema. Quando você interrompe e reinicia sua instância da AWS, o servidor obtém um novo endereço IP . E esse endereço IP é o que você usa ao conectar seu aplicativo de desktop Sitebulb ao seu Sitebulb Server. É também o que você usa ao se conectar a esse servidor via Área de Trabalho Remota (para gerenciar o servidor remotamente).

Portanto, você precisará acessar rapidamente suas configurações na área de trabalho do Sitebulb e alterar o endereço IP do seu servidor. Não demora muito, não é difícil de fazer, mas pode causar confusão se você não souber que precisa fazer isso. Você basicamente não poderá se conectar ao seu Sitebulb Server a menos que o endereço IP correto seja usado.

E lembre-se também de que você precisará alterar esse endereço IP ao se conectar via Área de Trabalho Remota. Caso contrário, sua conexão falhará. Você usa a Área de Trabalho Remota para gerenciar seu servidor remotamente (como instalar software).

Conecte-se a vários servidores Sitebulb a partir de uma configuração de Sitebulb para desktop.
Outro recurso interessante do Sitebulb Server é que você pode se conectar a vários servidores a partir de uma configuração de desktop. Portanto, se você precisar de vários Sitebulb Servers, pois precisa executar muitos rastreamentos ao mesmo tempo, poderá fazer isso. Basta ativar vários servidores da AWS ou servidores dedicados, configurar o Sitebulb Server neles e conectar-se a esses servidores a partir do seu aplicativo de desktop. O Sitebulb Server é extremamente escalável nessa frente.

Importante: Abra uma porta de rede em seu servidor.
OK, eu encontrei esse problema ao configurar o Sitebulb Server, então tenho certeza que outros também irão. O Sitebulb também tem isso em sua documentação, então espero que você não perca isso ao configurar seu próprio servidor. Mas, eu queria cobri-lo aqui de qualquer maneira, já que é importante.

Você provavelmente precisará abrir uma porta de rede no firewall do servidor para executar corretamente o Sitebulb Server. As portas de rede geralmente são fechadas por padrão, portanto, você precisará criar uma política de firewall para abrir a porta 10401 em seu servidor. É fácil de fazer quando você sabe para onde ir e como fazê-lo, mas acho que muitos podem deixar de configurá-lo. Os tutoriais em vídeo do Sitebulb cobrem essa etapa em detalhes, então não vou recriar a roda aqui. Mas, novamente, é importante fazer.

Sitebulb Server – Uma opção forte para executar rastreamentos corporativos sem sobrecarregar sua configuração local.
Novamente, eu não queria tentar cobrir tudo sobre o Sitebulb Server neste post. Em vez disso, eu queria cobrir algumas dicas e truques técnicos que SEOs e proprietários de sites podem encontrar ao configurar e executar o Sitebulb Server (com base no uso do Sitebulb Server nos últimos meses). Pessoalmente, descobri que o Sitebulb Server é uma solução forte para executar rastreamentos corporativos com orçamento limitado. E acho que você também vai. Eu recomendo entrar em contato com Patrick e Gareth no Sitebulb para saber mais sobre as opções disponíveis para experimentar o Sitebulb Server.

GG