Servidor Sitebulb: consejos y trucos técnicos para configurar un potente rastreador empresarial de bricolaje (con un presupuesto ajustado)

Al realizar auditorías de SEO, el rastreo es muy importante. Para los SEO y los propietarios de sitios, hay varias opciones disponibles, desde rastreadores locales hasta rastreadores empresariales (servicios SAAS). A lo largo de los años, he hablado mucho sobre mis herramientas de rastreo favoritas, que son Screaming Frog, Sitebulb, DeepCrawl y, más recientemente, JetOctopus. Screaming Frog y Sitebulb suelen ser rastreadores locales, mientras que DeepCrawl y JetOctopus son excelentes y potentes rastreadores empresariales.

Al referirme a Screaming Frog y Sitebulb, dije "rastreadores típicamente locales", ya que hay formas de convertir un rastreador local en un rastreador SAAS. Por ejemplo, puse en marcha varios servidores de AWS, instalé Screaming Frog y Sitebulb en ellos, y luego puedo rastrear de forma remota. El principal beneficio es que libero mis recursos locales para concentrarme en otras cosas mientras mis servidores de AWS hacen el trabajo pesado en cuanto al rastreo.

Ha funcionado bastante bien, pero hay una nueva solución para los aficionados al bricolaje. Se llama Sitebulb Server y actualmente está en versión beta. Lo he estado usando durante varios meses y quería cubrir algunos consejos y trucos en una publicación de blog. Creo que es una solución poderosa que puede llevarlo de local a empresarial con un presupuesto limitado.

Tenga en cuenta que no cubriré todo lo que necesita saber en esta publicación. En su lugar, quería cubrir cómo funciona, algunos consejos y trucos técnicos y algunas precauciones. Estoy seguro de que el equipo de Sitebulb puede responder cualquier otra pregunta que tenga (han sido de gran ayuda a lo largo de los años y con esta versión beta). Y siempre puedes hacerme ping en Twitter si tienes algún problema. Si puedo responder a esas preguntas rápidamente, lo haré.

¿Qué es el servidor Sitebulb exactamente?
Sitebulb Server es una forma de configurar una versión especial de Sitebulb en un servidor separado, que puede ejecutar rastreos sin atascar sus recursos locales. Con la versión estándar de Sitebulb, la mayoría de los usuarios la ejecutan en sus computadoras locales. Eso está bien, pero definitivamente puede atascar su sistema y consumir ancho de banda. Con Sitebulb Server, todo eso sucede en un servidor separado. Luego puede usar una versión especial de Sitebulb en su escritorio para conectarse a su servidor. Y cuando lo hace, puede acceder a las auditorías como si las hubiera ejecutado en su máquina local. Es increíble poder hacer eso.

Mencioné anteriormente que siempre puede configurar un servidor remoto separado y ejecutar Sitebulb (o Screaming Frog). Lo he hecho durante años y funciona bastante bien (aunque no se pueden ejecutar varios rastreos al mismo tiempo). Bueno, Sitebulb Server es un servidor de rastreo remoto, pero con esteroides . Está diseñado para ejecutar varios rastreos al mismo tiempo y le permite conectarse a cualquiera de esos rastreos desde su propia aplicación de escritorio. Además, varios miembros del equipo pueden acceder a esos rastreos desde Sitebulb Server. Entonces, si tiene un equipo de SEO que trabaja en una auditoría, Sitebulb Server puede ser una sólida solución de bricolaje para acceder a los datos de rastreo de esos miembros del equipo.

La capacidad de rastrear sitios simultáneamente en un servidor remoto es asombrosa:

Puede acceder a su servidor desde cualquier lugar para auditar los datos de rastreo como si estuvieran en su máquina local:

El mayor obstáculo en mi opinión: la configuración del servidor aterradora, confusa, críptica, pero a menudo fácil.
Todo esto suena genial, ¿verdad? Pero, ¿cuál es el mayor obstáculo o aro que debes atravesar? Sin duda, es la configuración del servidor. Me encontré con esto cuando configuré instancias de AWS por primera vez para ejecutar sus propias versiones de Screaming Frog y Sitebulb. Es un proceso críptico con el que muchos SEO y propietarios de sitios no están familiarizados. No es necesariamente difícil, pero definitivamente un obstáculo en mi opinión. Veo que muchos SEO no han configurado servidores separados para el rastreo y conozco un número que tuvo inconvenientes al intentar configurarlos.

Bueno, Sitebulb al rescate. Patrick y Gareth de Sitebulb han creado una excelente documentación para configurar Sitebulb Server, cómo configurar servidores remotos (incluidos AWS y Google Cloud Compute) y más. Puede leer más en su documentación de ayuda, que también incluye videoclips (que son increíbles cuando intenta configurar servidores remotos). A veces una imagen vale más que mil palabras.

Por ejemplo, aquí hay un video clip de Sitebulb creado para configurar Sitebulb Server a través de AWS:

Tenga en cuenta que personalmente uso AWS y ha funcionado bien, pero puede usar la configuración que desee. Puede usar un servidor dedicado, AWS, Google Cloud Compute, una computadora de repuesto en su red local, etc. Una vez que configure un servidor, lo que generalmente no toma mucho tiempo, puede continuar con la configuración de Sitebulb Server y el versión de escritorio especial de Sitebulb que se conecta a su servidor.

Espacio en disco y vCPU: algunos puntos importantes sobre su servidor.
Al configurar su servidor, es importante asegurarse de tener suficiente espacio en disco y suficientes vCPU (o CPU virtuales). Afectan la cantidad de datos de rastreo que puede almacenar y la cantidad de subprocesos que puede usar al rastrear.

En primer lugar, los rastreos ocupan mucho espacio. Y los rastreos empresariales ocupan mucho espacio. Asegúrese de seleccionar suficiente espacio en disco en función de los tipos de rastreos que suele ejecutar. A continuación se muestra una captura de pantalla de AWS para configurar el almacenamiento.

El siguiente paso son las vCPU (o CPU virtuales). Es importante comprender que cada vCPU es un subproceso. Entonces, si su rastreo ocupará 5 subprocesos, necesitará 5 vCPU. Además, cuando te conectas al servidor, también estás retomando un hilo. Y si desea ejecutar varios rastreos al mismo tiempo, también debe tenerlo en cuenta (incluso más subprocesos). A continuación, puede ver que la instancia de AWS tiene 8 vCPU (u 8 subprocesos para Sitebulb Server).

Por ejemplo, si ejecuta dos rastreos con 5 subprocesos cada uno y se está conectando al servidor, necesitará 11 subprocesos (5 + 5 + 1). Tenía algunas preguntas sobre esto, y Patrick fue increíble al responderme con más información. El equipo de Sitebulb tiene una gran cantidad de conocimientos y son increíbles para ayudar a los clientes. Entonces, primero verifique su documentación. Si aún no tiene una respuesta, estoy seguro de que pueden ayudarlo a encontrar la mejor solución.

Notas sobre la ejecución simultánea de rastreos en lugar de ponerlos en cola.
Otro punto de confusión es sobre la ejecución de rastreos simultáneos. En otras palabras, así es como ejecutará varios rastreos al mismo tiempo. Esto es algo que generalmente solo se reserva para los rastreadores empresariales, pero ahora puede hacerlo a través de Sitebulb Server.

Primero, al configurar su servidor, asegúrese de marcar la opción para ejecutar rastreos simultáneos. Eso está en la sección de configuración del servidor.

A continuación, asegúrese de tener la configuración correcta para "Tipo de cola concurrente". Eso debe establecerse en "Siguiente según los hilos disponibles" y no en "Primero en entrar, primero en salir". Si lo tiene configurado en "Primero en entrar, primero en salir", cada rastreo se ejecutará por separado (y en orden). Al usar el "tipo de cola concurrente", los rastreos pueden ejecutarse al mismo tiempo siempre que haya suficientes subprocesos (consulte mis comentarios anteriores al respecto).

Y para "Hilos reservados", el número que establezca se basa en el número de miembros del equipo que acceden al servidor al mismo tiempo. Si es un consultor independiente, puede configurar uno. Si tiene otros dos compañeros de equipo que accederán al servidor al mismo tiempo, entonces debería tener eso configurado en tres (usted y dos compañeros de equipo).

La dirección IP cambia cuando detiene y reinicia AWS
Otro tema confuso está relacionado con las direcciones IP y sus instancias de AWS. Dado que está pagando cuando el servidor está en uso, normalmente querrá detener esa instancia cuando no esté en uso. Si no, sus costos pueden comenzar a dispararse. Pero aquí está el problema. Cuando detiene y reinicia su instancia de AWS, el servidor obtiene una nueva dirección IP . Y esa dirección IP es lo que usa cuando conecta su aplicación de escritorio Sitebulb a su servidor Sitebulb. También es lo que usa cuando se conecta a ese servidor a través de Remote Desktop (para administrar el servidor de forma remota).

Por lo tanto, deberá acceder rápidamente a su configuración en el escritorio de Sitebulb y cambiar la dirección IP de su servidor. No lleva mucho tiempo, no es difícil de hacer, pero puede causar confusión si no sabes que tienes que hacerlo. Básicamente, no podrá conectarse a su servidor Sitebulb a menos que se use la dirección IP correcta.

Y también recuerde que deberá cambiar esa dirección IP cuando se conecte a través de Escritorio remoto. Si no, su conexión fallará. Utiliza Remote Desktop para administrar su servidor de forma remota (como instalar software).

Conéctese a varios servidores de Sitebulb desde una configuración de Sitebulb de escritorio.
Otra característica interesante de Sitebulb Server es que puede conectarse a varios servidores desde una configuración de escritorio. Por lo tanto, si necesita varios servidores Sitebulb, ya que necesita ejecutar muchos rastreos al mismo tiempo, puede hacerlo. Simplemente active varios servidores de AWS o servidores dedicados, configure Sitebulb Server en ellos y luego conéctese a esos servidores desde su aplicación de escritorio. Sitebulb Server es extremadamente escalable en ese frente.

Importante: Abra un puerto de red en su servidor.
Bien, me encontré con este problema al configurar Sitebulb Server, así que estoy seguro de que otros también lo harán. Sitebulb también tiene esto en su documentación, así que espero que no te lo pierdas cuando configures tu propio servidor. Pero quería cubrirlo aquí de todos modos, ya que es importante.

Probablemente necesitará abrir un puerto de red en el servidor de seguridad de su servidor para poder ejecutar correctamente Sitebulb Server. Los puertos de red suelen estar cerrados de forma predeterminada, por lo que deberá crear una política de firewall para abrir el puerto 10401 en su servidor. Es fácil de hacer una vez que sabes a dónde ir y cómo hacerlo, pero creo que muchos podrían pasar por alto configurarlo. Los tutoriales en video de Sitebulb cubren este paso en detalle, por lo que no recrearé la rueda aquí. Pero, de nuevo, es importante hacerlo.

Sitebulb Server: una opción sólida para ejecutar rastreos empresariales sin atascar su configuración local.
Nuevamente, no quería tratar de cubrir todo sobre Sitebulb Server en esta publicación. En cambio, quería cubrir algunos consejos y trucos técnicos con los que los SEO y los propietarios de sitios podrían encontrarse al configurar y ejecutar Sitebulb Server (basado en el uso de Sitebulb Server durante los últimos meses). Personalmente, encontré que Sitebulb Server es una solución sólida para ejecutar rastreos empresariales con un presupuesto ajustado. Y creo que tú también lo harás. Recomiendo comunicarse con Patrick y Gareth en Sitebulb para obtener más información sobre las opciones disponibles para probar Sitebulb Server.

GG