Ovos de Páscoa Robots.txt – Torne suas Diretivas de Robôs Divertidas para os Humanos!

Os ovos de páscoa geralmente são associados a itens que você encontra durante uma caçada, depois de passar um tempo procurando por eles em lugares desconhecidos, sem uma orientação clara sobre onde procurar. Como a busca requer algum tempo e esforço, é gratificante encontrá-los no final das contas.

Tudo isso também é verdade para os ovos de páscoa encontrados em produtos de tecnologia.

Hoje, quero ver os easter eggs em arquivos robots.txt. Vou explicar o conceito de easter eggs e arquivos robots.txt e por que os desenvolvedores podem incluir easter eggs neles.

Eu também fui em minha própria caça aos ovos de páscoa para determinar quantas formas os ovos de páscoa em arquivos robots.txt podem assumir. Como se vê – muitos!

Continue lendo e certifique-se de chegar ao final deste artigo – eu terei uma tarefa para você!

O que são ovos de páscoa em tecnologia?

Easter eggs em tecnologia são entendidos como recursos não documentados ou softwares que não são necessários para o funcionamento do produto. Esses recursos não são revelados ou compartilhados abertamente com os usuários que precisam procurá-los sem muita orientação.

Os ovos de páscoa são comumente encontrados em videogames, programas, aplicativos, software e partes de sites.

Eles vêm em muitas formas, como:

• códigos de trapaça em um jogo que revelam recursos ou níveis adicionais,
• referências culturais que aparecem em páginas ocultas ou outros documentos da web,
• jogos ou aplicativos localizados em software feito para outros fins, por exemplo, escrever e editar documentos de texto,
• mensagens deixadas pelos desenvolvedores, por exemplo, aquelas que creditam os criadores do produto.

A lista continua, e não há limites para o que os easter eggs podem ser.

Mas há mais do que isso.

Para mim, easter eggs são um toque humano em um ambiente de máquina caracterizado por uma lógica abundante e regras concretas.

Os ovos de Páscoa quebram essas regras rígidas. Eles são uma maneira de os criadores adicionarem um elemento único com um rosto humano ao seu produto tecnológico. Incluir ovos de páscoa torna toda a experiência de usar um determinado produto de tecnologia mais divertida e pode ser um deleite para os fãs obstinados, dependendo do produto.

Vamos aos easter eggs que podemos encontrar nos arquivos robots.txt dos sites.

Ovos de Páscoa e arquivos robots.txt

Encontrar easter eggs em arquivos robots.txt é menos complicado do que em muitos outros casos – você precisa simplesmente acessar o robots.txt de um site.

Existem vários exemplos de easter eggs em arquivos robots.txt. Esses arquivos devem ser lidos e seguidos por robôs; portanto, ovos de páscoa devem ser adicionados de uma maneira que seja compreensível apenas para humanos.

Vamos esclarecer o que são arquivos robots.txt e se a adição de easter eggs não afetará a forma como os robôs lêem o arquivo.

O que são arquivos robots.txt?

Um arquivo robots.txt fica na raiz do seu domínio e contém um conjunto de diretivas para rastreadores de mecanismos de pesquisa, informando a eles como rastrear páginas em um site.

Cada diretiva bloqueia ou permite o acesso de um rastreador específico a um caminho de arquivo em um site. A menos que especificado de outra forma em robots.txt, os robôs podem rastrear todos os arquivos em um site.

As diretivas em um arquivo robots.txt são uma forma de maximizar seu orçamento de rastreamento, para que o Googlebot não o desperdice em páginas irrelevantes em seu site.

Adicionar ovos de páscoa pode prejudicar seu arquivo robots.txt?

Os arquivos Robots.txt seguem um formato específico sobre o qual você pode ler mais nas diretrizes do Google sobre como adicionar regras de robots.txt .

Os mecanismos de pesquisa ignoram quaisquer símbolos ou comandos que aparecem no arquivo robots.txt após uma hashtag, portanto, incluir easter eggs precedidos por uma hashtag não afetará a forma como os robôs entendem esses arquivos.

Easter eggs também tendem a ser colocados em documentos ou locais que não podem ser acessados ​​facilmente pelos usuários, e isso é verdade em relação aos arquivos robots.txt. Eles geralmente não são vinculados a outras páginas e os usuários não podem navegar até eles simplesmente clicando em um botão em um site.

Por que você deve adicionar um easter egg ao seu arquivo robots.txt?

Já que você pode adicionar texto a arquivos robots.txt que podem ser lidos apenas por humanos, por que não aproveitar esta oportunidade para criar conteúdo exclusivo para complementar seus esforços de marketing?

Você pode adicionar easter eggs ao seu arquivo robots.txt por vários motivos além de fornecer entretenimento aos usuários.

Por exemplo, o conteúdo do seu robots.txt também pode:

• Aumente o reconhecimento da sua marca
• Exiba sua marca empregadora

Isso pode ser alcançado de várias maneiras. Você pode:

• Implemente sua própria marca, por exemplo, inclua seu logotipo ou slogan.
• Consulte os serviços ou produtos que você oferece ou a sua empresa como um ambiente de trabalho.
• Incentive os visitantes a se candidatarem às suas ofertas de emprego – dessa forma, você segmenta apenas um grupo selecionado de pessoas que visitam seu robots.txt. Você pode fazer isso especialmente para convidar geeks para se juntar à sua equipe de desenvolvimento ou SEO!
• Crie conteúdo relevante e original. Ele pode corresponder tematicamente ao propósito do arquivo robots.txt, por exemplo, endereçar os robôs, incluir referências humorísticas a eles, mecanismos de busca ou outros tópicos, como cultura pop. Incluir conteúdo leve como esse pode fazer sua marca parecer mais acessível e orientada para o usuário.

Escolha uma abordagem que mostre sua marca da melhor maneira e seja um ativo exclusivo para a forma como os usuários percebem sua marca.

Exemplos de easter eggs em robots.txt

Vejamos exemplos de easter eggs em arquivos robots.txt e vejamos os vários tipos de mensagens que podemos encontrar neles.

Killer-robots.txt do Google

O arquivo killer-robots.txt do Google foi um easter egg memorável criado para o 20º aniversário da disponibilização da diretiva robots.txt para webmasters. Desde então, foi removido, mas continua sendo um dos exemplos mais famosos de easter eggs em arquivos robots.txt.

Aqui está o texto que o Google incluiu:

Agente do usuário: T-1000

Agente do usuário: T-800

Não permitir: /+LarryPage

Não permitir: /+SergeyBrin

T-800 é o Exterminador do Futuro interpretado por Arnold Schwarzenegger no famoso filme. T-1000 é o robô assassino do filme Terminator 2 . As diretivas incluídas neste arquivo impedem que o T-800 e o T-1000 matem os fundadores do Google, Larry Page e Sergey Brin.

Nike

A Nike incorpora sua marca no arquivo robots.txt, incluindo uma versão bem-humorada do slogan da marca. É combinado com uma referência aos motores de busca:

A Nike leva esses recursos da marca ainda mais longe ao incorporar seu logotipo:

Cloudflare

A Cloudflare aborda os robôs pessoalmente. Começa assim:

E termina com o robô respondendo à solicitação e concordando em segui-la:

YouTube

O Youtube faz referência a robôs e refere-se a um futuro distópico onde eles são dominantes:

Porta de vidro

O Glassdoor é um site que permite que os funcionários analisem as empresas, visualizem os salários que oferecem, pesquisem vagas na plataforma e muito mais. Seu arquivo robots.txt segue o tema do trabalho . As diretrizes no arquivo incentivam os geeks de SEO que se aventuram em seu arquivo robots.txt a se candidatar a uma de suas posições:

Etsy

A mensagem de Etsy parece ser italiana para "pelo amor de Deus!" e inclui uma imagem simples em forma de… um robô, é claro:

Yelp

Yelp cita um famoso autor de ficção científica, Isaac Asimov, e suas Três Leis da Robótica . Asimov introduziu essas leis em um conto de 1942 e depois as usou como base para seus romances.

As leis são um sistema ético para humanos e robôs, e um arquivo robots.txt pode ser visto exatamente como isso – uma maneira de humanos e robôs interagirem e se beneficiarem mutuamente:

Tripadvisor

Assim como o Glassdoor, o Tripadvisor valoriza a curiosidade das pessoas e pede aos caçadores de ovos de páscoa que se inscrevam e se tornem membros de sua equipe de SEO:

Wikipédia

O arquivo robots.txt da Wikipedia contém várias mensagens – aqui estão apenas algumas delas:

Essas diretivas comentam sobre o comportamento dos robôs – já que apenas humanos podem lê-las, é uma forma de brincar com robôs. Ele mostra o lado divertido e alegre da Wikipedia, que contrasta com o que esperamos dela – artigos sérios e verificados.

Merriam Webster

Merriam Webster lembra a quem tiver acesso ao arquivo para “editar com cuidado”:

Este é um lembrete duplo de que quaisquer diretivas incluídas em arquivos robots.txt devem ser cuidadosamente planejadas e colocadas no arquivo – afinal, erros podem impedir que os robôs rastreiem o site corretamente.

Sapo gritando

Screaming Frog incluiu diretrizes humorísticas relacionadas ao nome da empresa:

Mas há mais do que apenas ser uma referência engraçada. Incluir essas diretivas ajuda a aumentar o reconhecimento da marca. Mencionar a “proteção da equipe de sapos” pode ser visto como um exemplo de marca do empregador.

Mais adiante no arquivo robots.txt, podemos encontrar um convite para integrar a equipe de SEO da empresa:

Terreno do mecanismo de pesquisa

O Search Engine Land dirige-se a pessoas que podem ler a seguinte mensagem – porque os robôs não podem – reconhecendo que pode haver não robôs que visitam o arquivo robots.txt. Há também uma referência a Battlestar Galactica:

Humans.txt

A Internet deveria ser sobre humanos, não apenas robôs.

Se houver um arquivo robots.txt para robôs, deve haver um para humanos também.

Este é o pensamento por trás de human.txt , que foi criado como uma contra-iniciativa aos arquivos robots.txt. Como lemos em seu site oficial:

“É uma iniciativa para conhecer as pessoas por trás de um site. É um arquivo TXT que contém informações sobre as diferentes pessoas que contribuíram para a construção do site.”

Um arquivo .txt não é intrusivo com o código e é uma maneira fácil de provar a autoria de um site.

Aqui está o texto que contém o arquivo human.txt do Google:

“O Google é construído por uma grande equipe de engenheiros, designers, pesquisadores, robôs e outros em muitos locais diferentes em todo o mundo. Ele é atualizado continuamente e construído com mais ferramentas e tecnologias do que podemos imaginar. Se você quiser nos ajudar, acesse careers.google.com.”

Outros sites também o usam e geralmente ficam mais criativos – veja os arquivos humanos.txt da Netflix e do Medium .

Próximos passos

Agora que você viu exemplos de easter eggs encontrados em arquivos robots.txt, você se sente inspirado a deixar um easter egg para seus usuários?

Nós fizemos!