Robots.txt 复活节彩蛋——让您的机器人指令为人类带来乐趣！
已发表: 2021-10-28复活节彩蛋通常与您在狩猎过程中发现的物品相关联，在花费时间在未知的地方寻找它们之后，没有明确的寻找地点的指导。 因为搜索需要一些时间和精力，所以最终找到它们是值得的。
所有这一切也适用于科技产品中的复活节彩蛋。
今天，我想看看 robots.txt 文件中的彩蛋。 我将解释彩蛋和 robots.txt 文件的概念，以及为什么开发人员可能在其中包含彩蛋。
我还进行了自己的复活节彩蛋搜寻，以确定 robots.txt 文件中的复活节彩蛋可以采用多少种形式。 事实证明——很多！
请继续阅读并确保读到本文的结尾——我将为您安排一个任务！
什么是科技界的复活节彩蛋？
技术领域的复活节彩蛋被理解为产品运行不需要的未记录功能或软件片段。 在没有太多指导的情况下，这些功能不会公开显示或与需要搜索它们的用户共享。
复活节彩蛋常见于视频游戏、程序、应用程序、软件和部分网站中。
它们有多种形式，例如：
- 游戏中的作弊码可以发现其他功能或关卡，
- 出现在隐藏页面或其他网络文档上的文化参考，
- 位于为其他目的而制作的软件中的游戏或应用程序，例如编写和编辑文本文档，
- 开发人员留下的信息，例如，那些归功于产品创建者的信息。
名单还在继续，复活节彩蛋可以是没有限制的。
但还有更多。
对我来说，复活节彩蛋是在以丰富的逻辑和具体规则为特征的机器环境中的一种人情味。
复活节彩蛋打破了这些严格的规则。 它们是创作者在其技术产品中添加具有人脸的独特元素的一种方式。 包括复活节彩蛋使使用给定技术产品的整个体验更加有趣，并且对于死忠粉来说可能是一种享受，具体取决于产品。
让我们继续讨论我们可以在网站的 robots.txt 文件中找到的复活节彩蛋。
复活节彩蛋和 robots.txt 文件
在 robots.txt 文件中查找彩蛋比在许多其他情况下要简单——您只需访问网站的 robots.txt。
robots.txt 文件中有许多复活节彩蛋的例子。 这些文件旨在被机器人读取和跟踪； 因此，应该以只有人类可以理解的方式添加复活节彩蛋。
让我们澄清一下 robots.txt 文件是什么，以及添加复活节彩蛋是否不会影响机器人读取文件的方式。
什么是 robots.txt 文件？
robots.txt 文件位于您域的根目录，并包含一组用于搜索引擎爬虫的指令，告诉他们如何爬取网站上的页面。
每个指令都阻止或允许特定爬虫访问站点上的文件路径。 除非 robots.txt 中另有说明，否则机器人可以抓取网站上的所有文件。
robots.txt 文件中的指令是最大化抓取预算的一种方式，因此 Googlebot 不会将其浪费在您网站上不相关的网页上。
添加复活节彩蛋会伤害您的 robots.txt 文件吗？
Robots.txt 文件遵循特定格式，您可以在Google 关于添加 robots.txt 规则的指南中了解更多信息。
搜索引擎会忽略 robots.txt 文件中出现在标签后的任何符号或命令，因此包括以标签开头的复活节彩蛋不会影响机器人理解这些文件的方式。
复活节彩蛋也倾向于放置在用户无法轻松访问的文档或位置，robots.txt 文件也是如此。 它们通常不会从其他页面链接到，用户无法通过简单地单击网站上的按钮导航到它们。
为什么要在 robots.txt 文件中添加复活节彩蛋？
既然您可以将文本添加到只有人类可读的 robots.txt 文件中，为什么不利用这个机会创建独家内容来补充您的营销工作呢？
除了为用户提供娱乐之外，您还可以出于多种原因将复活节彩蛋添加到您的 robots.txt 文件中。
例如，您的 robots.txt 的内容还可以：
- 提高您的品牌知名度
- 展示您的雇主品牌
这可以通过多种方式实现。 你可以：
- 实施您自己的品牌，例如，包括您的徽标或口号。
- 将您提供的服务或产品或您的公司称为工作环境。
- 鼓励访问者申请您的工作机会——这样，您只针对访问您 robots.txt 的选定人群。 您可以特别邀请极客加入您的开发或 SEO 团队！
- 创建相关的原创内容。 它可以在主题上与 robots.txt 文件的目的相匹配，例如，解决机器人问题，包括对它们的幽默引用、搜索引擎或其他主题，如流行文化。 包括这样轻松愉快的内容可以使您的品牌看起来更平易近人和以用户为导向。
选择一种能够以最佳方式展示您的品牌并成为用户如何看待您的品牌的独特资产的方法。
robots.txt 中的复活节彩蛋示例
让我们看一下 robots.txt 文件中的复活节彩蛋示例，看看我们可以在其中找到的各种类型的消息。
谷歌的杀手-robots.txt
Google 的killer-robots.txt 文件是一个令人难忘的复活节彩蛋，是为网站管理员可以使用robots.txt 指令20 周年而创建的。 它已被删除，但仍然是 robots.txt 文件中最著名的复活节彩蛋示例之一。
以下是谷歌收录的文字：
用户代理：T-1000
用户代理：T-800
禁止：/+LarryPage
禁止：/+SergeyBrin
T-800是阿诺德施瓦辛格在著名电影中饰演的终结者。 T-1000是电影《终结者2 》中的机器人刺客。 此文件中包含的指令阻止 T-800 和 T-1000 杀死 Google 创始人拉里佩奇和谢尔盖布林。
耐克
耐克通过在其品牌口号中加入幽默感，将他们的品牌整合到 robots.txt 文件中。 它结合了对搜索引擎的引用：
耐克通过加入他们的标志进一步提升了这些品牌特征：
Cloudflare
Cloudflare 亲自解决机器人问题。 它是这样开始的：
并以机器人响应请求并同意遵循它结束：
YouTube
Youtube 提到了机器人，并提到了它们占主导地位的反乌托邦未来：
玻璃门
Glassdoor 是一个网站，让员工可以查看公司、查看他们提供的薪水、在平台上搜索工作等等。 他们的 robots.txt 文件遵循工作主题。 文件中的指令鼓励那些冒险进入 robots.txt 文件的 SEO 极客申请他们的职位之一：
易趣
Etsy 的信息似乎是意大利语，因为“看在上帝的份上！” 并包括一个形状像……机器人的简单图像，当然：
喊叫
Yelp 引用了著名科幻作家艾萨克·阿西莫夫（Isaac Asimov）和他的机器人三定律。 阿西莫夫在 1942 年的一篇短篇小说中介绍了这些定律，后来将其作为小说的基础。
法律是人类和机器人的道德体系，robots.txt 文件可以被视为正是这样——人类和机器人互动和互惠互利的方式：
到到网
与 Glassdoor 类似，Tripadvisor 重视人们的好奇心，并要求寻找复活节彩蛋的人申请并成为其 SEO 团队的成员：
维基百科
Wikipedia 的 robots.txt 文件包含几条消息——这里只是其中的一部分：
这些指令评论了机器人的行为——因为只有人类才能阅读它们，所以这是一种拿机器人开玩笑的方式。 它展示了维基百科有趣、轻松的一面，这与我们对它的期望——严肃、经过事实核查的文章——形成鲜明对比。
韦伯斯特
Merriam Webster 提醒任何有权访问该文件的人“谨慎编辑”：
这是一个双重提醒，robots.txt 文件中包含的任何指令都应仔细规划并放入文件中——毕竟，错误会阻止机器人正确抓取网站。
尖叫的青蛙
Screaming Frog 包括与公司名称有关的幽默指令：
但它不仅仅是一个有趣的参考。 包括这些指令有助于建立品牌知名度。 提到“保护青蛙团队”可以被视为雇主品牌的一个例子。
在 robots.txt 文件中，我们可以找到加入公司 SEO 团队的邀请：
搜索引擎土地
搜索引擎土地解决了可以阅读以下消息的人——因为机器人不能——认识到可能有非机器人访问他们的 robots.txt 文件。 还提到了太空堡垒卡拉狄加：
人类.txt
互联网应该是关于人类的，而不仅仅是机器人。
如果有机器人的 robots.txt 文件，那么人类也应该有一个。
这是human.txt背后的思想，它是作为 robots.txt 文件的反倡议而创建的。 正如我们在其官方网站上看到的：
“这是一项了解网站背后人员的举措。 这是一个 TXT 文件，其中包含有关为网站建设做出贡献的不同人员的信息。”
.txt 文件不会干扰代码，它是证明网站作者身份的简单方法。
以下是 Google 的human.txt文件包含的文本：
“Google 是由遍布全球许多不同地点的工程师、设计师、研究人员、机器人和其他人组成的庞大团队构建的。 它不断更新，并使用更多的工具和技术构建，我们无法动摇。 如果您想帮助我们，请访问 careers.google.com。”
其他网站也使用它，而且通常更有创意——看看Netflix和Medium 的human.txt 文件。
下一步
既然您已经在 robots.txt 文件中看到了复活节彩蛋的示例，您是否觉得为您的用户留下一个复活节彩蛋而受到启发？
我们做到了！