Robots.txt和ror.xml——它们的功能是确保你允许搜索引擎机器人索引你的网站。在服务器上，需要在网站的根目录下设立两个外部文件：robots.txt和ror.xml。这两个文件会命令性地告诉网络蜘蛛专门的战略性操作性信息。它们的内容和存在非常重要，而它们的位置必须同URL地址中的主要html相同(通常命名为index.html)。