非常精确地管理其机器的运行，以尽可能快速高效地处理来自 的尽可能多的有价值数据。当然，从定位的角度来看，这涉及到可能会影响较大页面所有者的限制。 该研究有 , 个字符，当然是英文的，因此，为了消除时间和语言障碍，我们准备了最重要的结论： - 少于 , 个地址的页面不必 担心索引机器人所花费的时间。 – 默认情况下，每个新域都被访问相同的次数，只有这样索引率才会根据页面状态进行调整。 – 访问频率因服务器响应时间短和 错误的发生而降低。
爬虫尝试更频繁地访问热门地址。 – 和 文件也 挪威电话号码表 会消耗爬虫时间。 – 站点地图中提供的地址比爬虫本身检测到的子页面更经常被索引。 – 地址结构的任何重大变化，例如 证书的实施，都会导致机器人活动暂时大幅增加。 – 包含低质量内容的子页面甚至整个域的索引频率较低。 – 建议不要在导航链接中使用 =” ” 属性。相反，更好的解决方案是 元标记和 命令。 – 索引机器人验证规范标签的内容，花时间检查给定地址是否实际上是重复的。
爬虫最多遵循 个连续的 重定向。允许索引机器人使用地址中的参数（例如类别过滤器）和会话标识符复制子页面，以清空和垃圾邮件子页面会消耗索引机器人的资源，并导致它们可能无法索引其他更重要的子页面。 最有趣的话题之一是始终否认给定域的索引变化与影响该域的排名变化之间存在任何关联。我们清楚地听到，更受欢迎的页面被索引的频率更高，而质量较低的页面则更少。正如 指出的那样，可以从中得出一个非常明确的结论： 谷歌究竟使用什么来确定受欢迎程度。