什么是机器人流量？ 如何阻止造成严重破坏的交通机器人

机器人流量是来自自动化机器人的任何互联网流量。 这些机器人可以比任何人更快地执行任务，使它们非常高效和流行。

由于对机器人流量有如此多的误解，我们正在研究所涉及的不同机器人及其对您网站的意义。

在一个每天都有数十亿用户在线互动的世界中，互联网似乎是一个忙碌的地方。 随着用户喜欢图片、转发消息和点赞评论，互联网上的每日网络流量达到历史最高水平。

但是这些访客中有多少是真实的呢？

随着每天都有越来越多的机器人进入互联网，这对网站所有者和用户来说是一件好事，还是只是另一个烦恼？

为了充分了解什么是机器人流量，我们必须首先探索不同类型的自动化机器人以及它们的作用。

什么是机器人流量？

机器人流量可以定义为任何非人类产生的在线互联网流量。 这通常意味着流量来自某种自动化脚本或计算机程序，这些脚本或计算机程序旨在为用户节省手动完成所有任务的时间。 尽管这些机器人试图模仿人类行为，但它们肯定不是人类。

这些自动化机器人可以做一些简单的事情，比如点击链接和下载图片，或者做一些复杂的工作，比如抓取或填写表格。 无论他们被要求做什么，他们通常都会大规模地进行，并且几乎不间断地运行。 如果您曾经在 Instagram 或 Facebook 等社交媒体上发布过图片并在几秒钟内收到数百个赞，那么它们很可能是机器人。

估计超过 50% 的互联网流量是机器人流量，很明显机器人几乎无处不在，几乎可以在每个网站上找到。

为了让您了解现有的不同类型的机器人，以下是好的机器人及其功能以及不良机器人的快速细分。

良好的机器人流量

尽管自动机器人流量确实从网站管理员那里获得了相当负面的声誉，但实际上有一系列合法的机器人只是试图提供帮助。

搜索引擎机器人

第一种也是最明显的好机器人流量必须是搜索引擎机器人。 这些互联网机器人尽可能多地抓取网络，并帮助网站所有者将他们的网站列入搜索引擎，例如 Google 搜索、雅虎和必应。 他们的请求可能会被自动化并列为机器人流量，但这些机器人肯定是好机器人。

监控机器人

如果您拥有一个网站，那么确保您的网站健康并且始终在线通常是许多所有者的首要任务。 为了帮助用户确保他们的网站始终可以访问，有一系列网站监控机器人可以自动 ping 您的网站以确保它仍然在线。 如果出现任何问题，或者您的网站确实脱机，那么您将立即收到通知并能够对其采取措施。

搜索引擎优化爬虫

试图让您的网站在搜索引擎上排名第一是非常困难的，尤其是当您没有大量信息时。 幸运的是，有一系列软件可以通过抓取您的网站和竞争对手来查看您的排名和排名，从而帮助改善您的 SEO 工作。 然后，网站管理员可以使用这些数据来提高他们的搜索可见性并改善他们的自然网络流量。

版权机器人

确保没有人窃取您的图像并将其用作自己的图像可能是一项具有挑战性的任务。 有这么多网站需要不断检查，唯一明智的解决方案是让自动化机器人来完成。 这些网络机器人抓取网络扫描特定图像，以确保没有人未经许可非法使用任何受版权保护的内容。

糟糕的机器人流量

与我们上面刚刚提到的好机器人不同，坏机器人会对您的网站做非常糟糕的事情，如果任其自由漫游，可能会造成很多损害。 这可以是任何类型的机器人攻击，来自发送虚假流量和垃圾邮件流量或更具破坏性的东西，如广告欺诈。

网络爬虫

网络抓取工具是令人讨厌的互联网机器人，它们抓取网站以寻找有价值的信息，例如电子邮件地址和联系方式。 在其他情况下，他们会从网站上窃取内容和图像，并在未经许可的情况下在自己的网站或社交媒体帐户上使用它们。 除了使用它来抓取数据的人之外，它们不会使任何人受益。

垃圾邮件机器人

如果您曾经收到过来自某人的奇怪电子邮件或博客评论，那么很可能是垃圾邮件机器人留下了它。 这些机器人喜欢在网站的博客上留下生成的消息（通常毫无意义）。 他们还在网站和垃圾邮件所有者上填写联系表格，并附上促销信息。

DDoS 网络

DDoS bot 是最古老和最致命的恶意机器人之一。 这些被称为分布式拒绝服务机器人的机器人通常安装在毫无戒心的受害者 PC 上，用于定位特定网站或服务器，目的是使它们脱机。

DDoS 攻击被称为 DDoS 攻击，过去有很多报道称它们对最终离线数天的网站造成了严重的经济损失。

漏洞扫描器

从网站的服务器日志来看，这些机器人可能看起来是不错的机器人，但不幸的是，事实并非如此。 有一系列恶意机器人会扫描数百万个站点的漏洞并将其报告给其创建者。 与会通知网站所有者的真正机器人不同，这些恶意机器人专门用于向一个人报告，然后该人很可能会出售信息或自己使用它来入侵网站。

点击欺诈机器人

许多人不知道，有许多复杂的机器人会产生大量专门针对付费广告的恶意机器人流量。 与产生不需要的网站流量的机器人不同，这些机器人从事称为广告欺诈的活动。

负责欺诈性点击付费广告，这种非人力流量每年使广告商损失数十亿美元，并且经常伪装成合法流量。 如果没有好的机器人检测软件，这种机器人活动可能会花费广告商很大一部分广告预算。

流量机器人如何对网站不利？

现在您了解了不同类型的好和恶意机器人，机器人流量如何对您的网站不利？

了解机器人的重要一点是，大多数脚本和程序旨在多次完成一项工作。 机器人的创建者显然希望尽快完成工作，但这会给您的网站带来许多问题。

最大的问题是，如果机器人不断从您的站点请求信息，那么这可能会导致整体速度变慢。 这意味着该站点对于每个访问它的人来说都会很慢，例如，如果您是一家在线商店，这可能会导致大量问题。

一致的抓取请求还可能导致重要的 KPI 和 Google Analytics 数据（例如跳出率）出现偏差。

在极端情况下，过多的机器人流量实际上会使您的整个网站脱机，这显然是不好的。 但值得庆幸的是，这只是在极端情况下，大多数时候，机器人流量对您网站的影响非常微妙。

您的网站上有大量机器人流量通常会导致以下情况：

• 更多页面浏览量
• 更高的带宽使用率
• 错误的谷歌分析
• 营销数据质量偏差
• 转化次数减少
• 垃圾邮件
• 更长的加载时间
• 服务器成本更高
• 跳出率增加
• 数据中心压力增加

如何检测机器人流量

如果您想检查您的网站是否受到机器人流量的影响，那么最好的起点是 Google Analytics。

在 Google Analytics 中，您将能够查看所有基本站点指标，例如页面平均停留时间、跳出率、页面浏览量和其他分析数据。 使用此信息，您可以快速确定您网站的分析数据是否受到机器人流量的影响以及程度如何。

由于您在 Google Analytics 中看不到任何用户的 IP 地址，因此您必须查看这些指标以确定它们是否有意义。 非常低的站点停留时间指标清楚地表明您的大多数访问者可能是机器人。 在网页离开并移动到下一个目标之前，互联网机器人只需要几秒钟就可以抓取网页。

在 Google Analytics 中检查的另一个地方是推荐部分，以检查您没有收到任何推荐垃圾邮件。 许多公司使用自定义机器人来定位其他网站，这些机器人会向其网站 URL 发送垃圾邮件。

当网站管理员在 Google Analytics 中检查他们的推荐流量时，他们会看到网站的名称并倾向于访问。 尽管这听起来很粗糙，但它可以帮助网站吸引大量访问者（主要是出于好奇！）。 听起来它们可能不会对您的网站造成伤害，但实际上它们正在歪曲您的所有指标，浪费您的带宽，并总体上堵塞您的服务器。

如何阻止机器人流量

过滤不良机器人流量并阻止自动机器人损害您的网站是完全可能的，但解决方案将取决于影响您网站的流量来源的类型。 请记住，并非所有机器人流量都不好，阻止搜索引擎爬虫等机器人确实不是一个好主意！

如果您的网站容易被机器人、漏洞扫描器和自动流量机器人抓取，那么您很可能需要一些以防火墙或 CAPTCHA 形式进行的机器人过滤。 最好的方法是在您的网站上安装一个名为 CloudFlare 的免费机器人过滤服务。

除了作为内容交付网络 (CDN) 之外，CloudFlare 还充当网站和用户之间的应用程序防火墙，这意味着它只会允许合法用户访问您的网站。 任何可疑用户都无法通过，也无法访问您的网站。 这意味着他们不会浪费您的带宽、破坏您的分析或窃取您的内容。

阻止漫游器的另一种有用方法是使用您网站的漫游器 txt 文件，方法是在其中填充用户代理或已知漫游器的实际名称。 您可以在这个方便的指南中的 robots txt 文件中了解有关阻止机器人的更多信息。 当然，这只有在机器人尊重 robots.txt 文件时才有效，大多数真正的机器人都会这样做。 如果你想摆脱一个讨厌的坏机器人，那么使用上面提到的 CloudFlare 选项是最好的。

但是，如果您希望保护您的网站免受其他形式的机器人（例如对您的广告的欺诈和重复点击）的侵害，那么您将需要其他一些东西。

保护您的广告免受恶意机器人流量的影响

任何在 Google 上投放按点击付费广告的人都会受到机器人流量的影响。 有这么多爬虫不断地抓取 Google 及其结果，这些机器人点击您的广告并破坏您的分析数据和预算只是时间问题。

PPC Protect 是一种自动广告欺诈检测工具，可实时识别您的按点击付费广告中的任何点击欺诈。

通过从每次点击中收集大量数据，该软件将能够检测 IP 地址是否可疑，并阻止该特定用户将来看到您的广告。

这有助于对抗来自 SEO 工具的机器人流量，这些 SEO 工具会抓取 Google 和其他搜索引擎以寻找 PPC 广告。 有了大量这样的工具，您会惊讶于他们有多少次抓取搜索结果以寻找广告和其他信息。

为了保护您的广告免受有害机器人流量和爬虫之类的攻击，请单击下方以注册我们服务的 14 天免费试用版。