봇 트래픽이란 무엇입니까? 혼란을 일으키는 트래픽 봇을 중지하는 방법

봇 트래픽은 자동화된 봇에서 오는 모든 인터넷 트래픽입니다. 이 봇은 어떤 인간보다 빠르게 작업을 수행할 수 있으므로 매우 효율적이고 널리 사용됩니다.

봇 트래픽에 대해 많은 오해가 있기 때문에 관련된 다양한 로봇과 이것이 웹사이트에 미치는 영향을 살펴보고 있습니다.

수십억 명의 사용자가 매일 온라인에서 서로 상호 작용하는 세상에서 인터넷은 바쁜 곳처럼 보일 수 있습니다. 사용자들이 사진을 좋아하고, 메시지를 리트윗하고, 댓글을 달면서 인터넷의 일일 웹 트래픽 양이 사상 최고를 기록하고 있습니다.

그러나 이 방문자 중 실제로 실제 방문자가 몇 명이나 될까요?

매일 점점 더 많은 봇이 인터넷에 출시되는 상황에서 이것이 웹사이트 소유자와 사용자에게 좋은 일입니까, 아니면 또 다른 성가심입니까?

봇 트래픽이 무엇인지 완전히 이해하려면 먼저 다양한 유형의 자동화된 봇과 그 역할을 살펴봐야 합니다.

봇 트래픽이란 무엇입니까?

봇 트래픽은 사람이 생성하지 않은 모든 온라인 인터넷 트래픽 으로 정의할 수 있습니다. 이것은 일반적으로 사용자가 모든 작업을 수동으로 수행하는 시간을 절약하기 위해 만들어진 일종의 자동화된 스크립트 또는 컴퓨터 프로그램에서 트래픽이 발생함을 의미합니다. 이 봇은 인간의 행동을 모방하려고 하지만 인간이 아닌 것이 가장 확실합니다.

이러한 자동화된 봇은 링크를 클릭하고 이미지를 다운로드하는 것과 같은 간단한 작업을 수행하거나 양식을 긁거나 작성하는 것과 같은 복잡한 작업을 수행할 수 있습니다. 그들은 무엇을 하도록 만들어졌든 일반적으로 대규모로 수행하고 거의 쉬지 않고 실행합니다. Instagram이나 Facebook과 같은 소셜 미디어에 이미지를 게시하고 몇 초 만에 수백 개의 좋아요를 받은 적이 있다면 봇일 가능성이 큽니다.

인터넷의 50% 이상이 봇 트래픽으로 추정되므로 봇은 거의 모든 곳에서 거의 모든 웹사이트에서 발견될 수 있습니다.

다양한 유형의 봇에 대한 아이디어를 제공하기 위해 여기에 좋은 봇과 그들이 하는 일, 나쁜 봇에 대한 간략한 분석이 있습니다.

좋은 봇 트래픽

자동화된 봇 트래픽은 웹마스터로부터 상당히 부정적인 평판을 받지만 실제로는 단지 도움을 주려는 다양한 합법적인 봇이 있습니다.

검색 엔진 봇

좋은 봇 트래픽의 첫 번째이자 가장 확실한 종류는 검색 엔진 봇이어야 합니다. 이러한 인터넷 봇은 가능한 한 웹을 크롤링하고 웹 사이트 소유자가 Google 검색, Yahoo 및 Bing과 같은 검색 엔진에 웹 사이트를 나열할 수 있도록 도와줍니다. 그들의 요청은 자동화되어 봇 트래픽으로 나열될 수 있지만 이러한 봇은 확실히 좋은 봇입니다.

봇 모니터링

웹사이트를 소유하고 있다면 사이트가 건강하고 항상 온라인 상태인지 확인하는 것이 많은 소유자에게 우선순위인 경우가 많습니다. 사용자가 사이트에 항상 액세스할 수 있도록 하기 위해 사이트가 여전히 온라인 상태인지 확인하기 위해 사이트를 자동으로 ping하는 다양한 웹 사이트 모니터링 봇이 있습니다. 문제가 발생하거나 웹사이트가 오프라인 상태가 되면 즉시 알림을 받고 이에 대해 조치를 취할 수 있습니다.

SEO 크롤러

귀하의 사이트를 검색 엔진에서 1위가 되도록 하는 것은 특히 정보가 많지 않을 때 매우 어려울 수 있습니다. 운 좋게도 사이트와 경쟁자를 크롤링하여 귀하의 순위와 순위를 확인함으로써 SEO 노력을 향상시키는 데 도움이 되는 다양한 소프트웨어가 있습니다. 그런 다음 웹마스터는 이 데이터를 사용하여 검색 가시성을 높이고 유기적 웹 트래픽을 개선할 수 있습니다.

저작권 봇

아무도 귀하의 이미지를 훔쳐 자신의 이미지로 사용하지 않았는지 확인하는 것은 어려운 작업이 될 수 있습니다. 계속해서 확인해야 할 웹사이트가 너무 많기 때문에 유일한 현명한 솔루션은 자동화된 봇이 이를 수행하도록 하는 것입니다. 이 웹 로봇은 웹을 크롤링하여 특정 이미지를 스캔하여 아무도 허가 없이 저작권이 있는 콘텐츠를 불법적으로 사용하지 않도록 합니다.

나쁜 봇 트래픽

위에서 언급한 좋은 봇과 달리 나쁜 봇은 웹사이트에 정말 나쁜 일을 하며 무료로 로밍하도록 놔두면 많은 피해를 줄 수 있습니다. 이는 가짜 트래픽 및 스팸 트래픽을 전송하거나 광고 사기와 같은 훨씬 더 파괴적인 것을 보내는 모든 유형의 봇 공격이 될 수 있습니다.

웹 스크레이퍼

웹 스크레이퍼는 이메일 주소 및 연락처 세부 정보와 같은 중요한 정보를 찾기 위해 웹사이트를 긁는 성가신 인터넷 봇입니다. 다른 경우에는 웹사이트에서 콘텐츠와 이미지를 훔쳐 자신의 사이트나 소셜 미디어 계정에서 허가 없이 사용합니다. 데이터를 스크랩하는 데 사용하는 사람 외에는 아무에게도 도움이 되지 않습니다.

스팸 봇

누군가로부터 이상한 이메일이나 블로그 댓글을 받은 적이 있다면 스팸 봇이 남겼을 가능성이 있습니다. 이 봇은 생성된 메시지(종종 말이 안 되는)를 웹사이트 블로그에 남기는 것을 좋아합니다. 그들은 또한 홍보 메시지로 웹사이트 및 스팸 소유자의 연락처 양식을 작성합니다.

디도스 네트워크

가장 오래되고 가장 치명적인 나쁜 봇 중 하나는 DDoS 봇이어야 합니다. 분산 서비스 거부 봇(Distributed Denial of Service Bot)으로 알려진 이 봇은 순진한 피해자 PC에 설치되는 경우가 많으며 특정 웹사이트나 서버를 오프라인으로 전환할 목적으로 특정 웹사이트나 서버를 표적으로 삼는 데 사용됩니다.

DDoS 공격으로 알려진, 과거에는 며칠 동안 오프라인 상태가 된 사이트에 심각한 재정적 피해를 입혔다는 보고가 많이 있었습니다.

취약점 스캐너

이러한 봇은 웹사이트의 서버 로그에서 좋은 봇처럼 보일 수 있지만 불행히도 그렇지 않습니다. 수백만 개의 사이트에서 취약점을 검색하고 작성자에게 다시 보고하는 다양한 악성 봇이 있습니다. 웹사이트 소유자에게 정보를 제공하는 정품 봇과 달리 이러한 악성 봇은 한 사람에게 보고하도록 특별히 제작된 것으로, 정보를 판매하거나 웹사이트를 해킹하는 데 사용할 가능성이 가장 높습니다.

사기 봇 클릭

많은 사람들에게 알려지지 않았지만 특히 유료 광고를 대상으로 하는 엄청난 양의 악성 봇 트래픽을 생성하는 정교한 봇이 많이 있습니다. 원치 않는 웹사이트 트래픽을 생성하는 로봇과 달리 이러한 봇은 광고 사기라는 행위에 관여합니다.

유료 광고를 부정하게 클릭하는 책임이 있는 이 인적 트래픽이 아닌 트래픽은 광고주에게 매년 수십억 달러의 비용을 발생시키고 종종 합법적인 트래픽으로 위장합니다. 우수한 봇 탐지 소프트웨어가 없으면 이 봇 활동으로 인해 광고주가 광고 예산의 상당 부분을 지출할 수 있습니다.

트래픽 봇이 웹사이트에 어떻게 나쁜 영향을 미칠 수 있습니까?

이제 다양한 유형의 좋은 봇과 악성 봇에 대해 알게 되었습니다. 봇 트래픽이 사이트에 어떻게 나쁜 영향을 미칠 수 있습니까?

봇에 대해 이해해야 할 중요한 점은 대부분의 스크립트와 프로그램이 한 작업을 여러 번 수행하도록 설계되었다는 것입니다. 봇의 제작자는 분명히 가능한 한 빨리 작업을 완료하기를 원하지만 이는 사이트에 많은 문제를 일으킬 수 있습니다.

가장 큰 문제는 로봇이 지속적으로 사이트에서 정보를 요청하는 경우 전체 속도가 느려질 수 있다는 것입니다. 즉, 사이트에 액세스하는 모든 사람이 사이트에 액세스하는 속도가 느려지므로 예를 들어 온라인 상점인 경우 심각한 문제가 발생할 수 있습니다.

일관된 스크래핑 요청은 이탈률과 같은 중요한 KPI 및 Google Analytics 데이터를 왜곡할 수도 있습니다.

극단적인 경우 봇 트래픽이 너무 많으면 실제로 전체 웹사이트를 오프라인 상태로 만들 수 있으며 이는 분명히 좋지 않습니다. 그러나 고맙게도 이것은 극한 상황에서만 발생하며 대부분의 경우 웹 사이트에서 봇 트래픽의 영향은 매우 미묘합니다.

웹사이트에 봇 트래픽이 많으면 일반적으로 다음과 같은 문제가 발생합니다.

• 더 많은 페이지 조회수
• 더 높은 대역폭 사용
• 잘못된 Google 애널리틱스
• 왜곡된 마케팅 데이터 품질
• 전환수 감소
• 정크 메일
• 더 긴 로드 시간
• 더 높은 서버 비용
• 이탈률 증가
• 데이터 센터에 대한 부담 증가

봇 트래픽을 감지하는 방법

웹사이트가 봇 트래픽의 영향을 받고 있는지 확인하려면 Google Analytics를 시작하는 것이 가장 좋습니다.

Google Analytics에서는 페이지에 머문 평균 시간, 이탈률, 페이지 조회수 및 기타 분석 데이터와 같은 모든 필수 사이트 측정항목을 볼 수 있습니다. 이 정보를 사용하여 사이트의 분석 데이터가 봇 트래픽에 의해 왜곡되었는지 여부와 어느 정도 왜곡되었는지 신속하게 결정할 수 있습니다.

Google 웹로그 분석에서는 사용자의 IP 주소를 볼 수 없으므로 이러한 측정항목이 의미가 있는지 검토해야 합니다. 사이트에 머문 시간이 매우 낮다는 것은 대부분의 방문자가 봇일 수 있다는 분명한 지표입니다. 인터넷 봇은 웹 페이지를 떠나 다음 대상으로 이동하기 전에 웹 페이지를 크롤링하는 데 몇 초 밖에 걸리지 않습니다.

Google Analytics에서 확인할 수 있는 또 다른 장소는 추천 스팸을 받지 않았는지 확인하는 추천 섹션입니다. 많은 회사에서 웹사이트 URL을 스팸으로 처리하는 사용자 지정 봇을 사용하여 다른 사이트를 대상으로 합니다.

웹마스터가 Google 웹로그 분석에서 추천 트래픽을 확인할 때 웹사이트 이름을 보고 방문하려는 경향이 있습니다. 이것이 조잡하게 들리지만, 그것은 사이트 방문자를 상당히 많이 생성하는 데 도움이 될 수 있습니다(주로 호기심에서!). 웹 사이트에 해를 끼치는 것처럼 들리지 않을 수도 있지만 실제로는 모든 메트릭을 왜곡하고 대역폭을 낭비하며 일반적으로 서버를 막히게 합니다.

봇 트래픽을 중지하는 방법

나쁜 봇 트래픽을 필터링하고 자동화된 로봇이 웹사이트에 해를 끼치는 것을 막는 것은 완전히 가능하지만 솔루션은 사이트에 영향을 미치는 트래픽 소스의 유형에 따라 다릅니다. 모든 봇 트래픽이 나쁜 것은 아니며 검색 엔진 크롤러와 같은 봇을 차단하는 것은 좋은 생각이 아닙니다.

웹 사이트가 로봇, 취약성 스캐너 및 자동화된 트래픽 봇에 의해 긁히는 경향이 있는 경우 방화벽이나 보안 문자의 형태로 일부 봇 필터링이 필요할 가능성이 있습니다. 이를 수행하는 가장 좋은 방법은 CloudFlare라는 웹 사이트에 무료 봇 필터 서비스를 설치하는 것입니다.

CDN(Content Delivery Network)이 되는 것 외에도 CloudFlare는 웹사이트와 사용자 간의 애플리케이션 방화벽 역할을 합니다. 즉, 합법적인 사용자만 웹사이트에 액세스할 수 있습니다. 의심스러운 사용자는 지나치지 않고 사이트에 액세스할 수 없습니다. 즉, 대역폭을 낭비하거나 분석을 망치거나 콘텐츠를 도난당하지 않습니다.

봇을 차단하는 또 다른 유용한 방법은 웹사이트의 robots txt 파일을 사용자 에이전트 또는 알려진 봇의 실제 이름으로 채워 사용하는 것입니다. 이 편리한 가이드의 robots txt 파일에서 로봇 차단에 대해 자세히 알아볼 수 있습니다. 물론 이것은 로봇이 대부분의 정품 봇이 하는 robots.txt 파일을 존중하는 경우에만 작동합니다. 성가신 나쁜 봇을 제거하려는 경우 위에서 언급한 CloudFlare 옵션을 사용하는 것이 가장 좋습니다.

그러나 광고에 대한 사기 및 반복적인 클릭과 같은 다른 형태의 봇으로부터 웹사이트를 보호하려면 다른 것이 필요합니다.

나쁜 봇 트래픽으로부터 광고 보호

Google에서 클릭당 지불 광고를 실행하는 사람은 봇 트래픽의 대상이 됩니다. Google과 그 결과를 끊임없이 스크랩하는 크롤러가 너무 많기 때문에 이러한 봇이 광고를 클릭하고 분석 데이터와 예산을 망치는 것은 시간 문제일 뿐입니다.

PPC Protect는 실시간으로 클릭당 지불 광고에 대한 클릭 사기를 식별하는 자동화된 광고 사기 탐지 도구입니다.

모든 클릭에서 많은 데이터를 수집함으로써 소프트웨어는 IP 주소가 의심스러운 때를 감지하고 해당 특정 사용자가 앞으로 귀하의 광고를 보지 못하도록 차단할 수 있습니다.

이는 PPC 광고를 찾는 Google 및 기타 검색 엔진을 크롤링하는 SEO 도구의 봇 트래픽을 방지하는 데 도움이 됩니다. 이러한 도구가 많이 있으므로 광고 및 기타 정보를 찾기 위해 검색 결과를 크롤링하는 횟수에 놀랄 것입니다.

원치 않는 봇 트래픽 및 스크래퍼로부터 광고를 보호하려면 아래를 클릭하여 당사 서비스 14일 무료 평가판에 등록하십시오.