사용할 수 있는 SEO 뉴스: OpenAI의 웹 크롤러인 GPTBot 소개
게시 됨: 2023-08-14대부분의 ChatGPT 사용자가 원하는 것이 있다면 최신의 보다 정확한 인공 지능 또는 AI 콘텐츠일 것입니다. 글쎄, OpenAI는 이것을 실현하기 위해 열심히 일했습니다. 최근에 이 기술 대기업은 자체 웹 크롤러에 대한 문서를 발표했습니다.
GPTBot이라고 하는 OpenAI는 이 크롤러를 사용하여 "AI 모델이 더 정확해지고 일반 기능과 안전성을 향상"하도록 도울 계획입니다.
이는 유료 콘텐츠와 유해한 텍스트 생성을 우회하여 개인 정보 보호가 우려되는 가운데입니다. 이 문제를 해결하기 위해 OpenAI는 이러한 유형의 콘텐츠를 크롤링하지 않도록 GPTBot을 필터링합니다. (그들은 이것이 어떻게 작동하는지 공개하지 않았지만.)
GPTBot은 robots.txt 파일의 이 사용자 에이전트 및 문자열을 사용하여 웹사이트 콘텐츠에 액세스할 수 있습니다.
사용자 에이전트 토큰: GPTBot
전체 사용자 에이전트 문자열: Mozilla/5.0 AppleWebKit/537.36 ( Gecko 와 같은 KHTML, 호환 가능, GPTBot/1.0, +https://openai.com/gptbot)
그러나 GPTBot이 콘텐츠를 스누핑하지 않도록 하려면 robots.txt 파일에 다음 명령을 입력할 수도 있습니다.
사용자 에이전트: GPTBot
금지: /
GPTBot이 웹 사이트에 액세스하는 방법을 사용자 지정할 수도 있습니다. 방법은 다음과 같습니다.
사용자 에이전트: GPTBot
허용: /directory-1/
금지: /directory-2/
이 명령을 사용하면 GPTBot이 웹사이트의 특정 부분에만 액세스할 수 있습니다.
웹사이트에 대한 모든 호출은 별도의 문서 에 나열된 IP 주소 OpenAI에서 이루어집니다 . 우리는 GPTBot이 인터넷에서 더 많은 웹사이트를 크롤링함에 따라 이러한 IP 주소의 수가 증가할 것이라고 믿습니다. 관심이 있으시면 서면으로 나열된 IP 주소는 다음과 같습니다.
- 20.15.240.64/28
- 20.15.240.80/28
- 20.15.240.96/28
- 20.15.240.176/28
- 20.15.241.0/28
- 20.15.242.128/28
- 20.15.242.144/28
- 20.15.242.192/28
- 40.83.2.64/28
그렇다면 GPTBot에 대한 액세스를 허용하면 어떤 이점이 있습니까? 더 좋고 안전한 AI 모델( GPT-5는 이미 작업 중임 ) 을 제외하고 콘텐츠를 OpenAI의 훈련장으로 삼아도 아무런 이점이 없습니다. 그러나 AI 콘텐츠를 활용하고 더 정확하고 강력하기를 원한다면 이것은 좋은 소식이 될 것입니다.
Google이 최근 AI 교육을 위해 공개적으로 액세스할 수 있는 데이터를 사용하려는 움직임 으로 인해 OpenAI는 경쟁 우위가 사라지는 것을 지켜보지 않을 것입니다.
물론 이러한 기술 회사가 온라인 콘텐츠의 윤리 및 책임 있는 사용에 대한 조사를 피할 수 있다는 보장은 없습니다. 그러나 우리는 AI가 어디까지 발전하고 검색 엔진 최적화(SEO)가 이러한 발전을 통해 어떤 이점을 얻을 수 있는지 기대하고 있습니다.
여기에서 전체 GPTBot 설명서를 읽으십시오.
사용할 수 있는 더 많은 SEO 뉴스
Google, 새롭고 더 쉽고 더 편리한 순위 프레임워크 발표 : 지속적이고 복잡한 알고리즘 업데이트 에 지쳤다면 금방 멈추지 않을 것입니다.그러나 이번에 Google은 알고리즘을 대대적으로 점검하지 않고도 더 나은 검색 순위 업데이트를 약속합니다. Google 연구원은 최근 TW-BERT라는 새로운 가중치 프레임워크를 자세히 설명하는 논문을 발표했습니다 . 이 프레임워크를 사용하면 쿼리 관련 문서 및 쿼리 확장을 더 쉽게 찾을 수 있습니다. 그들의 연구 결과를 바탕으로 TW-BERT는 통계 기반 검색 방법의 효율성과 보다 상황 지향적인 심층 학습 모델을 결합합니다. 이러한 혁신을 통해 Google은 검색 쿼리에 더 관련성 높은 결과를 가져올 수 있습니다. 또한 프레임워크는 배포하기 쉬우므로 Google에서 번거로움 없이 시스템에 드롭할 수 있습니다. 이것이 검색 순위에 어떤 영향을 미치는지는 두고 봐야 합니다. 사실 Google이 앞으로 이를 사용할 계획인지는 아직 알 수 없습니다. 다음은 검색 엔진 저널 의 전체 기사입니다 . 전체 연구 논문을 보려면 여기 를 클릭하십시오 .
애완 동물 동행 허용?이 새로운 GBP 속성으로 그 질문에 답하십시오 : Twitter 사용자인 Claudia Tomina는 Google 비즈니스 프로필 내에서 멋진 새 기능을 공유했습니다 . "Pets"라고 하는 이 속성을 사용하면 애완 동물 정책을 표시할 수 있습니다. Tomina의 스크린샷은 반려견이 시설 내부 및 외부에 허용되는지 여부만 표시할 수 있음을 보여줍니다. 고양이, 닭 및 기타 비인간 동반자에 대한 별도의 정책이 있는 경우 또 다른 GBP 업데이트를 주의해야 합니다. Tomina는 또한 해당 정보를 공유하면 애완 동물 정책이 어떻게 표시되는지 공유했습니다. 지난 몇 주 동안 몇 가지 유용한 GBP 업데이트를 다루었습니다. ( 여기 , 여기 및 여기 ) 우리는 이것이 사람들이 실제 비즈니스와 가짜 비즈니스를 구별하도록 돕는 것과 관련이 있다고 추측합니다. 검색 엔진 원탁회의 에서 자세한 내용을 읽어보십시오 .
Google이 AI Chatbot 콘텐츠를 인덱싱하지 못하도록 차단하는 방법은 다음과 같습니다 . AI Chatbot 때문에 Google이 귀하의 순위를 낮출까 걱정되시나요?당신은 혼자가 아닙니다. Google Search Advocate John Mueller는 이에 대한 PSA를 게시했습니다 . 그는 AI 챗봇이 생성한 콘텐츠를 Google이 인덱싱하지 못하도록 차단하는 방법을 공유합니다. (1) 로봇 iframe 사용, (2) 로봇 JavaScript 파일 또는 리소스 사용 또는 (3) data-nosnippet 사용. 누군가 Google의 웹 크롤러인 Googlebot이 이 데이터를 가져오지 않아야 한다고 지적했습니다. Mueller는 "일부 사이트는 이상한 방식으로 페이지를 만듭니다… 상상할 수 있듯이 결과는 약간… 모두에게 어색할 수 있습니다."라고대답했습니다. 이 이야기에 대한 자세한 내용은 검색 엔진 저널 에서 이 기사를 읽어보십시오 .
오래된 콘텐츠를 삭제하면 안 됩니다 – Google : 최근 Gizmodo에서 CNET이 검색 순위를 높이기 위해 대규모 콘텐츠 가지치기를 공개 하면서 SEO 세계가 들썩이고 있습니다 .기즈모도에 따르면“7월 하반기 이전에 회사에서 소량의 기사를 삭제했지만 이후 속도가 빨라졌다”고 한다.내부 메모 에서 CNET은 이것이 도메인 권한을 향상시키기 위한 주기적인 전략적 이니셔티브라고 주장합니다. Google 검색 연락 담당자는 이에 대해 다음과 같이 트윗했습니다.그럴 일이 아니야!”기본적으로 나이 때문에 오래된 콘텐츠를 삭제해서는 안 됩니다. 대신 콘텐츠의 품질을 살펴봐야 합니다. 여전히 도움이 되나요? 여전히 독자에게 가치를 제공합니까? 물론 일부 오래된 콘텐츠는 더 이상 유익하지 않을 수 있지만 일부는 유익합니다. 따라서 Google의 순위 알고리즘은 콘텐츠의 나이를 가치 지표로 보지 않습니다. 따라서 콘텐츠가 여전히 관련성이 있고 Google의 EEAT 가이드라인 및 기타 모범 사례를 준수하는지 확인하기 위해 콘텐츠를 평가하는 것이 가장 좋습니다. 자세한 내용은 이 검색 엔진 랜드 기사를 읽으십시오.
이제 Moz로 브랜드 권위를 측정할 수 있습니다 . 온라인 공간에서 브랜드가 얼마나 강력한지 궁금한 적이 있습니까?Moz는 Brand Authority라는 새로운 메트릭을 엿볼 수 있도록 도와줍니다. 2023년 8월 7일 베타 테스트를 위해 출시된 Brand Authority는 "SEO를 넘어 비전을 확장하는 데 도움이 될 수 있습니다." 즉, 이제 PR과 같은 다른 캠페인이 검색 순위보다 브랜드에 어떤 영향을 미치는지 정량화할 수 있습니다. Moz의 마케팅 과학자인 Dr. Pete Meyers에 따르면"브랜드 권위를 통해 우리는 마침내 브랜드가 얼마나 중요한지 이해하고 그 힘을 작동시킬 수 있습니다."이것이 웹 소유자에게 유용한 지표가 될까요? 기다려 보겠습니다. Search Engine Land 에서 전문을 읽어보십시오 .
편집자 주: "사용할 수 있는 SEO 뉴스"는 매주 월요일 아침SEOblog.com에만 게시되는 주간 블로그 게시물로전 세계의 모든 주요 SEO 뉴스를 모았습니다.우리의 목표는SEOblog.com을SEO 뉴스, 교육을 찾고 포괄적인SEO 대행사 디렉토리를통해 SEO 전문가를 고용하는 모든 사람을 위한 원스톱 상점으로만드는 것입니다.