Новости SEO, которые вы можете использовать: представляем GPTBot, веб-краулер OpenAI

Если есть что-то, чего хочет большинство пользователей ChatGPT, так это современный и более точный контент искусственного интеллекта или ИИ. Что ж, OpenAI усердно работал над тем, чтобы это произошло. Совсем недавно технический гигант выпустил документацию о собственном веб-сканере.

OpenAI, получивший название GPTBot, планирует использовать этот поисковый робот, чтобы помочь«моделям ИИ стать более точными и улучшить их общие возможности и безопасность».

Это связано с опасениями по поводу личной конфиденциальности, обхода платного контента и генерации вредоносного текста. Чтобы решить эту проблему, OpenAI гарантирует, что GPTBot фильтруется, чтобы избежать сканирования контента этих типов. (Хотя они не разглашают, как это работает.)

GPTBot может получить доступ к содержимому вашего веб-сайта с помощью этого пользовательского агента и строки в файле robots.txt:

Токен пользовательского агента : GPTBot

Полная строка пользовательского агента : Mozilla/5.0 AppleWebKit/537.36 (KHTML, как Gecko; совместимо; GPTBot/1.0; +https://openai.com/gptbot)

Однако, если вы не хотите, чтобы GPTBot отслеживал ваш контент, вы также можете ввести эту команду в файл robots.txt:

Агент пользователя: GPTBot

Запретить: /

Вы также можете настроить, как GPTBot может получить доступ к вашему веб-сайту. Вот как это сделать:

Агент пользователя: GPTBot

Разрешить: /каталог-1/

Запретить: /каталог-2/

Использование этой команды позволит GPTBot получить доступ только к определенным частям вашего сайта.

Все обращения к веб-сайтам будут осуществляться с IP-адресов OpenAI, перечисленных в его отдельной документации . Мы полагаем, что количество этих IP-адресов будет расти по мере того, как GPTBot сканирует все больше веб-сайтов в Интернете. Если вам интересно, вот IP-адреса, указанные на момент написания:

• 20.15.240.64/28
• 20.15.240.80/28
• 20.15.240.96/28
• 20.15.240.176/28
• 20.15.241.0/28
• 20.15.242.128/28
• 20.15.242.144/28
• 20.15.242.192/28
• 40.83.2.64/28

Итак, каковы преимущества разрешения доступа к GPTBot? Если не считать более совершенных и безопасных моделей ИИ — GPT-5 уже находится в разработке — на самом деле нет никакой пользы в том, чтобы ваш контент стал тренировочной площадкой OpenAI. Но это должно быть хорошей новостью, если вы используете контент ИИ и хотите, чтобы он был более точным и надежным.

С недавними шагами Google по использованию общедоступных данных для обучения ИИ, OpenAI не будет стоять в стороне и смотреть, как его конкурентное преимущество съедается.

Конечно, нет никакой гарантии, что эти технологические компании избегут проверки этики и ответственного использования онлайн-контента. Но мы рады видеть, как далеко зайдет ИИ и какую выгоду от этих достижений получит поисковая оптимизация (SEO).

Прочитайте полную документацию по GPTBot здесь.

Другие новости SEO, которые вы можете использовать

Google объявляет о новой, более простой и удобной системе ранжирования : если вы устали от постоянных и сложных обновлений алгоритма , это не скоро остановится.Но на этот раз Google обещает более качественные обновления поискового рейтинга без существенного пересмотра своих алгоритмов. Исследователи Google недавно опубликовали статью с подробным описанием новой системы взвешивания под названием TW-BERT. Эта структура упрощает поиск релевантных для запроса документов и расширение запроса. Основываясь на своих выводах, TW-BERT сочетает в себе эффективность статистических методов поиска с более контекстно-ориентированными моделями глубокого обучения. Этот прорыв позволяет Google предоставлять более релевантные результаты поисковым запросам. Кроме того, фреймворк легко развернуть, а это означает, что Google может без проблем добавить его в свою систему. Как это повлияет на ранжирование в поиске, пока неизвестно. На самом деле, нам еще предстоит узнать, планирует ли Google использовать его в будущем. Вот полная история из Search Engine Journal . Чтобы просмотреть всю исследовательскую работу, нажмите здесь .

Домашние животные разрешены?Ответьте на этот вопрос с помощью этого нового атрибута GBP : пользователь Твиттера Клаудия Томина поделилась новой удобной функцией в бизнес-профилях Google. Этот атрибут, называемый «Домашние животные», позволяет отображать политику домашних животных. Скриншот Томины показывает, что вы можете только указать, разрешены ли собаки внутри и снаружи вашего заведения. Если у вас есть отдельные политики для кошек, кур и других нечеловеческих компаньонов, вам придется следить за другим обновлением GBP. Томина также поделилась тем, как будет отображаться ваша политика в отношении домашних животных после того, как вы поделитесь этой информацией. Мы рассмотрели несколько полезных обновлений GBP за последние несколько недель. ( Здесь , здесь и здесь ) Мы предполагаем, что это связано с тем, чтобы помочь людям отличить реальный бизнес от поддельного. Подробнее читайте в Круглом столе поисковых систем .

Вот как вы можете запретить Google индексировать содержимое чат-бота с искусственным интеллектом : вы беспокоитесь, что Google понизит ваш рейтинг из-за вашего чат-бота с искусственным интеллектом?Вы не одиноки, и Google Search Advocate Джон Мюллер разместил об этом социальную рекламу . Он рассказывает, как вы можете запретить Google индексировать контент, созданный вашим чат-ботом с искусственным интеллектом: (1) использовать роботизированный iframe, (2) использовать роботизированный файл или ресурс JavaScript или (3) использовать data-nosnippet. Кто-то указал, что Googlebot, поисковый робот Google, не должен получать эти данные. Мюллер ответил, что «некоторые сайты создают страницы странным образом… Как вы понимаете, результаты могут быть немного… неудобными для всех».Чтобы узнать больше об этой истории, прочитайте эту статью из Search Engine Journal .

Вы не должны удалять старый контент – Google : Мир SEO гудит от недавнего сообщения Gizmodo о массовом сокращении контента CNET для улучшения его поискового рейтинга.По словам Gizmodo,«компания удаляла небольшие партии статей до второй половины июля, но затем темпы увеличились».Во внутреннем меморандуме CNET утверждает, что это периодическая стратегическая инициатива по повышению авторитета домена. Представитель службы поиска Google также написал об этом в Твиттере :«Вы удаляете контент со своего сайта, потому что каким-то образом считаете, что Google не любит «старый» контент?Это не дело!» По сути, вы не должны просто удалять старый контент только из-за его возраста. Вместо этого вы должны смотреть на качество контента. Это все еще полезно? Представляет ли он по-прежнему ценность для ваших читателей? Конечно, какой-то старый контент уже может быть бесполезен, но есть и такой. Поэтому алгоритмы ранжирования Google не будут рассматривать возраст вашего контента как показатель его ценности. Поэтому лучше всего оценить свой контент, чтобы убедиться, что он по-прежнему актуален и соответствует рекомендациям Google EEAT и другим передовым методам. Прочтите эту статью о поисковой системе для получения дополнительной информации.

Теперь вы можете измерить авторитет бренда с помощью Moz : Вам когда-нибудь было интересно, насколько силен ваш бренд в онлайн-пространстве?Moz поможет вам взглянуть на их новую метрику под названием «Авторитет бренда». Brand Authority , запущенный для бета-тестирования 7 августа 2023 года, «может помочь вам расширить свое видение за пределы SEO», что означает, что теперь вы можете количественно оценить, как другие ваши кампании, такие как PR, влияют на ваш бренд больше, чем просто поисковый рейтинг. По словам доктора Пита Мейерса, специалиста по маркетингу в Moz,«с авторитетом бренда мы наконец-то можем понять, насколько они важны, и заставить эту силу работать».Будет ли это полезной метрикой для владельцев веб-сайтов? Мы подождем и посмотрим. Прочитайте полную историю от Search Engine Land .

Примечание редактора: «Новости SEO, которые вы можете использовать» — это еженедельная запись в блоге, публикуемая каждое утро понедельника только наSEOblog.com, в которой собраны все главные новости SEO со всего мира.Наша цель - сделатьSEOblog.comуниверсальным магазином для всех, кто ищет новости SEO, образование и нанимает эксперта по SEO с помощью нашего всеобъемлющегокаталога SEO-агентств.