Как исправить предупреждение «Робот Googlebot не может получить доступ к файлам CSS и JS» в WordPress?

Если вы используете сайт или блог на базе WordPress, вы, вероятно, раньше получали предупреждение от команды консоли поиска Google (или получите) о том, что робот Google не может получить доступ к файлам CSS и JS в вашем домене.

Не беспокойтесь, если вы получили это предупреждение от Google. Звучит плохо, но это легко исправить. В сообщении электронной почты содержатся ссылки на инструкции по устранению этой проблемы. Но этим инструкциям нелегко следовать .

Бот Google и другие поисковые роботы будут посещать файл robots.txt вашего веб-сайта сразу после того, как попадут в файл htaccess.

Htaccess имеет правила для блокировки IP-адресов, перенаправления URL-адресов, включения сжатия gzip и т. Д. В robots.txt также будет набор правил для поисковых систем . Они являются причиной того, что вы получили сообщение «Робот Googlebot не может получить доступ к файлам CSS и JS».

В robots.txt есть несколько строк, которые либо блокируют, либо разрешают сканирование файлов и каталогов . Google начал наказывать веб-сайты, которые блокируют сканирование файлов js и css. JavaScript и каскадные таблицы стилей отвечают за рендеринг вашего веб-сайта и обрабатывают формы, события активации и т. Д.

Если JS заблокирован, бот Google не сможет сканировать код и будет рассматривать его как спам или нарушение схем ссылок. Та же логика применяется к файлам CSS.

Если вы еще не получили это письмо с предупреждением, вместо того , чтобы ждать его , вы можете немедленно принять меры.

Что такое WordPress Robots.txt?

Файл robots.txt помогает роботам поисковых систем указывать, какую часть сканировать, а какую избегать. Когда поисковый бот или паук поисковой системы приходят на ваш сайт и хотят проиндексировать ваш сайт, они сначала следят за файлом robots.txt.

Поисковый бот или паук следует этому направлению файлов для индексации или отсутствия индексации любой страницы вашего веб-сайта. Если вы используете WordPress , вы найдете файл Robots.txt в корне вашей установки WordPress.

Если у вас нет robots.txt, вы можете просто создать новый файл блокнота и назвать его Robots.txt. Затем просто загрузите его в корневой каталог вашего домена с помощью FTP или напрямую через файловый менеджер cPanel.

Вы можете отредактировать файл robots.txt WordPress , войдя в свою учетную запись FTP на сервере, используя cPanel, или вы можете использовать плагин. Есть несколько вещей, которые вы должны добавить в файл robots.txt вместе с URL-адресом карты сайта.

Добавление URL-адреса карты сайта помогает роботам поисковых систем находить ваш файл карты сайта и, таким образом, быстрее индексировать ваше сообщение и страницы. Вот пример файла robots.txt . В карте сайта замените URL-адрес файла Sitemap на URL-адрес своего блога:

 Пользовательский агент: *
# запретить все файлы в этих каталогах
Disallow: / cgi-bin /
Запретить: / wp-admin /
Запретить: / архивы /
disallow: / *? *
Запретить: *? Replytocom
Запретить: / wp- *
Запретить: / комментарии / фид /

Пользовательский агент: Googlebot-Image
Разрешить: / wp-content / uploads /

Пользовательский агент: Adsbot-Google
Разрешать: /

Пользовательский агент: Googlebot-Mobile
Разрешать: /

карта сайта: https://www.kasareviews.com/sitemap.xml

Почему Google нужен доступ к файлам CSS и JS?

Блокировка CSS и JavaScript была запретом Google с тех пор, как она была внесена в Руководство для веб-мастеров в октябре прошлого года. Только недавно компания стала предупреждать об этом.

Если ваш сайт блокирует доступ робота Googlebot к этим файлам, то вам хорошо знать об этом, чтобы вы могли решить эту проблему.

Google стремится повышать рейтинг удобных для пользователей веб-сайтов. Сайты, которые работают быстро, удобны для пользователей и т.д.

Вот как Google видел сайт Kasa Reviews до исправления

По умолчанию WordPress не блокирует доступ поисковых роботов к файлам CSS или JS. Однако некоторые владельцы сайтов могут случайно заблокировать их, пытаясь добавить дополнительные меры безопасности или используя плагин безопасности WordPress.

Это запрещает роботу Googlebot индексировать файлы CSS и JS, которые могут повлиять на эффективность SEO вашего сайта. Для этого есть простое решение: отредактируйте файл robots.txt на вашем сайте.

Как исправить предупреждение «Робот Googlebot не может получить доступ к файлам CSS и JS»?

Если такие термины, как robots.txt, кажутся вам в новинку, не волнуйтесь, вы не одиноки. Это обычный жаргон в индустрии SEO, но он не так популярен среди блоггеров.

Для блога WordPress вы можете редактировать файл robots.txt с помощью FTP, такого как FileZilla, с помощью cPanel (см. Плюсы и минусы cPanel) или использовать функцию редактора файлов SEO от Yoast (проверьте сравнение Yoast и Rank Math).

Плагин Yoast SEO позволяет редактировать файлы robots.txt и .htaccess из панели управления WordPress. На панели инструментов WordPress нажмите SEO> Инструменты и нажмите на редактор файлов.

На этой странице вы можете просматривать и редактировать файл robots.txt. В большинстве случаев вам необходимо удалить следующую строку : Disallow: / wp-includes /

В зависимости от того, как вы настроили файл robots.txt, он устранит большинство предупреждений. Скорее всего, вы увидите, что на вашем сайте запрещен доступ к некоторым каталогам WordPress, например:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/


Некоторые пользователи могут заметить, что их файл robots.txt либо пуст, либо вообще не существует. Если робот Googlebot не находит файл robots.txt, он автоматически сканирует и индексирует все файлы.

Тогда почему вы видите это предупреждение? В редких случаях некоторые провайдеры хостинга WordPress могут заранее блокировать доступ к папкам WordPress по умолчанию для ботов. Вы можете переопределить это в robots.txt, разрешив доступ к заблокированным папкам.

User-agent: *
Allow: /wp-includes/js/


По завершении сохраните файл robots.txt. Посетите инструмент "Получить как Google" и нажмите кнопку "Извлечь и отобразить". Теперь сравните результаты выборки, и вы увидите, что проблема с большинством заблокированных ресурсов должна исчезнуть.

Вот как Google отображает Kasa Reviews после редактирования и исправления файла robots.txt. Вы также должны стремиться к тому, чтобы весь ваш сайт отображался полностью.

После изменения файла robots.txt в своем блоге проверьте любой URL-адрес своего веб-сайта с помощью robots.txt тестера инструментов Google для веб-мастеров. Если вы обнаружите какие-либо ошибки или если робот Googlebot не может сканировать ресурс, инструмент выделит строку, вызывающую ошибку.

Чтобы устранить проблему, удалите выделенную строку. Надеюсь, это помогло. Если у вас есть какие-либо вопросы, не стесняйтесь задавать их через раздел комментариев.