Como corrigir o aviso de “Googlebot não consegue acessar arquivos CSS e JS” no WordPress?

Se você estiver usando um site ou blog com tecnologia WordPress, provavelmente já recebeu um aviso da equipe do console da Pesquisa Google no passado (ou receberá) dizendo que o Googlebot não pode acessar arquivos CSS e JS em seu domínio.

Não se assuste se receber este aviso do Google. Parece ruim, mas há uma solução fácil para isso. A mensagem de e-mail contém links para instruções sobre como corrigir esse problema. Mas essas instruções não são muito fáceis de seguir .

O bot do Google e outros spiders de pesquisa visitarão o arquivo robots.txt do seu site imediatamente após acessar o arquivo htaccess.

O Htaccess possui regras para bloquear endereços ip, redirecionar URLs, habilitar compressão gzip, etc. O robots.txt terá um conjunto de regras para os motores de busca também. Eles são o motivo pelo qual você recebeu “O Googlebot não consegue acessar os arquivos CSS e JS”.

Robots.txt tem poucas linhas que irão bloquear ou permitir o rastreamento de arquivos e diretórios . O Google começou a penalizar sites que bloqueiam o rastreamento de arquivos js e css. O JavaScript e as folhas de estilo em cascata são responsáveis ​​por renderizar seu site e manipular formulários, eventos de disparo, etc.

Se o JS estiver bloqueado, o bot do Google não será capaz de rastrear o código e considerará o código como spam ou violação de esquemas de links. A mesma lógica se aplica aos arquivos CSS.

Se você ainda não recebeu este e-mail de aviso, em vez de esperar pelo e-mail , você pode agir imediatamente.

O que é WordPress Robots.txt?

O arquivo Robots.txt ajuda os robôs do mecanismo de pesquisa a direcionar qual parte rastrear e qual parte evitar. Quando o robô de pesquisa ou spider do mecanismo de pesquisa chega ao seu site e deseja indexá-lo, eles seguem o arquivo robots.txt primeiro.

O bot de busca ou spider segue esta direção de arquivos para indexar ou não indexar qualquer página do seu site. Se você estiver usando o WordPress , encontrará o arquivo Robots.txt na raiz da instalação do WordPress.

Se você não tiver o robots.txt, pode simplesmente criar um novo arquivo do bloco de notas e nomeá-lo como Robots.txt. Em seguida, basta enviá-lo para o diretório raiz do seu domínio usando FTP ou diretamente através do gerenciador de arquivos cPanel.

Você pode editar o seu arquivo robots.txt do WordPress fazendo login na sua conta FTP do servidor, usando cPanel ou você pode usar o plugin. Existem algumas coisas que você deve adicionar ao seu arquivo robots.txt junto com o URL do seu sitemap.

Adicionar o URL do mapa do site ajuda os robôs do mecanismo de pesquisa a encontrar o arquivo do mapa do site e, assim, indexar mais rapidamente sua postagem e páginas. Aqui está um exemplo de arquivo robots.txt . No sitemap, substitua o URL do Sitemap pelo URL do seu blog:

 Agente de usuário: *
# desautorizar todos os arquivos nestes diretórios
Disallow: / cgi-bin /
Disallow: / wp-admin /
Disallow: / archives /
disallow: / *? *
Disallow: *? Replytocom
Disallow: / wp- *
Disallow: / comments / feed /

User-agent: Googlebot-Image
Permitir: / wp-content / uploads /

User-agent: Adsbot-Google
Permitir: /

User-agent: Googlebot-Mobile
Permitir: /

mapa do site: https://www.kasareviews.com/sitemap.xml

Por que o Google precisa de acesso a arquivos CSS e JS?

Bloquear CSS e JavaScript é uma proibição do Google desde que foi escrito nas Diretrizes para webmasters em outubro passado. Só recentemente a empresa vem emitindo alertas a respeito.

Se o seu site está bloqueando o acesso do Googlebot a esses arquivos, é bom que você saiba disso para que possa resolver o problema.

O Google está focado em dar melhores classificações a sites amigáveis ​​ao usuário. Sites rápidos, com boa experiência do usuário, etc. Para determinar a experiência do usuário em um site, o Google precisa de acesso para poder visitar os arquivos CSS e JavaScript do site.

Foi assim que o Google viu o site de comentários da Kasa antes de consertar

Por padrão, o WordPress não bloqueia os bots de pesquisa de acessar qualquer arquivo CSS ou JS. No entanto, alguns proprietários de sites podem bloqueá-los acidentalmente ao tentar adicionar medidas de segurança extras ou ao usar um plug-in de segurança do WordPress.

Isso impede o Googlebot de indexar arquivos CSS e JS, que podem afetar o desempenho de SEO do seu site. Existe uma solução fácil para isso e envolve a edição do arquivo robots.txt do seu site.

Como corrigir o aviso “O Googlebot não consegue acessar os arquivos CSS e JS”?

Se termos como robots.txt soam novos para você, não se preocupe, pois você não está sozinho. É uma linguagem comum na indústria de SEO, mas não tão popular entre os blogueiros.

Para blog WordPress, você pode editar seu arquivo robots.txt usando FTP, como FileZilla, usando cPanel (veja cPanel prós e contras) ou usar o recurso de editor de arquivo de SEO by Yoast (verifique a comparação Yoast vs Rank Math).

O plugin Yoast SEO permite que você edite o seu arquivo robots.txt e .htaccess no painel do WordPress. Dentro do painel do WordPress, clique em SEO> Ferramentas e clique no editor de arquivo

Nesta página, você pode visualizar e editar seu arquivo robots.txt. Na maioria dos casos, você precisa remover a seguinte linha : Disallow: / wp-includes /

Dependendo de como você configurou seu arquivo robots.txt, ele corrigirá a maioria dos avisos. Você provavelmente verá que seu site não permite o acesso a alguns diretórios do WordPress como este:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/


Alguns usuários podem perceber que seu arquivo robots.txt está vazio ou nem mesmo existe. Se o Googlebot não encontrar um arquivo robots.txt, ele rastreia e indexa automaticamente todos os arquivos.

Então por que você está vendo este aviso? Em raras ocasiões, alguns provedores de hospedagem do WordPress podem bloquear proativamente o acesso às pastas padrão do WordPress para bots. Você pode substituir isso no robots.txt permitindo o acesso às pastas bloqueadas.

User-agent: *
Allow: /wp-includes/js/


Quando terminar, salve seu arquivo robots.txt. Visite a ferramenta buscar como o Google e clique no botão buscar e renderizar. Agora compare seus resultados de busca e você verá que a maioria dos problemas de recursos bloqueados deve desaparecer agora.

Aqui está como o Google está renderizando as revisões Kasa depois de editar e corrigir o arquivo robots.txt. Você também deve procurar que todo o seu site seja renderizado por completo.

Depois de modificar o arquivo robots.txt do seu blog, teste qualquer URL do seu site com o testador robots.txt das ferramentas do Google para webmasters. Se você encontrar algum erro ou se o Googlebot não conseguir rastrear um recurso, a ferramenta destacará a linha que está causando o erro.

Para remover o problema, exclua a linha destacada. Espero que tenha ajudado. Se você tiver alguma dúvida, fique à vontade para perguntar via seção de comentários.