¿Cómo corregir la advertencia "Googlebot no puede acceder a archivos CSS y JS" en WordPress?

Si está utilizando un sitio o un blog con WordPress, probablemente haya recibido una advertencia del equipo de la consola de búsqueda de Google en el pasado (o recibirá) diciendo que Googlebot no puede acceder a los archivos CSS y JS en su dominio.

No se alarme si recibió esta advertencia de Google. Eso suena mal, pero hay una solución fácil. El mensaje de correo electrónico contiene enlaces a instrucciones sobre cómo solucionar este problema. Pero esas instrucciones no son fáciles de seguir .

El bot de Google y otras arañas de búsqueda visitarán el archivo robots.txt de su sitio web inmediatamente después de acceder al archivo htaccess.

Htaccess tiene reglas para bloquear direcciones IP, redirigir URL, habilitar la compresión gzip, etc. El robots.txt también tendrá un conjunto de reglas para los motores de búsqueda . Son la razón por la que recibió el mensaje "El robot de Google no puede acceder a los archivos CSS y JS".

Robots.txt tiene pocas líneas que bloquearán o permitirán el rastreo de archivos y directorios . Google ha comenzado a penalizar los sitios web que bloquean el rastreo de archivos js y css. Las hojas de estilo JavaScript y en cascada son responsables de renderizar su sitio web y manejan formularios, eventos de incendio, etc.

Si el JS está bloqueado, el bot de Google no podrá rastrear el código y considerará el código como spam o una violación de los esquemas de enlaces. La misma lógica se aplica a los archivos CSS.

Si aún no ha recibido este correo electrónico de advertencia, en lugar de esperar el correo electrónico , puede tomar medidas de inmediato.

¿Qué es WordPress Robots.txt?

El archivo Robots.txt ayuda a los robots de los motores de búsqueda a indicar qué parte rastrear y qué parte evitar. Cuando el robot de búsqueda o la araña del motor de búsqueda llega a su sitio y desea indexarlo, primero siguen el archivo robots.txt.

El robot de búsqueda o la araña sigue esta dirección de archivos para indexar o no indexar ninguna página de su sitio web. Si está utilizando WordPress , encontrará el archivo Robots.txt en la raíz de su instalación de WordPress.

Si no tiene robots.txt, simplemente puede crear un nuevo archivo de bloc de notas y nombrarlo como Robots.txt. Luego, simplemente cárguelo en el directorio raíz de su dominio usando FTP o directamente a través del administrador de archivos cPanel.

Puede editar su archivo robots.txt de WordPress iniciando sesión en su cuenta FTP del servidor, usando cPanel o puede usar el complemento. Hay algunas cosas que debe agregar en su archivo robots.txt junto con la URL de su mapa del sitio.

Agregar la URL del mapa del sitio ayuda a los robots de los motores de búsqueda a encontrar su archivo de mapa del sitio y, por lo tanto, indexar más rápidamente sus publicaciones y páginas. A continuación, se muestra un archivo robots.txt de muestra . En el mapa del sitio, reemplace la URL del mapa del sitio por la URL de su blog:

 Agente de usuario: *
# no permitir todos los archivos en estos directorios
No permitir: / cgi-bin /
No permitir: / wp-admin /
No permitir: / archivos /
no permitir: / *? *
No permitir: *? Replytocom
No permitir: / wp- *
No permitir: / comments / feed /

Usuario-agente: Googlebot-Image
Permitir: / wp-content / uploads /

Usuario-agente: Adsbot-Google
Permitir: /

Usuario-agente: Googlebot-Mobile
Permitir: /

mapa del sitio: https://www.kasareviews.com/sitemap.xml

¿Por qué Google necesita acceso a archivos CSS y JS?

El bloqueo de CSS y JavaScript ha sido un no-no de Google desde que se incluyó en las Pautas para webmasters en octubre pasado. Solo recientemente la compañía ha emitido advertencias al respecto.

Si su sitio ha estado bloqueando el acceso de Googlebot a esos archivos, entonces es bueno que lo sepa para que pueda resolver el problema.

Google se centra en dar mejores clasificaciones a los sitios web fáciles de usar. Sitios que son rápidos, tienen una buena experiencia de usuario, etc. Para determinar la experiencia del usuario de un sitio web, Google necesita acceso para poder visitar los archivos CSS y JavaScript del sitio.

Así es como Google vio el sitio de Kasa Reviews antes de arreglarlo

Por defecto, WordPress no impide que los robots de búsqueda accedan a archivos CSS o JS. Sin embargo, algunos propietarios de sitios pueden bloquearlos accidentalmente al intentar agregar medidas de seguridad adicionales o al usar un complemento de seguridad de WordPress.

Esto impide que Googlebot indexe archivos CSS y JS que pueden afectar el rendimiento de SEO de su sitio. Hay una solución fácil para esto e implica editar el archivo robots.txt de su sitio.

¿Cómo corregir la advertencia "Googlebot no puede acceder a archivos CSS y JS"?

Si los términos como robots.txt le parecen nuevos, no se preocupe, ya que no está solo. Es una jerga común en la industria del SEO, pero no tan popular entre los blogueros.

Para el blog de WordPress, puede editar su archivo robots.txt usando FTP como FileZilla, usando cPanel (vea los pros y contras de cPanel) o use la función de editor de archivos de SEO de Yoast (ver la comparación Yoast vs Rank Math).

El complemento Yoast SEO te permite editar tu archivo robots.txt y .htaccess desde el panel de WordPress. Dentro de su panel de WordPress, haga clic en SEO> Herramientas y haga clic en editor de archivos

En esta página, puede ver y editar su archivo robots.txt. En la mayoría de los casos, debe eliminar la siguiente línea : Disallow: / wp-includes /

Dependiendo de cómo haya configurado su archivo robots.txt, solucionará la mayoría de las advertencias. Lo más probable es que vea que su sitio no ha permitido el acceso a algunos directorios de WordPress como este:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/


Algunos usuarios pueden notar que su archivo robots.txt está vacío o ni siquiera existe. Si el robot de Google no encuentra un archivo robots.txt, rastrea e indexa automáticamente todos los archivos.

Entonces, ¿por qué ves esta advertencia? En raras ocasiones, algunos proveedores de alojamiento de WordPress pueden bloquear de forma proactiva el acceso a las carpetas predeterminadas de WordPress para los bots. Puede anular esto en robots.txt permitiendo el acceso a carpetas bloqueadas.

User-agent: *
Allow: /wp-includes/js/


Una vez que haya terminado, guarde su archivo robots.txt. Visite la herramienta de búsqueda como Google y haga clic en el botón de búsqueda y procesamiento. Ahora compare los resultados de su recuperación y verá que la mayoría de los problemas de recursos bloqueados deberían desaparecer ahora.

Así es como Google está procesando Kasa Reviews después de editar y corregir el archivo robots.txt. También debe apuntar a que todo su sitio se muestre en su totalidad.

Después de modificar el archivo robots.txt de su blog, pruebe cualquier URL de su sitio web con el probador de robots.txt de las herramientas para webmasters de Google. Si encuentra algún error o si Googlebot no puede rastrear un recurso, la herramienta resaltará la línea que está causando el error.

Para eliminar el problema, elimine la línea resaltada. Espero que esto haya ayudado. Si tiene alguna pregunta, no dude en preguntar a través de la sección de comentarios.