“Googlebot está diseñado para ejecutarse de manera simultánea en miles de equipos con el objetivo de mejorar el rendimiento y ajustarse al crecimiento de la Web”, así explican en Google la función de este robot rastreador que tiene un funcionamiento complejo y difícil de entender de forma de práctica, y sin embargo es crucial tenerlo en cuenta, especialmente si se trata de una empresa cuyo éxito depende en gran medida del rendimiento y el posicionamiento de su web o plataforma eCommerce.
Entonces, sírvete una taza de café o té y vamos por partes. Comencemos por lo esencial:
¿Qué es Googlebot?
Se trata de un robot informático creado por Google para seguir sistemáticamente el rastro que dejan las millones de webs que componen internet, encontrarlas, analizarlas, clasificarlas e indexarlas para mostrarlas correctamente en su buscador. Para ello utiliza algoritmos que realizan este rastreo en tiempo real y sin descanso. También conocido como web crawler o araña web porque va como tejiendo toda la enredadera que es internet haciendo este reconocimiento de las páginas y cuidando la “salud” de todo este complejo sistema.
¿Cuál es la función de Googlebot?
Cuando un usuario intenta entrar en la url de una web para comprar algo, y encuentra problemas de visualización de ciertos elementos, de carga, o directamente un enlace roto, está relacionado directamente con ese renderizado de la página que por diversos factores podría tener problemas. ¿La consecuencia? Que el usuario obviamente buscará otra marca, otra web, donde satisfacer su necesidad.
Pues Googlebot funcionaría un poco como un detective que va rastreando la telaraña de webs precisamente para encontrar posibles fallos lo que modifica el posicionamiento de las mismas de acuerdo a esto. Va siguiendo todos los enlaces que hay en cada web, como simulando la navegación de un usuario para mantener su buscador pleno de páginas “sanas” y en más bajo posicionamiento aquellas que no cumplan con estos estándares.
Y todos sabemos que es fundamental “caerle bien” a Googlebot tomando en cuenta que:
Google es la página web más visitada del mundo
Lo que quiere decir que tener cuenta estos aspectos del rendimiento de una web, es fundamental pues afecta directamente al SEO y por ende a la posibilidad de que una página sea más o menos visitada. Digamos que es importante que Googlebot sea capaz de indexar correctamente todas las páginas que interesa que tengan un buen posicionamiento.
Antes que aparecer en los primeros resultados de búsqueda, es básico que Googlebot pueda hacer un buen rastreo de una página web.
Las páginas que más le gustan a Googlebot
A través de Google Search Console es posible saber cuáles son esas páginas de una web que más visita Googlebot y que por ende tiene más en consideración para ser mostradas en el buscador, como que son las páginas que tienen más valor todas las veces que realiza el rastreo. Para hacerlo, esta es la ruta:
- Entrar en Google Search Console con el dominio analizado
- Entrar en ajustes y allí hacer clic en “Estadísticas de rastreo” y abrir en el apartado “Informe”
- Allí dentro ubicar la clasificación “por tipo de archivo” y hacer clic en “HTML”
- Se desplegarán pues todas las páginas que rastrea Googlebot y exportaremos este documento como Excel.
- Ya dentro de Excel, es posible ordenar la lista de acuerdo a las url’s que más se repiten y las que menos, y así tendríamos las “favoritas” o más analizadas por Googlebot.
Sabiendo esta información y el porcentaje de rastreo que tiene cada una, es posible realizar nuevas estrategias para mejorar no solamente el posicionamiento sino también las tasas de conversión en estas páginas. Una forma de centrar esfuerzos en call to actions, enlazados internos, storytelling e inteligencia artificial por ejemplo en aquellas páginas mejor catalogadas y más interesantes para Googlebots y aumentar su rendimiento en todos los sentidos.
Googlebot, no entres aquí
Ahora bien… y ¿qué ocurre cuando una web tiene url’s que no interesa posicionar o mostrar de forma relevante en los resultados de búsqueda? En estos casos, se suele integrar en la web un archivo llamado robots.txt que sirve para que rastreadores como Googlebot no “pierdan tiempo” rastreando páginas innecesarias, así como para aligerar el proceso de rastreado de una web.
Este archivo sirve para limitar el rastreo, le dice a Googlebot en qué páginas puede analizar y en cuáles no interesa que lo haga, siendo esto muy útil para que se centre en las páginas relevantes para el SEO y descarte las que no, aunque las indexa todas. En una plataforma eCommerce será más importante posicionar correctamente una página de producto, más que una página de información general sobre el uso de datos de los usuarios por ejemplo, o una página con información más protocolar que comercial.
Otra cosa que propone Google es reducir la frecuencia de rastreo de Googlebot, ya que cuando éste realiza su trabajo puede ocasionar principalmente dos problemas, literalmente como explica Google:
Que “el rastreo que hace Google en un sitio cause una carga crítica en la infraestructura o que genere costos no deseados durante una interrupción”.
Para ello propone reducir esta frecuencia dentro del mismo Google Search Console, asignándole una frecuencia más baja especialmente a las páginas que no interesan tanto, y si esta opción no estuviera disponible es posible realizar una petición especial directamente a Google. También hay otras opciones para reducir el rastreo por pocos días o unas horas, lo cual recomiendan más que bajar la frecuencia por mucho tiempo, para evitar que ocurra lo siguiente:
- Que Googlebot deje de descubrir y posicionar correctamente páginas nuevas que interesen
- Que Googlebot actualice menos las páginas ya existentes, que podrían ser tan importantes como una home o una página de producto.
¿Cómo caerle bien a Googlebot?
Comencemos primero por comprender el término PageRank que se refiere a la medición de la relevancia y popularidad de una web de acuerdo a diferentes aspectos que la diferencian de otras. A mayor PageRank, más visibilidad y mejor posicionamiento tendrá en los resultados y también, más tiempo de rastreo invertirá Googlebot, lo cual por supuesto es muy positivo.
Sitemaps optimizados
Cuando Googlebot entra en acción, primero rastrea el archivo robots.txt para saber en qué páginas no está autorizado, y luego pasa a analizar e indexar las que sí. Lo crucial es que Googlebot rastreará con mejor garantía aquellas páginas que estén mejor construidas y organizadas, y para ello muchos expertos recomiendan tener un Sitemap con información bien precisa que ayude a Googlebot en sus labores.
“Los sitemaps son archivos en los que se proporciona información sobre las páginas, los vídeos y otros archivos de tu sitio, así como sobre las relaciones que hay entre ellos”.
La cosa es que Googlebot se vale de esta información para hacer un mejor rastreo de las páginas. Por ejemplo un sitemap bien preciso tendría información concreta en las entradas de vídeos, imágenes y noticias, como la duración, la categoría a la que pertenece, ubicación de esos archivos, títulos, fechas de publicación y clasificación por edad en el caso que corresponda.
Mejor HTML
Otra forma de “caerle bien” a Googlebot es cuidando el lenguaje donde esté basado la arquitectura de la página, pues esta “araña web” no es tan fluida a la hora de rastrear páginas construidas o compuestas por lenguaje JavaScript, frames, DHTML, Flash y Ajax, y sí lo hace en páginas HTML.
Es importante tener esto en cuenta, para que las páginas que más interese que tengan un buen PageRank y por ende un mejor rastreo, sean capaces de ser vistas en un navegador de texto, viniendo de HTML, y evitar usar otros lenguajes como JavaScript, al menos en estas páginas relevantes para el negocio. Ponérselo fácil a Googlebot también facilitará el posicionamiento.
Otros factores que afectan el rastreo de Googlebot
Hay más cosas que se pueden hacer para que Googlebot haga un rastreo frecuente y óptimo de ciertas páginas, pues ya sabemos que está directamente relacionado con el tráfico. Como por ejemplo, generar contenido “fresco” y tener contenido actualizado con frecuencia, en aquellas páginas que interese posicionar más.
También juega a favor tener un buen enlazado interno especialmente de las páginas más importantes, ya que para Googlebot también es más fluido analizar e indexar enlazados bien estructurados e integrados entre sí.
Comprobar errores de rastreo
Por último y de igual importancia sería, el tener un protocolo para comprobar de forma constante si Googlebot está reportando errores de rastreo en la web y ciertas páginas. Sobre todo porque a largo plazo, un fallo aunque sea pequeño e incluso en páginas de baja importancia, podrían generar problemas mayores y afectar el posicionamiento y el tráfico de la web en general.
¿Qué relación tiene tu web con Googlebot? Visto lo visto deseamos que sea óptima, que cuentes con un rastreo perfecto, que tu PageRank también lo sea, y que por supuesto esto atraiga más visitas y más beneficios a tu negocio.