Presupuesto de rastreo

El presupuesto de rastreo no es una cifra que Google asigne. Es el resultado de dos cosas independientes, y fallan de forma distinta, así que conviene separarlas.

La capacidad de rastreo es cuánto está dispuesto a presionar Googlebot. Vigila los tiempos de respuesta y los errores, y reduce el ritmo cuando una web tiene dificultades, porque rastrear no merece la pena si empeora la web para sus visitantes reales. Un servidor lento baja el techo directamente, y ningún trabajo con el sitemap lo sube.

La demanda de rastreo es cuánto interés tiene Google en la web. Influyen la popularidad, lo desactualizada que esté y la frecuencia con que cambia realmente el contenido. Una web cuyas páginas nunca cambian recibe menos visitas, y con razón.

La lectura práctica: los problemas de capacidad se ven como una web rápida rastreada a fondo o una web lenta rastreada poco. Los problemas de demanda se ven como una web rastreada poco sea cual sea su velocidad, lo que normalmente es una señal sobre el contenido y no sobre la infraestructura.

Google ha publicado una guía sobre esto y es especialmente directa: el presupuesto de rastreo preocupa en webs con más de un millón de páginas únicas, aproximadamente, o en webs grandes cuyo contenido cambia a menudo, como un portal de anuncios con un inventario que se mueve rápido. La mayoría de los clientes de una agencia no son ni lo uno ni lo otro.

Por debajo de ese umbral, una página que no está indexada casi siempre lo está por otro motivo, y Search Console lo dice. «Descubierta: actualmente sin indexar», «Rastreada: actualmente sin indexar», «Duplicada: el usuario no ha indicado ninguna versión canónica», soft 404. Cada una apunta a algo concreto, y ninguna apunta al presupuesto.

Esto importa porque el presupuesto de rastreo es la respuesta equivocada más tentadora que existe. Suena técnica, suena a experiencia y traslada la responsabilidad al rastreador en lugar de al contenido. Una agencia que lo diagnostica en una web corporativa de seiscientas páginas se ha asegurado un trimestre de trabajo que no puede producir nada.

El orden honesto es leer primero los motivos de cobertura del índice y solo recurrir al presupuesto si la web es realmente grande y los registros muestran que el rastreador se está gastando en algo inútil.

Cuando el presupuesto de rastreo sí es un problema, la causa rara vez es el número de páginas reales. Es el número de direcciones, y las dos cosas se separan de forma drástica en cuanto algo lleva parámetros.

La navegación por filtros es el ejemplo clásico. Cinco filtros con seis valores cada uno, que se pueden combinar y ordenar, producen decenas de miles de direcciones a partir de unos pocos cientos de productos. Si se añade un parámetro de orden y un número de página, el espacio es prácticamente ilimitado. Un rastreador lo recorrerá, porque no tiene forma de saber que las combinaciones no valen nada.

Los calendarios son la forma más pura del problema: un selector de fechas con enlaces de siguiente y anterior genera una serie infinita, y se han encontrado rastreadores recorriendo años de meses vacíos. Los identificadores de sesión en las URL hacen lo mismo con otro mecanismo, generando una dirección nueva en cada visita.

La solución es impedir que existan esas direcciones, no pedir más presupuesto. Los filtros sin búsquedas reales no deberían enlazarse de forma rastreable, los calendarios deberían dejar de generar enlaces a partir de cierto horizonte y el estado de la sesión debe ir en una cookie. Las canónicas ayudan a concentrar las señales, pero no ahorran la petición, porque el rastreador tiene que descargar la página para leer la etiqueta.

El tiempo de respuesta del servidor es la palanca con un efecto más directo y la que menos se presenta como trabajo de SEO. Reducir a la mitad el tiempo de respuesta sube mecánicamente la capacidad de rastreo y, a la vez, ayuda a los visitantes reales, así que rara vez es difícil de justificar.

Después de eso, se trata de quitar y no de añadir. Eliminar las direcciones que no deberían existir, arreglar las cadenas de redirecciones para que una petición no cueste tres, devolver errores 404 reales en lugar de soft 404 y dejar de enlazar lo que de todas formas se va a excluir.

Los sitemaps ayudan al descubrimiento, no al presupuesto. Le dicen al rastreador qué existe; no suben el techo, y enviar un sitemap más grande en una web con un problema de rastreo suele empeorar el síntoma en lugar de mejorarlo.

La medición que merece la pena, en una web lo bastante grande como para justificar todo esto, es el análisis de los registros del servidor: qué ha descargado realmente Googlebot, con qué frecuencia y cuánto merecía la pena descargarse. Todo lo demás en este terreno es deducción, y en una web grande la deducción suele estar equivocada.