ArqSEO-Bot, el rastreador de ARQSEO

Si has llegado aquí desde los registros de tu servidor, esto es lo que necesitas saber.

Qué es

ArqSEO-Bot es el programa con el que ARQSEO, una herramienta de auditoría SEO, descarga las páginas de una web para revisarlas: títulos, encabezados, enlaces, datos estructurados, tiempos de respuesta, etc. No publica tu contenido, no lo usa para entrenar inteligencia artificial y no rellena formularios.

Por qué visita tu web

Porque un usuario de ARQSEO ha pedido analizarla: normalmente la dueña o el dueño de la web, o la agencia que la lleva. Puede ser una auditoría completa, una auditoría programada (semanal, quincenal o mensual) o el análisis gratuito de una sola página. No rastreamos Internet por nuestra cuenta.

Cómo se identifica

En cada petición envía este identificador (User-Agent):

ArqSEO-Bot/1.0 (+https://arqseo.com/bot)

Para comprobar si los enlaces que salen de la web auditada hacia otras webs funcionan, ARQSEO puede hacer una única petición a cada uno de esos enlaces con un identificador de navegador corriente, porque muchos servidores rechazan a cualquier programa. Esa petición solo mira si la página responde; no guarda su contenido.

Cómo se porta

  • Respeta tu robots.txt: al recorrer tu web no entra en lo que prohíbas para ArqSEO-Bot o para todos (*). El análisis gratuito de una sola página descarga solo la dirección que ha escrito el usuario.
  • Va despacio: pocas peticiones a la vez y una pausa entre ellas. Si tu servidor responde con errores o con 429 (demasiadas peticiones), baja el ritmo automáticamente y, si hace falta, se detiene.
  • Tiene un límite: cada auditoría tiene un número máximo de páginas según el plan del usuario.

Cómo bloquearlo

Añade esto a tu robots.txt para que no entre en ninguna página:

User-agent: ArqSEO-Bot
Disallow: /

O solo en una parte de la web:

User-agent: ArqSEO-Bot
Disallow: /privado/

Direcciones IP

ArqSEO-Bot no sale siempre desde las mismas direcciones IP: funciona en servidores compartidos cuya dirección puede cambiar sin aviso. Por eso no publicamos una lista de IP y te recomendamos bloquearlo por su nombre en robots.txt, no por IP. Si necesitas bloquearlo en el cortafuegos, filtra por el User-Agent ArqSEO-Bot.

Contacto

Si crees que ArqSEO-Bot se está portando mal con tu web, escríbenos a info@arqseo.com indicando tu dominio, la fecha y la hora aproximadas y, si puedes, unas líneas de tu registro. Lo revisamos y, si nos lo pides, dejamos de analizar tu dominio.