¿Qué es un agent user o agente de usuario?

¿Qué es un agente de usuario?

Cuando su navegador intenta generar una visita por ejemplo a tu sitio web, hay todo tipo de cosas técnicas que suceden. Lo primero que sucede es que su navegador tiene que conectarse al servidor. Envía lo que se llama un agente de usuario para completar un apretón de manos con el servidor y comenzar a obtener toda la información de él. El agente de usuario proporciona información tal como el sistema operativo que está usando su computadora, el navegador que estaba usando y el dispositivo.

¿Por qué son importantes los agentes de usuario o user-agent ?

Esta información es muy útil para el análisis de un sitio web, que luego se utilizará para que el propietario de los sitios web tome decisiones en cuanto a los contenidos, las decisiones de marketing y muchas otras aplicaciones imprevisibles. Al diseñar un sitio web, uno debe tener en cuenta todos los navegadores, sistemas operativos y dispositivos con los que uno puede visitar el sitio. Lo último que desea una persona es gastar una gran cantidad de dinero en el desarrollo de un sitio web, solo para descubrir que no funcionará para las personas que usan navegadores importantes como Chrome o que no se mostrará correctamente en los dispositivos Android. Muy a menudo, los diseñadores web usarán un simulador para simular cómo es visitar un sitio web usando una variedad de computadoras, tamaños de monitores, dispositivos y navegadores.

Los user-agente o agentes de usuarios más comunes en un Robots.txt

• User-Agent: Googlebot
• User-Agent: Googlebot-Mobile
• User-agent: Googlebot-Image
• User-Agent: Mediapartners-Google
• User-Agent: Adsbot-Google
• User-agent: BingBot
• User-Agent: msnbot
• User-Agent: msnbot-media
• User-Agent: Yandex
• User-Agent: Baiduspider
• User-Agent: DuckDuckGo
• User-Agent: Digger/1.0 JDK/1.3.0

Si quieres quieres saber cuáles son los Rastreadores de Google -> https://support.google.com/webmasters/answer/1061943?hl=es

Si quieres ver el listado completo de agentes de usuarios que existen aquí te lo dejamos:

Utilizándolos en tu Robots.txt:

Sino sabes bien de que va el tema, digamos que un archivo Robots.txt se coloca en la raíz de su sitio web para las arañaras de los buscadores, lo encuentren muy rápido, así los buenos bots ( esto da mucho que hablar!!!!) lo que primero buscarán es tu fichero robots.txt y revisarán el contenido del archivo robots.txt antes de continuar a otras páginas dentro de tu sitio web o de irse si no están permitido su acceso ( vamos que lo estás hechando!!). Bueno sigo. Cosas que puedes hacer:

No permitir que ningún bot (usuario-agente) acceda a ninguna parte de tu sitio web, debes añadir los siguientes operadores:

Pero si lo que quieres es darles permiso debes añadir:

Si quieres bloquear al agente de usuario de Google Imágenes:

¡Creo que como siempre ya me he liado y he comenzado con el tema de los Robots, que intentaré explicar en otro post un poco más currado!

No te olvides de dejar tu experiencia en los comentarios así otros pueden aprender y sobre todo mejorar