La etiqueta de losmeta robots controla que las arañas se arrastren e indexen su página web o su mensaje. En este post, veremos todos los tipos de etiquetas en detalle. Podemos usar más de una metaetiqueta en una página web, pero no es una buena práctica porque puede causar conflictos. Por lo tanto, debería ocurrir sólo una vez en una página web.
Etiqueta de meta robots por defecto
Si no especificas ninguna metaetiqueta en una página web, la araña rastreará e indexará tu página web de forma predeterminada. puedes decir que considera por debajo de la metaetiqueta de forma predeterminada.
Meta robots noindex
Evita que la página sea indexada. Significa que si especificas debajo de la metaetiqueta de una página entonces esa página no aparecerá en los resultados de la búsqueda. Por ejemplo: no querrás que tus páginas de autor aparezcan en los resultados de búsqueda, así que para evitarlo puedes usar la etiqueta Meta robots en las páginas de autor.
Meta robots nofollow
Esta metaetiqueta evita que las arañas sigan cualquier enlace de la página. Si eres un novato, entonces puede ser confuso para ti. Déjame explicarte en detalle. Siempre que la araña (bot de Google) encuentra un enlace (interno o externo) en una página, aterriza en esa página web para rastrear e indexar, para obligar a la araña a no seguir ningún enlace de la página, podemos utilizar esta etiqueta. Para entenderlo mejor puedes referirte a mi post Dofollow vs nofollow.
Meta robots noarchive
Debes haber visto en los resultados de búsqueda que cada vez que pases el cursor por un resultado, se mostrará una instantánea de esa página en el lado derecho de la búsqueda de Google(ver la siguiente captura de pantalla!!). Eso es lo que llamamos una copia en caché de la página web. Para evitar que una página se almacene en la memoria caché, podemos especificar la siguiente etiqueta.
Meta robots noodp
Evita que el motor de búsqueda (Google, Yahoo y MSN) muestre su propia descripción tomada de su directorio, en lugar de su meta descripción. El uso de la etiqueta de abajo aseguraría que el motor de búsqueda mostrara su meta descripción debajo de los resultados de la búsqueda y sería útil para mejorar su CTR.
Meta robots noydir
Es igual que la anterior etiqueta de NOODP, la única diferencia es que sería aplicable sólo para Yahoo.
La mejor práctica para usar noodp y noydir: Puedes usar la etiqueta de abajo para todas tus páginas web-
O (por encima de la etiqueta y por debajo de dos etiquetas – ambas son iguales)
¿Qué pasa si la página tiene más de una etiqueta de los meta-robots
Deberíamos usarla sólo una vez por página y es la mejor práctica, pero a veces, debido a la combinación de los temas amigables para el SEO y los plugins de SEO, podemos tener múltiples instancias de tales etiquetas. Así que para tales casos, discutamos cómo lo interpretarían las arañas (o rastreadores).
CASO 1: No hay valores de conflicto en la metaetiqueta de los robots.
Por encima de dos etiquetas se tomaría lo mismo que:
CASO2 : Valor de conflicto presente en la metaetiqueta de los robots.
Primera instancia:
Segunda instancia:
En este caso ambos valores son conflictivos ya que uno le dice al noindex y el otro le obliga a la araña a indexar la página. Para tales casos, los rastreadores consideran la primera instancia de los conflictos.
Así que el robot del buscador lo tomaría como porque el noindex encountrece antes que el índice uno.
Cómo bloquear un robot de motor de búsqueda específico
Al especificar el meta nombre como «robots», en realidad estás bloqueando todos los robots de los motores de búsqueda. Sin embargo, si desea bloquear un robot específico del motor de búsqueda, puede especificar el nombre del robot en lugar de «robots».
Nombre del BOT:
Google: GOOGLEBOT
Yahoo: SLURP
MSN: MSNBOT
PREGUNTE: TEOMA
Por lo tanto, si quieres hacer tu página nofollow sólo para el bot de Google, puedes usar la siguiente etiqueta.
Referencia
Etiqueta de los meta robots: Blog del webmaster de Google
