¿ Cómo funcionan ?

Básicamente, es un programa visualizador que responde a la configuración introducida por el usuario o webmaster, enviando comandos HTTP (HyperText Transport Protocol - Protocolo de transporte de hipertexto) a través de internet. Las páginas Web son archivos de HTML que contienen texto, códigos y otros datos que definen el contenido del sitio web.

El visualizador recupera la URL (Uniform Resource Locator - Localizador de recursos uniformes) del destino a la página actual. Establece una conexión con el servidor remoto, transmite un código Get http para recuperar el archivo HTML y presenta el documento en la pantalla tal como lo vemos en el navegador.

¿ Qué hacen ?

Los robots que hacen índices del Web, utilizan algoritmos para generar resúmenes de documentos que se almacenan en bases de datos inmensas. Otros robots identifican vínculos hacia páginas que ya no existen, otros llevan estadísticas de sitios más populares, por ejemplo.

¿ Cómo controlar su comportamiento?

Gracias al SRE (Standard for Robot Exclusion - Estándar para la exclusión de robots), protocolo que permitirá a administradores de sitios webs indicar instrucciones hacia los distintos robots. Por ejemplo, se puede indicar que los robots solo revisen el contenido parcial de un sitio, que no indexen páginas en construcción o no ingrese a determinados directorios, haciendo además más eficiente y rápido su trabajo.

Instrucciones para configurar el archivo robots.txt

Para configurar las instrucciones que deseamos a una araña (robot), sólo debe crearse un archivo de texto denominado "robots.txt". Este archivo se crea con el Notepad. Este archivo de texto deberá contener comandos en un sencillo lenguaje indicando políticas de acceso de un sitio a estos programas.

A continuación mostramos un ejemplo simple de un archivo que solicitará al robot que se aleje de /dibujos/imagenes y de sus subdirectorios.

# Ejemplo archivo robots.txt
User-agent:*
Disallow: /dibujos/imagenes

La primera línea corresponde a un comentario (#). La segunda línea indica a que robot se le hace la solicitud; en este caso, la orden es para todos los robots (*). La tercera línea muestra a que ruta de directorio se le quita acceso a la araña.

Indicar una orden para un robot:

# Ejemplo archivo robots.txt

User-agent:*

Disallow: /dibujos/imagenes

Disallow: /en_contruccion

User-agent:Scooter

Disallow:

Por ejemplo, el robot Scooter tiene acceso ilimitado dentro del sitio, pero prohibe a otros a ingresar a las rutas especificadas. [Scooter es el robot de AltaVista].

Si desea prohibir el acceso de cualquier robot a su sitio:

# Ejemplo archivo robots.txt

User-agent: *

Disallow: /