Os robôs que fazem índices do Web, utilizam algoritmos para gerar resumos de documentos que se armazenam em bases de dados imensas. Outros robôs identificam vínculos para páginas que já não existem, outros levam estatísticas de site mais populares, por exemplo como Google e Yahoo.

¿ Como controlar seu comportamento ?

Graças ao SRE (Standard for Robô Exclusion - Regular para a exclusão de robôs), protocolo que permitirá a administradores de lugares webs indicar instruções para os diferentes robôs. Por exemplo, pode-se indicar que os robôs só revisem o conteúdo parcial de um site, que não indexem páginas em construção ou não ingresse a determinados diretórios, fazendo ademais mais eficiente e rápido seu trabalho.

Instruciones para cofigurar o arquivo robôs.txt:

Para configurar as instruções que desejamos a uma aranha (robô), só deve criar-se um arquivo de texto denominado "robots.txt". Este arquivo se criar com o Notepad. Este arquivo de texto deverá conter comandos numa singela linguagem indicando políticas de acesso de um site a estes programas.

A seguir mostramos um exemplo simples de um arquivo que solicitará ao robô que se afaste de desenhos //imagens e de seus subdiretorios.

# Exemplo archivo robots.txt
User-agent:*
Disallow: /desenhos/imagens

A primeira linha corresponde a um comentário (#). A segunda linha indica a que robô se lhe faz a solicitação; neste caso, a ordem é para todos os robôs (*). A terceira linha mostra a que rota de diretório se lhe tira acesso à aranha.

Indicar uma ordem para um robô:

# Exemplo arquivo robots.txt

User-agent:*

Disallow: /desenhos/imagens

Disallow: /em_construção

User-agent:Scooter

Disallow:

Por exemplo, o robô Scooter tem acesso ilimitado dentro do site, mas proíbe a outros a ingressar às rotas especificadas. [Scooter é o robô de Altavista].

Se deseja proibir o acesso de qualquer robô a seu lugar:

# Exemplo arquivo robots.txt

User-agent: *

Disallow: /