O arquivo Robots.txt tem que estar sempre presente nos nossos sites. Ele é o responsável de avisar aos buscadores o conteúdo que pode e o que não pode ser mostrado na Internet, especificando o tempo que pode dedicar em cada página.
Vamos ver três opções que temos para gerar este arquivo de forma simples.
No Mcanerin podemos especificar as pastas e o tempo máximo que devem investir os bots em cada uma.
Frobee.com nos permite validar nosso arquivo para ver se tem o formato correto.
No invision-graphics.com temos uma ferramenta de gerenciamento deste arquivo bem interessante, especificando a ação que cada bot pode realizar em cada uma das nossas pastas.
Uma boa ajuda para quem quer ter um site perfeitamente desenhado para ser encontrado pelos diferentes buscadores.