Os três melhores geradores de arquivos Robots.txt

O arquivo Robots.txt tem que estar sempre presente nos nossos sites. Ele é o responsável de avisar aos buscadores o conteúdo que pode e o que não pode ser mostrado na Internet, especificando o tempo que pode dedicar em cada página.

Vamos ver três opções que temos para gerar este arquivo de forma simples.

No Mcanerin podemos especificar as pastas e o tempo máximo que devem investir os bots em cada uma.

Frobee.com nos permite validar nosso arquivo para ver se tem o formato correto.

No invision-graphics.com temos uma ferramenta de gerenciamento deste arquivo bem interessante, especificando a ação que cada bot pode realizar em cada uma das nossas pastas.

Uma boa ajuda para quem quer ter um site perfeitamente desenhado para ser encontrado pelos diferentes buscadores.