Google informa sobre como usa o Robots.txt dos nossos sites

No blog de Google para Webmasters anunciaram a divulgação da informação referente ao que faz Google quando encontra contradições em um arquivo robots.txt, a como evitar a indexação de alguns formatos e, em geral, a como devemos criar nosso arquivo para controlar exatamente que queremos que apareça no google.

No code.google.com/web/controlcrawlindex temos a informação, com as especificações, meta-tags e técnicas que todo administrador web tem que conhecer para controlar a visibilidade do conteúdo que publica.

Um novo tutorial sobre o conhecido Robots.txt, desta vez feito por quem conhece profundamente o tema: Google.