Robots.txt é um arquivo de muitos web designers colocar em seus servidores para controlar como os robôs de busca "rastrear " o seu site. Um arquivo robots.txt forte pode ajudar a sites diretos, como o Google eo Bing, para o conteúdo relevante e bloqueá-los de acessar dados protegidos . Ativando robots.txt pode levar um pouco de trabalho , mas desativá-lo é muito mais fácil . Você sempre pode habilitá-lo novamente mais tarde. Instruções
1

Log para a pasta do servidor que contém o arquivo robots.txt.
2

Renomeie o arquivo robots.txt outra coisa, por exemplo " robotsdisabled.txt " ou " robotsoff.txt . " Em muitas configurações de acesso ao servidor , você pode simplesmente clicar no nome do arquivo e aguarde alguns segundos para que o nome de destacar a fazê-lo . Qualquer coisa que não seja a exata grafia " robots.txt " vai desligá-lo, mantendo o arquivo em seu servidor. Você pode reativá-lo a qualquer momento , alterando o nome de volta.
3

Salve as alterações para o servidor . A próxima vez que qualquer motor de busca rastrear o seu site , ele irá ignorar o arquivo desativado.