Seu servidor Web -powered PHP responde a qualquer usuário ou motor de busca que navega no seu website. Se você criou um subdomínio com conteúdo duplicado , é melhor para bloquear os motores de busca de acessar essas páginas. Você usa o arquivo " robots.txt " para bloquear os subdomínios de ser rastreado. Este arquivo é um arquivo de texto simples que você pode criar e editar usando o Bloco de Notas . Ele deve ser colocado no diretório raiz do seu servidor web. Instruções
1

Clique no Windows botão " Iniciar" e digite " notepad" na caixa de pesquisa . Pressione "Enter " para iniciar o editor de texto Bloco de Notas. Abra um novo documento
2

Copie e cole o seguinte código para o novo documento: .

User- agent: * Disallow: /
3

Salve o arquivo e certifique-se que o nome " robots.txt " .
4

Abra seu painel de console do servidor ou controle. Cada provedor de hospedagem tem sua própria interface , então siga o procedimento habitual para o login e , em seguida, navegue até a pasta raiz do seu subdomínio.
5

Carregar o arquivo robots.txt para o diretório raiz do subdomínio em seu servidor web PHP. Os motores de busca estão agora impedidos de todos os diretórios e arquivos deste subdomínio.