O ambiente de shell do Unix é projetado para a leitura e manipulação de arquivos de texto ( entre outras tarefas ) . Os arquivos de configuração , scripts e código fonte são arquivos de texto simples que podem ser lidos em qualquer editor de texto. Por essa razão, existem comandos para tarefas como combinar arquivos , remoção de linhas e colunas e em busca de informações. Através da combinação de comandos shell com a linguagens de script " awk " e " sed ", você pode realizar tarefas de edição de alto nível , incluindo a remoção de linhas duplicadas de um ou mais arquivos de texto, a partir da linha de comando , sem nunca abrir um editor de texto . Coisas que você precisa
Unix
Mostrar Mais instruções
arquivo pode ser ordenado alfabeticamente
1

Faça um backup do arquivo que você está trabalhando : documento cp . txt document.txt.bkup
2

Emita o comando : comando sort- u document.txtThis irá classificar o arquivo e remover todas as linhas duplicadas
3

. Remova as linhas em branco com o comando: uniq document.txt
o arquivo não pode ser ordenada alfabeticamente
4

Faça um arquivo de backup : cp document.txt document.txt.bkup
5

Emita o seguinte comando awk : awk ' ! ($ 0 em a) {a [$ 0]; print} ' document.txt > unique.txtYour entradas exclusivas podem ser encontrados no arquivo nomeado unique.txt
6

Renomeie o arquivo de texto com o lines.cp único unique.txt document.txtThis coloca as entradas exclusivas de volta para o arquivo original.
combinar dois arquivos e encontrar as linhas duplicadas
7

Faça um arquivo de backup : cp document.txt document.txt.bkup
8

Emita o comando: cat doc1.txt doc2 . txt > combine.txtThis comando combina doc1.txt e doc2.txt no arquivo combine.txt
9

Retire o duplicado lines.Use ou o tipo e os comandos uniq ou o comando awk especificado acima.