Sim, você deve excluir o valor atual em uma célula antes de começar a inserir um novo valor. Para fazer isso, você pode simplesmente selecionar a célula e pressionar a tecla Delete no teclado ou clicar com o botão direito na célula e selecionar a opção Excluir no menu de contexto.