Holla!
Pode não desgastar a bateria mas o calor gerado tanto no dispositivo como no pobre carregador plugado na tomada geram indiretamente desgastes (fora o risco de iniciar um verdadeiro INCENDIO, coisa comum, em especial em carregadores de origem duvidosa (e.g. baratos ou do tipo "turbo" que excedem as especificações de fabrica, e portanto a segurança!)