Além dos passos já citados, de renomear e etc, uma coisa pode ser feita: A extensão rmvb pode causar um pouco de confusão ao ffmpegx. Tente renomear o arquivo para .rm. Para mim, funcionou.
Tem um tutorial que é legalzinho aqui... http://forum.videohelp.com/topic349046.html