Em teoria você está certo, mas no iPhone (que é o caso) já tentei desabilitar o iCloud e ver no que dá, mas não funcionou.
Nas configs do Gmail não tem mais a opção de sincronizar os contatos, apenas mail, calendários e notas.
Pelo que vi que ocorreu por aqui quando reativei o sinc com o iCloud os contatos que já estavam no celular foram sincronizados novamente, mas os que estão no Google não.
Consegui ser claro?
Marcelo Romera
http://marceloromera.com.br/