Swift é mais fácil em relação ao Obj-C por não ter que se preocupar com algumas coisas que era preciso, mas ainda é uma linguagem bem baixo nível, precisa-se ter um conhecimento de interação com o hardware. Te aconselho a começar com uma linguagem que vá te ensinar mais a lógica da programação. Começa com PHP, Javascript, Python etc. Aconselho PHP.
Abs.