O mac pro tem a conexão mini pci na placa lógica para encaixar esse cabinho, no mercado livre ele custa por volta de R$ 60,00.
Placas NVdia (de pc ou for mac) rodam tranquilamente no Mac Pro porque a nvidia fornece os drivers. Já as placas radeon algumas possuem drivers e outras funcionam nativamente por serem usadas em alguns modelos (por exemplo a radeon 5770).
A unica coisa que ocorre se você remover a placa original e colocar uma de pc é perder a tela de boot, o mac só apresentará imagem após o boot direto no desktop ou na tela de login do usuário.