As duas formas – cite e site – podem ser usadas na Língua Portuguesa tendo em conta que “site” é um estrangeirismo.

Ou seja, ambas as expressões estão corretas, devendo, no entanto, ser usadas em diferentes situações.

Cite, como substantivo, significa o ato de citar o touro. Como forma verbal é referente ao verbo citar = mencionar, dar referência ao texto de outra pessoa.

que eu [ cite ], que ele; ela; você [ cite ], [ cite ] ele; ela; você

Cite um exemplo prático que confirme o que diz.
O touro arrancou célere ao primeiro cite.

Site é um estrangeirismo e significa local na Internet identificado por um nome de domínio, constituído por uma ou mais páginas de hipertexto.

A palavra “site” tem uma adaptação direta para português que é a palavra sítio pelo que é possível encontrar textos com ambos os termos.

Este site é sobre a Língua Portuguesa.
Entre 300 a 500 novos sites são criados a cada minuto.

Obs: podemos também encontrar a palavra “saite” em alguns textos


Referências

Cite advém do verbo citar.
Site advém do inglês site.