As duas formas – espinha e espinho – existem na Língua Portuguesa.

Ou seja, ambas as expressões estão corretas, devendo, no entanto, serem usadas em diferentes situações; não são termos sinônimos.

Espinha significa termo vulgar para os ossos dos peixes; termo vulgar para a coluna vertebral; acúmulo de secreção das glândulas.

A ingestão de corpo estranho, como espinha de peixe, é uma situação clínica frequente.
Ninguém tentou quebrar a espinha a ninguém!

Espinho significa parte aguda e picante de um vegetal; pico; pelo rijo de alguns animais.

Costuma-se dizer que todas as rosas têm espinhos.
Espinho, em botânica, é um órgão axial ou apendicular, duro e pontiagudo.


Referências

Espinha advém do latim spina.
Espinho advém do latim spinus.