As duas formas – enrascada e enroscada – existem na Língua Portuguesa.

Ou seja, ambas as expressões estão corretas, devendo, no entanto, ser usadas em diferentes situações.

Enrascada significa ato ou efeito de enrascar(-se); apuro, aperto, enrascadela; situação adversa; complicação.

Foste tu que criaste esta enrascada.
Vocês dois estão em uma grande enrascada.

Enroscada, com a sílaba -ros-, é o feminino de enroscado – significa enrolado sobre si mesmo; revoluteado em forma de rosca; contraído, encolhido.

Costuma dormir enroscada.
Não guarde a sua caneta com a agulha enroscada.


Referências

Enrascada é uma forma substantivada de enrascado.
Enroscado é o particípio passado de enroscar.