As duas formas – trimestral e trimensal – existem na Língua Portuguesa.

Ou seja, ambas as expressões estão corretas, devendo, no entanto, serem usadas em diferentes situações.

Trimestral é referente ao período de três meses; que se faz ou sucede de três em três meses.

Novas versões de produtos são lançadas num ciclo trimestral.

Trimensal significa que ocorre três vezes por mês ou que se faz três vezes ao mês; pode ser similar a dizer que ocorre a cada 10 dias ( tendo como média o mês a 30 dias e se for em regime regular).

Nos EUA pagam em regime trimensal.


Referências

Trimestral advém da construção trimestre + al.
Trimensal advém da construção tri + mensal.