A forma correta de escrita é mal-estar de acordo com a Língua Portuguesa.

Ou seja, é escrito com a palavra “mal”.

Mal-estar significa indisposição física; sensação desagradável; incómodo; estado de inquietação. A palavra “mal” é um advérbio e forma com a palavra seguinte “estar” uma unidade vocabular que significa incómodo; indisposição.

Sinto um mal-estar geral.
Está cheia de dores e a sofrer de um mal-estar intenso.

A palavra “mau” é um adjetivo usado como atributo a algo.

Estou de mau humor.

Mau-estar não está gramaticalmente correto na Língua Portuguesa.


Referências

O plural de mal-estar é mal-estares.