As duas formas – base e baze – existem na Língua Portuguesa.

Ou seja, ambas as expressões estão corretas, devendo, no entanto, ser usadas em diferentes situações.

Presumo que a dúvida é referente a algo no qual outras coisas se apóiam; fundação, fundamento etc. Nesse caso é escrito com a consoante “s” -se. No entanto, é conveniente referir que “baze” também existe.

Base significa algo no qual outras coisas se apóiam; fundação, fundamento; o lugar onde decisões são tomadas; quartel-general; local de acantonamento e treino de forças militares.

A base das bitcoins são códigos.
O “curriculum” deve servir apenas como base para o recrutamento de profissionais.
Uma base militar é uma instalação vocacionada para responder às necessidades das forças armadas.

Notar que outras definições estão também associados à palavra base; número que é elevado a uma potência, parte mais baixa de uma coluna, etc.

Diz-se também do cosmético facial usado para disfarçar pequenas imperfeições da pele.

A base é o princípio de uma boa maquilhagem.

Baze é uma forma verbal do verbo bazar, nomeadamente a primeira e terceira pessoa do singular do presente do subjuntivo e a terceira pessoa do singular do imperativo do verbo.

que eu [ baze ], que ele; ela; você [ baze ], [ baze ] ele; ela; você

Baze, e já!
E quem não gostar que feche a porta e baze daqui para fora.

Obs:
_ verbo bazar = fugir precipitadamente, desaparecer; vazar
_ notar que este verbo é usado de forma coloquial; apesar disso é um termo dicionarizado


Referências

Base advém do latim basis.
Baze advém do verbo bazar.