As duas formas havia e houve estão corretas, contudo seus significados são diferentes.

Ou seja, ambas as palavras estão corretas e são formas verbais do verbo haver mas empregues em diferentes tempos verbais.

Havia é a primeira e terceira pessoa do singular do pretérito imperfeito do indicativo do verbo.

eu [ havia ], ele; ela; você [ havia ]

Fizeste-me lembrar coisas que eu havia esquecido.
Poderia jurar que havia alguém naquela sala comigo.
Não havia motivo para ela morrer.

Obs:
pretérito imperfeito = referente a um fato ocorrido no passado, mas que não foi completamente terminado ou para falar de um hábito ou acontecimento que ocorria no passado com frequência; indicar continuidade em relação a outro fato que também ocorria no passado e para falar do que era presente em um momento do passado que se está descrevendo

Houve é a primeira e a terceira pessoa do singular do pretérito perfeito do indicativo do verbo.

eu [ houve ], ele; ela; você [ houve ]

Houve algum erro administrativo.
Segundo o jornal, não houve testemunhas.
Os desfechos primários foram semelhantes, ou seja, não houve diferença.

Obs:
pretérito perfeito = referente ao passado; exprime ações concluídas no passado


Referências

verbo haver = ser bem-sucedido na consecução de; obter; ser proprietário de; possuir (significado de haver)