A forma correta de escrita é retiveram de acordo com a Língua Portuguesa.
Ou seja, “reter” é um verbo irregular que segue o paradigma do verbo “ter”, mesmo formato de conjugação.
Retiveram é uma forma verbal do verbo reter, nomeadamente a terceira pessoa do plural do pretérito perfeito do indicativo e a terceira pessoa do plural do pretérito mais-que-perfeito do indicativo do verbo.
eles; elas; vocês [ retiveram ]
{ relativo a uma situação passada ou concluída }
Eles retiveram ilegalmente receitas que não lhes pertenciam.
Os seguranças retiveram as suspeitas até à chegada da polícia.
Obs:
pretérito perfeito = referente ao passado
pretérito mais-que-perfeito = referente ao passado do passado
Reteram não existe na Língua Portuguesa.
Referências
Reter significa não largar da mão; segurar; não deixar sair; conter.