Beh, direi che phpbb possa essere il candidato migliore, con le ultime versioni hanno fixato alcuni bug di sicurezza ed è un forum che gestisce tranquillamente una grande mole di messaggi ed utenti.
ce ne sono altri che puoi visionare in
demo quì, però sinceramente li conosco poco perchè non li ho mai usati.