Moim zdaniem pierwsza rzecz jaką powinieneś zrobić to sprawdzić ilu ruchu w ciągu dnia generuje twój serwer.
Widziałem propozycję Cisco PIX i moim zdaniem stwierdzenie że nie da rady opędzić ruchu generowanego przez jeden serwer jest mocno (raczej nie mamy doczynienia z serwerem z interfejsem 10Gb) na wyrost, sporo firm pracuje jeszcze na tym sprzęcie.
ale wracając do tematu proponuję przyjrzeć się http://blog.bodhizazen.net/linux/prevent-dos-with-iptables/ podstawić własne porty których używa serwer i metodą prób i błędów tuningować reguły. Polecam wpierw konfiguracje na wirtualce aby twoi użytkownicy nie ucierpieli za bardzo na etapie wdrożenia.
Osobiście nie wybierałbym firewalla Cisco na potrzeby jednego serwera a Junipera w tym systemie płatności jak opisywyłeś to chyba provider troche przegioł. Przy odrobinie czasu IPtables przyswoisz w moment.
Pozdro