Esa opción no es viable por dos cuestiones.
a) Por seguridad, siempre es mejor camuflarse y hacer como que no estás antes que responder nada y delatar tu presencia. Por eso el firewall está configurado para hacer DROP y no REJECT, porque el REJECT revelaría que hay algo, mientras que el DROP, aparte de retrasarle un par de segundos a los spammers, te hace indistinguible de una IP muerta.
b) Por practicidad, sería extremadamente dificil colarle esta configuración a NGINX sin hacer que cada request tarde segundos en procesarse. Este es el permalink de la banlist con la que actualizo a diario mi cortafuegos: https://github.com/firehol/blocklist-ipsets/blob/master/stopforumspam_30d.ipset. Puedes mirar el número de líneas que tiene este archivo: reventaría. El programa que uso para hacer esto es ipset, que utiliza estructuras de datos binarias para optimizar el funcionamiento de iptables y poder hacer el emparejamiento de una forma mucho más rápida.