Я вынужден признать, что fail2ban в Debian Jessie оказался неюзабельным. Дело в постоянных ошибках iptables в логе. Есть даже issue на GitHub, однако разработчики не хотят разбираться в проблемах пользователей и быстро закрывают issue мотивируя "используйте последнюю версию".
При запуске службы была ошибка
2017-10-07 11:58:17,637 fail2ban.filter [4408]: ERROR Error in FilterPyinotify callback: 'module' object has no attribute '_strptime_time'
Странно, что в стабильный дебиане мейнтейнеры прозевали эту ошибку. Решение (патч) есть на GitHub
Вы сделали фильтр, чтобы избавиться от спамеров/ботов/etc. Как его протестировать? Очень просто:
fail2ban-regex
например
fail2ban-regex /var/log/mail.log /etc/fail2ban/filter.d/postfix.conf
Если fail2ban не запускается, то и в логи он ничего не пишет. Чтобы узнать причину отказа в запуске нужно запустить команду
fail2ban-client -x start