> Вставил правила перед правилом с "-state ESTABLISHED,RELATED" и все считается и логируется!

А соответствующие ему пакеты точно представляют интерес? Чтобы выяснить, кто и когда заходил на TCP-сервер, достаточно SYN-пакетов. Остальные нужны только если надо знать сколько он висел и сколько данных передал.

> Можете написать хотя бы один пример, как с помощью awk мне вывести
> команду в отдельный файл?

Команду в файл лучше выводить не awk'ом, а с помощью шелла:
exec команда > файл
Шелл при этом свяжет дескриптор вывода с файлом и завершится, передав управление команде. Чтобы шелл не завершался, убрать "exec". Awk понадобится для парсинга вывода по полям и его обработки программой (на нём можно реализовать алгоритм лимитирования вывода, как — не подскажу).