Доброго времени суток!
Задача в общем смысле стоит следующем - принимать логи в CEF формате и заносить в бд, но ещё до сохранения в БД возникают проблемы.
При приёме и сохранении в файл как RemoteLogs стандартным способом -$template RemoteLogs,"/var/log/remote/%HOSTNAME%/%PROGRAMNAME%.log"
*.* ?RemoteLogs
& stopRsyslogd видимо применяет встроенный шаблон парсинга и сохраняет вот в таком виде(обрезал с конца)
2025-12-01T15:38:07-05:00 RIO-DZ-16-N1 CEF: 0|R&K|DEZ7000 V2|2.3.4-55|16|Opisanie signatury etc|10|devId=55567 start=1764592626000
То есть он парсит участок "CEF:" видимо как %syslogtag% и вставляет пробел после него. Если эту строку скормить нормализатору как
tail -n 1 ./CEF.log | lognormalizer -e json -r cef2.rb | jq .
где cat cef2.rb
rule=:%date:date-rfc5424% %host:word% %f:cef%%
то выдаёт следующее
{
"originalmsg": "2025-12-01T15:38:07-05:00 RIO-DZ-16-N1 CEF: 0|R&K|DEZ7000 V2|2.3.4-55|16|Opisanie signatury etc|10|devId=55567 start=1764592626000",
"unparsed-data": "CEF: 0|R&K|DEZ7000 V2|2.3.4-55|16|Opisanie signatury etc|10|devId=55567 start=1764592626000"
}
Если вручную удалить пробел между CEF: и 0 то выдаёт уже нормально
"f": {
"DeviceVendor": "R&K",
"DeviceProduct": "DEZ7000 V2",
"DeviceVersion": "2.3.4-55",
"SignatureID": "16",
"Name": "Opisanie signatury etc",
...Пробовал прописывать в ruleset
action(type="mmnormalize" rulebase="cef2.rb")
action(type="omfile" file="/var/log/debugcef" template="cefdebug")
но там такая же история - пустые переменные :(
Видимо ещё до модуля mmnormalize в каком то input module вставляется этот пробел и весь парсинг CEF идёт на смарку. Проверял в дампе входящего трафика и там между CEF: и 0 пробела нет!
Уважаемые гуру rsysloga! Есть ли у кого опыт заставить rsyslog принимать CEF логи корректно? Вручную же через lognormalizer всё раскладывается успешно!
Написать фикс-однострок уже не камильфо?
А какой у тоби template для записи ?Типа такого что-то должно быть для json/cef
<pre>
template(name="file_short" type="list") {
property(name="timegenerated" dateFormat="year")
constant(value=".")
property(name="timegenerated" dateFormat="month")
constant(value=".")
property(name="timegenerated" dateFormat="day")
constant(value=" ")
property(name="timegenerated" dateFormat="hour")
constant(value=":")
property(name="timegenerated" dateFormat="minute")
constant(value=":")
property(name="timegenerated" dateFormat="second")
constant(value=" ")
property(name="hostname")
property(name="msg" spifno1stsp="on")
property(name="msg" droplastlf="on")
constant(value="\n")
}
</pre>