На сервере терабайты логов, их надо времена парсить временами, разыскивая всякое. В некоторых случаях парсер ломается, проработав часа 3. Подозреваю, что память заканчивается и поэтому он ломается. Хотелось бы как-то это понять. Как? Можно как-то выяснить сколько процентов физической RAM, своп-файла было занято в максимально на сервере? Дело в том, что подбираю конфиг для нового сервера и не понятно, надо ли больше памяти или и так её слишком много. Когда только запускаю парсер, то если смотрю с помощью htop используемую память, то её сильно меньше общего количества физической и значение не растёт, но что там будет через несколько часов работы парсера - не знаю и постоянно вручную смотреть - какой-то мутный вариант, да и CPU мне за это время может понадобиться для дела - не хотелось бы его занимать на много часов ради эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать как потребление памяти? Есть какие-то инструменты, но только чтоб не строить графики в web типа Cacti и т.д.
top -b
atop. Потом посмотришь его логи, только период замеров не забудь поставить нужный
Munin
поставить систему мониторинга, какая нравится, например Zabbix
> поставить систему мониторинга, какая нравится, например Zabbix- Пацаны, тут надо с дачи ведерко помидор привезти...
- Бро, тебе Камаз нужен, иначе никак!
> - Пацаны, тут надо с дачи ведерко помидор привезти...
> - Бро, тебе Камаз нужен, иначе никак!Да, разбираться с Заббиксом мне бы не хотелось (я его вообще не знаю) из-за такой ерундовой (на мой некомпетентный взгляд), разовой задачки. Хотелось бы чего-то максимально простого.
>[оверквотинг удален]
> и не понятно, надо ли больше памяти или и так её
> слишком много. Когда только запускаю парсер, то если смотрю с помощью
> htop используемую память, то её сильно меньше общего количества физической и
> значение не растёт, но что там будет через несколько часов работы
> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
> вариант, да и CPU мне за это время может понадобиться для
> дела - не хотелось бы его занимать на много часов ради
> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
> графики в web типа Cacti и т.д.Поскольку вы не пишите что за ОС на сервере - предположу что виндовс.
Ищите в поисковике "счетчики производительности windows"Ну а в линухах есть такая штука как sar - если не выпендривались и ставили например centos (вы же не поставили на сервер убунту да?) по умолчанию - то он там есть и работает.
ищите в поисковике как посмотреть через него параметры системы за нужный промежуток времени
> Поскольку вы не пишите что за ОС на сервере - предположу
> что виндовс.
> Ищите в поисковике "счетчики производительности windows"Вверху есть "Мониторинг, логи / Linux" - я думал этого достаточно.
> Ну а в линухах есть такая штука как sar - если не
> выпендривались и ставили например centos (вы же не поставили на сервер
> убунту да?) по умолчанию - то он там есть и работает.У меня Debian Stretch.
> ищите в поисковике как посмотреть через него параметры системы за нужный промежуток
> времениСпасибо, почитаю.
# cat /proc/meminfo
>[оверквотинг удален]
> и не понятно, надо ли больше памяти или и так её
> слишком много. Когда только запускаю парсер, то если смотрю с помощью
> htop используемую память, то её сильно меньше общего количества физической и
> значение не растёт, но что там будет через несколько часов работы
> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
> вариант, да и CPU мне за это время может понадобиться для
> дела - не хотелось бы его занимать на много часов ради
> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
> графики в web типа Cacti и т.д.# IDX=1; while [[ $IDX -le 10 ]]; do ( date&&free) >> 123 ;sleep 2 ; IDX=$(($IDX + 1 )); done
получите файлик 123 в котором с интервалом в 2 секунду отражены данные 10-ти замеров занятой/свободной памяти
варьируя интервал и количество замеров можно добиться нужной продолжительности мониторинга....
>[оверквотинг удален]
> и не понятно, надо ли больше памяти или и так её
> слишком много. Когда только запускаю парсер, то если смотрю с помощью
> htop используемую память, то её сильно меньше общего количества физической и
> значение не растёт, но что там будет через несколько часов работы
> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
> вариант, да и CPU мне за это время может понадобиться для
> дела - не хотелось бы его занимать на много часов ради
> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
> графики в web типа Cacti и т.д.Что за парсер? grep | less наврядли упадет.
>[оверквотинг удален]
>> слишком много. Когда только запускаю парсер, то если смотрю с помощью
>> htop используемую память, то её сильно меньше общего количества физической и
>> значение не растёт, но что там будет через несколько часов работы
>> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
>> вариант, да и CPU мне за это время может понадобиться для
>> дела - не хотелось бы его занимать на много часов ради
>> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
>> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
>> графики в web типа Cacti и т.д.
> Что за парсер? grep | less наврядли упадет.Самописный.