forum.opennet.ru

Форум Оптимизация и Промышленные системы (Разное)
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP, maxnetstat (ok), 02-Окт-18, (0) [смотреть все]

многие обходили эту панику через отключение ipv6 или nosmp если есть возможност, eRIC (ok), 07:19 , 03-Окт-18, (1) //

Спасибо за ответ smp я отключил но получил в итоге 1 ядро вместо 8 ipv6 также , maxnetstat (ok), 10:03 , 03-Окт-18, (2) //

я не про обычное обновление всей системы писал, а про утилиту Debootstrap посмо, eRIC (ok), 20:05 , 03-Окт-18, (3) //

Знаю о ней, но никогда не использовал Посмотрю, спасибо К сожалению, пока неч, maxnetstat (ok), 08:40 , 04-Окт-18, (4)

C-state отключен Max performace, в bios, влючен Отключение powersave mode throt, asdmkw (?), 21:17 , 29-Апр-21, (6)

gt оверквотинг удален Спасибо за информацию Добавлю в закладки и в случае необ, maxnetstat (ok), 11:14 , 30-Апр-21, (7)

Сообщения [Сортировка по времени | RSS]

1. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP" +/–

Сообщение от eRIC (ok), 03-Окт-18, 07:19

> kernel: [283813.064128] INFO: rcu_sched detected stalls on CPUs/tasks: { 1} (detected by
> 2, t=5252 jiffies, g=22131346, c=22131345, q=6300)
> kernel: [283813.064332] sending NMI to all CPUs:
> kernel: [283813.064335] NMI backtrace for cpu 2
многие обходили эту панику через отключение ipv6 или nosmp. если есть возможность забустрапить свежий Debian и проверить на новом ядре, ну и свежим Quagga поиграть

Ответить | Правка | Наверх | Cообщить модератору

2. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP" +/–

Сообщение от maxnetstat (ok), 03-Окт-18, 10:03

>> kernel: [283813.064128] INFO: rcu_sched detected stalls on CPUs/tasks: { 1} (detected by
>> 2, t=5252 jiffies, g=22131346, c=22131345, q=6300)
>> kernel: [283813.064332] sending NMI to all CPUs:
>> kernel: [283813.064335] NMI backtrace for cpu 2
> многие обходили эту панику через отключение ipv6 или nosmp. если есть возможность
> забустрапить свежий Debian и проверить на новом ядре, ну и свежим
> Quagga поиграть
Спасибо за ответ:)
smp я отключил. но получил в итоге 1 ядро вместо 8.
ipv6 также отключен через sysctl.
Обновить теоретически возможно, но на практике проблема в том,
что ОС уже подготовлена, обкатана в качестве маршрутизатора.
Данное решение используется на нескольких серверах, и обновление одного из них повлечет
ситуацию, когда одинаковые по функционалу сервера будут на разных версия ОС.
А это проблема, ведь они перестают быть взаимозаменяемыми и потребуется обновление всех
серверов :)
Возможно и стоит этим в итоге заняться, но подобные вещи должны планироваться, а на это времени пока нет.
Да и не принесет в целом профита. Того что есть с головой достаточно.
К тому же, такая же система установлена на другом сервере с процессором Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz, и там подобных проблем нет.
Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), т.к. натыкался в инете на то, что замена памяти решила проблему.
Но это уже скорее от того, что варианты "лечения" системы подходят к концу :)

Ответить | Правка | Наверх | Cообщить модератору

3. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP" +/–

Сообщение от eRIC (ok), 03-Окт-18, 20:05

> Обновить теоретически возможно, но на практике проблема в том,
> что ОС уже подготовлена, обкатана в качестве маршрутизатора.
> Данное решение используется на нескольких серверах, и обновление одного из них повлечет
> серверов :)
я не про обычное обновление всей системы писал, а про утилиту Debootstrap. посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве.
> Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered),
> т.к. натыкался в инете на то, что замена памяти решила проблему.
возможно, будем ждать ваших результатов ;)

Ответить | Правка | Наверх | Cообщить модератору

4. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP" +/–

Сообщение от maxnetstat (ok), 04-Окт-18, 08:40

> я не про обычное обновление всей системы писал, а про утилиту Debootstrap.
> посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве.
Знаю о ней, но никогда не использовал. Посмотрю, спасибо :)
>> Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered),
>> т.к. натыкался в инете на то, что замена памяти решила проблему.
> возможно, будем ждать ваших результатов ;)
К сожалению, пока нечем заменить память.
Вчера мне подсказали отключить HyperThreading, но ее отключение не привело к положительным изменения.
Описываю все свои действия, вдруг кому пригодится:)

Ответить | Правка | Наверх | Cообщить модератору

6. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP" +/–

Сообщение от asdmkw (?), 29-Апр-21, 21:17

>> я не про обычное обновление всей системы писал, а про утилиту Debootstrap.
>> посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве.
> Знаю о ней, но никогда не использовал. Посмотрю, спасибо :)
>>> Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered),
>>> т.к. натыкался в инете на то, что замена памяти решила проблему.
>> возможно, будем ждать ваших результатов ;)
> К сожалению, пока нечем заменить память.
> Вчера мне подсказали отключить HyperThreading, но ее отключение не привело к положительным
> изменения.
> Описываю все свои действия, вдруг кому пригодится:)
C-state отключен? Max performace, в bios, влючен?
Отключение powersave mode+throttling:
intel_idle.max_cstate=0 processor.max_cstate=0 intel_pstate=disable acpi=force powersaved=off(старье)
Отключение watchdog-в и проверок, которые могут давать фризы:
mce=ignore_ce nmi_watchdog=0 nowatchdog
Если отключен HT, то можно включить
idle=poll #температура будет повыше, но снижает задержки
cpuidle.off=1
Можно разобраться с балансировкой прерывайний, отключить динамику
acpi_irq_nobalance
Отключить динамические прерывания, перейдя на старый режим
nohz=off
Если хочется выжать максимум, то отключить фиксы безопасности:
mitigations=off (для >=4)
norandmaps(sysctl.conf: kernel.randomize_va_space = 0)
noibrs noibpb nopti nospectre_v1 nospectre_v2 l1tf=off spectre_v2_user=off nospec_store_bypass_disable no_stf_barrier mds=off spectre_v2=off
Дальше уже тюнить параметры сетевухи через ethtool, распределять их по ядрам(numa etc).
Посмотреть в сторону busy pools:
#net.core.busy_poll = 100
#net.core.busy_read = 100

Ответить | Правка | Наверх | Cообщить модератору

7. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP" +/–

Сообщение от maxnetstat (ok), 30-Апр-21, 11:14

>[оверквотинг удален]
> nohz=off
> Если хочется выжать максимум, то отключить фиксы безопасности:
> mitigations=off (для >=4)
> norandmaps(sysctl.conf: kernel.randomize_va_space = 0)
> noibrs noibpb nopti nospectre_v1 nospectre_v2 l1tf=off spectre_v2_user=off nospec_store_bypass_disable
> no_stf_barrier mds=off spectre_v2=off
> Дальше уже тюнить параметры сетевухи через ethtool, распределять их по ядрам(numa etc).
> Посмотреть в сторону busy pools:
> #net.core.busy_poll = 100
> #net.core.busy_read = 100
Спасибо за информацию!
Добавлю в закладки и в случае необходимости опробую ваши советы!
на данный момент проблема решена переходом на аппаратные маршрутизаторы (не из-за этой проблемы)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP"	+/–
Сообщение от eRIC (ok), 03-Окт-18, 07:19
> kernel: [283813.064128] INFO: rcu_sched detected stalls on CPUs/tasks: { 1} (detected by > 2, t=5252 jiffies, g=22131346, c=22131345, q=6300) > kernel: [283813.064332] sending NMI to all CPUs: > kernel: [283813.064335] NMI backtrace for cpu 2 многие обходили эту панику через отключение ipv6 или nosmp. если есть возможность забустрапить свежий Debian и проверить на новом ядре, ну и свежим Quagga поиграть
Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP"	+/–
	Сообщение от maxnetstat (ok), 03-Окт-18, 10:03
	>> kernel: [283813.064128] INFO: rcu_sched detected stalls on CPUs/tasks: { 1} (detected by >> 2, t=5252 jiffies, g=22131346, c=22131345, q=6300) >> kernel: [283813.064332] sending NMI to all CPUs: >> kernel: [283813.064335] NMI backtrace for cpu 2 > многие обходили эту панику через отключение ipv6 или nosmp. если есть возможность > забустрапить свежий Debian и проверить на новом ядре, ну и свежим > Quagga поиграть Спасибо за ответ:) smp я отключил. но получил в итоге 1 ядро вместо 8. ipv6 также отключен через sysctl. Обновить теоретически возможно, но на практике проблема в том, что ОС уже подготовлена, обкатана в качестве маршрутизатора. Данное решение используется на нескольких серверах, и обновление одного из них повлечет ситуацию, когда одинаковые по функционалу сервера будут на разных версия ОС. А это проблема, ведь они перестают быть взаимозаменяемыми и потребуется обновление всех серверов :) Возможно и стоит этим в итоге заняться, но подобные вещи должны планироваться, а на это времени пока нет. Да и не принесет в целом профита. Того что есть с головой достаточно. К тому же, такая же система установлена на другом сервере с процессором Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz, и там подобных проблем нет. Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), т.к. натыкался в инете на то, что замена памяти решила проблему. Но это уже скорее от того, что варианты "лечения" системы подходят к концу :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP"	+/–
	Сообщение от eRIC (ok), 03-Окт-18, 20:05
	> Обновить теоретически возможно, но на практике проблема в том, > что ОС уже подготовлена, обкатана в качестве маршрутизатора. > Данное решение используется на нескольких серверах, и обновление одного из них повлечет > серверов :) я не про обычное обновление всей системы писал, а про утилиту Debootstrap. посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве. > Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), > т.к. натыкался в инете на то, что замена памяти решила проблему. возможно, будем ждать ваших результатов ;)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP"	+/–
	Сообщение от maxnetstat (ok), 04-Окт-18, 08:40
	> я не про обычное обновление всей системы писал, а про утилиту Debootstrap. > посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве. Знаю о ней, но никогда не использовал. Посмотрю, спасибо :) >> Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), >> т.к. натыкался в инете на то, что замена памяти решила проблему. > возможно, будем ждать ваших результатов ;) К сожалению, пока нечем заменить память. Вчера мне подсказали отключить HyperThreading, но ее отключение не привело к положительным изменения. Описываю все свои действия, вдруг кому пригодится:)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP"	+/–
	Сообщение от asdmkw (?), 29-Апр-21, 21:17
	>> я не про обычное обновление всей системы писал, а про утилиту Debootstrap. >> посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве. > Знаю о ней, но никогда не использовал. Посмотрю, спасибо :) >>> Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), >>> т.к. натыкался в инете на то, что замена памяти решила проблему. >> возможно, будем ждать ваших результатов ;) > К сожалению, пока нечем заменить память. > Вчера мне подсказали отключить HyperThreading, но ее отключение не привело к положительным > изменения. > Описываю все свои действия, вдруг кому пригодится:) C-state отключен? Max performace, в bios, влючен? Отключение powersave mode+throttling: intel_idle.max_cstate=0 processor.max_cstate=0 intel_pstate=disable acpi=force powersaved=off(старье) Отключение watchdog-в и проверок, которые могут давать фризы: mce=ignore_ce nmi_watchdog=0 nowatchdog Если отключен HT, то можно включить idle=poll #температура будет повыше, но снижает задержки cpuidle.off=1 Можно разобраться с балансировкой прерывайний, отключить динамику acpi_irq_nobalance Отключить динамические прерывания, перейдя на старый режим nohz=off Если хочется выжать максимум, то отключить фиксы безопасности: mitigations=off (для >=4) norandmaps(sysctl.conf: kernel.randomize_va_space = 0) noibrs noibpb nopti nospectre_v1 nospectre_v2 l1tf=off spectre_v2_user=off nospec_store_bypass_disable no_stf_barrier mds=off spectre_v2=off Дальше уже тюнить параметры сетевухи через ethtool, распределять их по ядрам(numa etc). Посмотреть в сторону busy pools: #net.core.busy_poll = 100 #net.core.busy_read = 100
	Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP"	+/–
	Сообщение от maxnetstat (ok), 30-Апр-21, 11:14
	>[оверквотинг удален] > nohz=off > Если хочется выжать максимум, то отключить фиксы безопасности: > mitigations=off (для >=4) > norandmaps(sysctl.conf: kernel.randomize_va_space = 0) > noibrs noibpb nopti nospectre_v1 nospectre_v2 l1tf=off spectre_v2_user=off nospec_store_bypass_disable > no_stf_barrier mds=off spectre_v2=off > Дальше уже тюнить параметры сетевухи через ethtool, распределять их по ядрам(numa etc). > Посмотреть в сторону busy pools: > #net.core.busy_poll = 100 > #net.core.busy_read = 100 Спасибо за информацию! Добавлю в закладки и в случае необходимости опробую ваши советы! на данный момент проблема решена переходом на аппаратные маршрутизаторы (не из-за этой проблемы)
	Ответить \| Правка \| Наверх \| Cообщить модератору