Вариант для распечатки		Пред. тема | След. тема
Форум WEB технологии (PHP)
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Паралельное выполнение обработки файлов, Nightman_Sha (ok), 09-Янв-24, (0) [смотреть все] Не делай scandir, а читай имена файлов для обработки из STDIN После этого завор, ACCA (ok), 20:32 , 10-Янв-24, (1)   // gt оверквотинг удален Меня мало беспокоит производительность ScanDir на большо, Nightman_Sha (ok), 12:55 , 11-Янв-24, (2)   // Это оноhttps stackoverflow com questions 70855 how-can-one-use-multi-threading, Аноним (3), 23:13 , 12-Янв-24, (3)   Я тебе это и показал Складываешь имена файлов в файл Рвёшь его на N кусков Зап, ACCA (ok), 03:33 , 14-Янв-24, (4)   1

Сообщения

[Сортировка по времени | RSS]

1. "Паралельное выполнение обработки файлов"	+/–
Сообщение от ACCA (ok), 10-Янв-24, 20:32
Не делай scandir, а читай имена файлов для обработки из STDIN. После этого заворачиваешь свой PHP во что-нибудь вроде #!/bin/bash ORIGDIR=/opt CPUS=$(expr $(nproc) - 2) TMPFILE=$(mktemp) trap "rm $TMPFILE $TMPFILE.*" EXIT find $ORIGDIR -type f > $TMPFILE split -n l/$CPUS $TMPFILE $TMPFILE. for LST in $TMPFILE.* do     wc -l < $LST & done wait wait Для примера обработки здесь использован wc. Количество параллельных процессов = число ядер-2 (пару ядер оставим для другой работы).
Ответить | Правка | Наверх | Cообщить модератору

	2. "Паралельное выполнение обработки файлов"	+/–
	Сообщение от Nightman_Sha (ok), 11-Янв-24, 12:55
	>[оверквотинг удален] > split -n l/$CPUS $TMPFILE $TMPFILE. > for LST in $TMPFILE.* > do >     wc -l < $LST & > done > wait > wait > > Для примера обработки здесь использован wc. Количество параллельных процессов = число ядер-2 > (пару ядер оставим для другой работы). Меня мало беспокоит производительность ScanDir на большом кол-ве файлов. Львиная доля времени уходит не на ScanDir, а на последовательную обработку файлов по одному. И перенести логику обработки из PHP нельзя, там серьезная обработка. Вот распаралелить возможно , осталось выяснить как :)
	Ответить | Правка | Наверх | Cообщить модератору

	3. "Паралельное выполнение обработки файлов"	+/–
	Сообщение от Аноним (3), 12-Янв-24, 23:13
	Это оно https://stackoverflow.com/questions/70855/how-can-one-use-mu... https://www.php.net/manual/en/class.thread.php ??
	Ответить | Правка | Наверх | Cообщить модератору

	4. "Паралельное выполнение обработки файлов"	+/–
	Сообщение от ACCA (ok), 14-Янв-24, 03:33
	> Вот распаралелить возможно , осталось выяснить как :) Я тебе это и показал. Складываешь имена файлов в файл. Рвёшь его на N кусков. Запускаешь N процессов, каждому кусок списка файлов. Обрабатываешь параллельно. Ждёшь, когда все закончатся.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема