The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Паралельное выполнение обработки файлов"
Версия для распечатки Пред. тема | След. тема
Форум WEB технологии
Исходное сообщение [ Отслеживать ]

. "Паралельное выполнение обработки файлов" +/
Сообщение от ACCA (ok), 10-Янв-24, 20:32 
Не делай scandir, а читай имена файлов для обработки из STDIN. После этого заворачиваешь свой PHP во что-нибудь вроде

#!/bin/bash

ORIGDIR=/opt

CPUS=$(expr $(nproc) - 2)
TMPFILE=$(mktemp)
trap "rm $TMPFILE $TMPFILE.*" EXIT

find $ORIGDIR -type f > $TMPFILE
split -n l/$CPUS $TMPFILE $TMPFILE.

for LST in $TMPFILE.*
do
    wc -l < $LST &
done
wait
wait

Для примера обработки здесь использован wc. Количество параллельных процессов = число ядер-2 (пару ядер оставим для другой работы).

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Паралельное выполнение обработки файлов, Nightman_Sha, 09-Янв-24, 08:15  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру