<?xml version="1.0" encoding="koi8-r"?>
<rss version="0.91">
<channel>
    <title>OpenForum RSS: Паралельное выполнение обработки файлов</title>
    <link>https://opennet.ru/openforum/vsluhforumID8/8372.html</link>
    <description>Добрый день! &lt;br&gt;Имеем&lt;br&gt;PHP Version 7.4.10&lt;br&gt;Есть скрипт, который выполняет scandir нужного каталога в отдельной функции и возвращает массив&lt;br&gt;&lt;br&gt;Затем бежит по этому массиву и выполняет процессинг &quot;по одному&quot;:&lt;br&gt;&lt;br&gt;foreach ($lrFiles as $lsKey =&amp;gt; $lsFile) &#123;&lt;br&gt;      $this-&amp;gt;CopyToArchivDir($lsOrigDir. $lsFile , PRESENTATION_DIR.&apos;../&apos;.$irService&#091;&apos;InFileDir&apos;&#093;);&lt;br&gt;      $lbResult = $this-&amp;gt;ProcessFile($lsOrigDir . $lsFile);&lt;br&gt;      if ($lbResult) &#123;&lt;br&gt;        unlink($lsOrigDir . $lsFile);&lt;br&gt;      &#125;&lt;br&gt;    &#125;&lt;br&gt;&lt;br&gt;ProcessFile достаточно тяжелая , выполняются всякие iconv, ввод/вывод в БД и другие преобразования. Не суть.&lt;br&gt;&lt;br&gt;Вопрос: можно ли распараллелить выполнение ProcessFile минуя последовательную обработку&quot;по одному&quot;.&lt;br&gt;Чтобы процессинг шел _безопасно_ в паралели на несколько трэдов.&lt;br&gt;&lt;br&gt;googlение дает противоречивое, куча фремворков и встроенных возможностей PHP. А какие надежные и безопасные? Учитывая, что с PHP я знаком не хорошо ..&lt;br&gt;Направьте пожалуйста в нужное русло&lt;br&gt;Спасибо&lt;br&gt;&lt;br&gt;&lt;br&gt;</description>

<item>
    <title>Паралельное выполнение обработки файлов (ACCA)</title>
    <link>https://opennet.ru/openforum/vsluhforumID8/8372.html#4</link>
    <pubDate>Sun, 14 Jan 2024 00:33:14 GMT</pubDate>
    <description>&amp;gt; Вот распаралелить возможно , осталось выяснить как :) &lt;br&gt;&lt;br&gt;Я тебе это и показал.&lt;br&gt;&lt;br&gt;Складываешь имена файлов в файл. Рвёшь его на N кусков. Запускаешь N процессов, каждому кусок списка файлов. Обрабатываешь параллельно. Ждёшь, когда все закончатся.&lt;br&gt;&lt;br&gt;</description>
</item>

<item>
    <title>Паралельное выполнение обработки файлов (Аноним)</title>
    <link>https://opennet.ru/openforum/vsluhforumID8/8372.html#3</link>
    <pubDate>Fri, 12 Jan 2024 20:13:25 GMT</pubDate>
    <description>Это оно&lt;br&gt;&lt;br&gt;https://stackoverflow.com/questions/70855/how-can-one-use-multi-threading-in-php-applications&lt;br&gt;&lt;br&gt;https://www.php.net/manual/en/class.thread.php&lt;br&gt;&lt;br&gt;??&lt;br&gt;</description>
</item>

<item>
    <title>Паралельное выполнение обработки файлов (Nightman_Sha)</title>
    <link>https://opennet.ru/openforum/vsluhforumID8/8372.html#2</link>
    <pubDate>Thu, 11 Jan 2024 09:55:26 GMT</pubDate>
    <description>&amp;gt;&#091;оверквотинг удален&#093;&lt;br&gt;&amp;gt; split -n l/$CPUS $TMPFILE $TMPFILE.&lt;br&gt;&amp;gt; for LST in $TMPFILE.* &lt;br&gt;&amp;gt; do &lt;br&gt;&amp;gt;     wc -l &amp;lt; $LST &amp; &lt;br&gt;&amp;gt; done &lt;br&gt;&amp;gt; wait &lt;br&gt;&amp;gt; wait &lt;br&gt;&amp;gt; &#091;/code&#093; &lt;br&gt;&amp;gt; Для примера обработки здесь использован wc. Количество параллельных процессов = число ядер-2 &lt;br&gt;&amp;gt; (пару ядер оставим для другой работы).&lt;br&gt;&lt;br&gt;Меня мало беспокоит производительность ScanDir на большом кол-ве файлов.&lt;br&gt;Львиная доля времени уходит не на ScanDir, а на последовательную обработку файлов по одному.&lt;br&gt;И перенести логику обработки из PHP нельзя, там серьезная обработка.&lt;br&gt;Вот распаралелить возможно , осталось выяснить как :)&lt;br&gt;&lt;br&gt;</description>
</item>

<item>
    <title>Паралельное выполнение обработки файлов (ACCA)</title>
    <link>https://opennet.ru/openforum/vsluhforumID8/8372.html#1</link>
    <pubDate>Wed, 10 Jan 2024 17:32:27 GMT</pubDate>
    <description>Не делай scandir, а читай имена файлов для обработки из STDIN. После этого заворачиваешь свой PHP во что-нибудь вроде&lt;br&gt;&#091;code&#093;&lt;br&gt;#!/bin/bash&lt;br&gt;&lt;br&gt;ORIGDIR=/opt&lt;br&gt;&lt;br&gt;CPUS=$(expr $(nproc) - 2)&lt;br&gt;TMPFILE=$(mktemp)&lt;br&gt;trap &quot;rm $TMPFILE $TMPFILE.*&quot; EXIT&lt;br&gt;&lt;br&gt;find $ORIGDIR -type f &amp;gt; $TMPFILE&lt;br&gt;split -n l/$CPUS $TMPFILE $TMPFILE.&lt;br&gt;&lt;br&gt;for LST in $TMPFILE.*&lt;br&gt;do&lt;br&gt;    wc -l &amp;lt; $LST &amp;&lt;br&gt;done&lt;br&gt;wait&lt;br&gt;wait&lt;br&gt;&#091;/code&#093;&lt;br&gt;&lt;br&gt;Для примера обработки здесь использован wc. Количество параллельных процессов = число ядер-2 (пару ядер оставим для другой работы).&lt;br&gt;&lt;br&gt;</description>
</item>

</channel>
</rss>
