https://www.opennet.ru/openforum/vsluhforumID3/138252.html Для отсеивания ботов, агрессивно [[https://www.opennet.ru/opennews/art.shtml?num=62925 индексирующих]] контент, игнорируя правила из robots.txt, можно воспользоваться тем, что многие боты запрашивают заранее предопределённый набор страниц и не передают Cookie, выставленные в ответ на прошлые запросы. <br><br>Идея в том, чтобы при поступлении запроса проверять наличие определённой Cookie и если она отсутствует вместо запрошенного контента отдавать HTML-заглушку, возвращающую JavaScript-код для выставления Cookie и перенаправления пользователя на ту же страницу. При отправке запроса из браузера при первом входе запрос незаметно для пользователя будет проброшен через код установки Cookie. В промежуточном ответе используем код <br>ошибки HTTP [[https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/418 418]], информирующий о нежелании обрабатывать автоматизированные запросы.<br><br>Предложенный метод не отсеивает всех ботов, но проще в настройке и менее назойливый для посетителей, чем применение системы защит https://www.opennet.ru/openforum/vsluhforumID3/138252.html#46 Thu, 23 Apr 2026 05:33:07 GMT Причём ныне это в основном всякие хостерские подсети ныне, т.е. да, можно и по ASN влупить реально на сутки-двое, никто особо не пострадает.<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#45 Thu, 23 Apr 2026 05:31:30 GMT &gt;&gt; При обнаружении бота - слать его в tarpit, лимитировать число запросов десятью <br>&gt;&gt; и отдавать со скоростью 100 байт в секунду.<br>&gt; заДДОСИТ тебя/твоегохостера с нескольких десятков-сотен миллионов IP :]<br><br>И получит примерно то же самое на несколько блоков /24. А возможно и blackhole по ASN. Ныне неколько миллионов IP в дудосах я уже давно всерьёз не видел, с трудом пару десятков тысяч наскребают.<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#44 Sun, 19 Apr 2026 21:07:07 GMT (и соответственно эти скрыто-майнинговые проверки на ботов, как и каптчи, покушаются на приватность, даже просто данных на винте)<br><br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#43 Sun, 19 Apr 2026 21:01:07 GMT У прокси бывают разные страны.<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#42 Sun, 19 Apr 2026 20:36:59 GMT Нормальный это запрещающий вообще все. Как и сливной JS.<br><br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#41 Sun, 19 Apr 2026 20:21:33 GMT &gt; юрисдикция присоединилась к конвенции ООН об обмене информацией.<br><br>Дальше можно не читать<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#40 Sun, 19 Apr 2026 20:17:50 GMT &gt; Подрубать "серым" клиентам скорость соединений/коннекты. Чтобы поток парсера максимально долго торчал в памяти на той стороне, читая по чайной ложке. <br><br>А, так вот почему у меня постоянно через прокси на некоторых IP - opennet(заблокирванный в моей стране) грузит по "пару байт минуту", теперь буду знать... "защита" от обучения ИИ, сюрмор!<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#39 Sun, 19 Apr 2026 20:08:01 GMT Что помешает ИИ или боту выдать себя за такого...<br><br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#38 Sun, 19 Apr 2026 20:06:25 GMT &gt; При обнаружении бота - слать его в tarpit, лимитировать число запросов десятью <br>&gt; и отдавать со скоростью 100 байт в секунду.<br><br>А, он возмёт автоматически или обидется и заДДОСИТ тебя/твоегохостера с нескольких десятков-сотен миллионов IP :] Т.б.ныне же боты поумнели. Я уж не говорю - взломает сайт и пройдёт защиту .] <br>А, если это бот спеуслужб или опг [типа моссад и т.п.], в т.ч.мимикрируюих под что угодно, <br>то, это же дело уже принципа доступность к данным. <br>И лимитируй, не лимитируй... <br><br><br>