Разработчики Firefox поделились планами по расширению использования в браузере возможностей на основе механизмов машинного обучения. Начиная с выпуска Firefox 130, намеченного на 3 сентября, в браузер будет включена функциональность для автоматической генерации текстовых описаний изображений. Тестирование реализации уже началось в ночных сборках Firefox, в которых подобная функциональность встроена в PDF-просмотршик. На первом этапе для тестирования работы алгоритма описание генерируется только при добавлении новых изображений в качестве подсказки, но в дальнейшем его планируют применить и для существующих изображений...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=61297
А зачем это в браузере? Т.е изображение для меня мыльно, а текст нет?.. Читать через ридер который не в браузере? А зачем тогда это тащить в браузер %_%--
А это чтобы маркетолог лучше знал, что ты просматриваешь. Контекстом для рекламы будут не только метатеги или текст на странице, а теперь еще и описание картинок, полученное локальным ИИ (маркетологу даже не надо оплачивать электричество, потраченное на обработку данных).
То есть майнинг твоих данных за твой же счет.
получается рекламинг :3
А почему это плохо? Если маркетолог будет работать лучше - нагрузим его зад работой! Пусть по картинкам мне скидки определяет.
> А почему это плохо? Если маркетолог будет работать лучше - нагрузим его зад работой! Пусть по картинкам мне скидки определяет.Потому, что реклама существует не для того, чтобы тебе что-то продать дешевле (по скидке), а чтобы тебе продать что-то максимально эффективно (читай настолько дорого, насколько ты еще будешь готов купить). А еще для того, чтобы втюхивать тебе то, что ты не купил бы вообще без рекламы.
P.S. Забавно, что у многих представление о рекламе со слежкой в инете такое, что мол им начнут предлогать именно то, что они хотят, да ещё и с реальными (а не псевдо) скидками. Определят что ты мужского пола и будут увеличители пeнисов рекламить - вот это намного ближе к реальности.
Если ты действительно хочешь нагрузить бесполезных маркетолухов, то тебе надо что-то типа AdNauseam, чтобы "отравлять" их данные слежки.
Думаешь будут выборочно предлагать каждому прям то что им нужно?
Лмао, просто тренировать "интеллект" будут на всём что есть
Firefox станет текстовым браузером (см. lynx или links), следующее это пересказ видео. Сейчас без инноваций никуда!
> Firefox станет текстовым браузером (см. lynx или links)А эти текстовые браузеры надо сделать графическими!
Не, ну в каком-то линксе я картинки, конечно, зырил.
Но для этого ж его надо запустить не внутри скрина, а в терминале прямо в иксах. И какой-то аргумент там надо к запуску линкса приставить - чё-то типа -g или как-то так (запамятовал я это давно, в проверять это сейчас - лениво уж).
А вот чтобы графику отображать прям в совсем любом варианте запуска терминала, это надо пострадать с его настройкой. А это в нашем давно не "студенческом" возрасте вообще совсем лениво, особенно с учётом того, что жизненно важной необходимостью это не является (денег это не принесёт, на хлеб тоже не намажешь - так зачем тогда за так страдать, только себя потешить созерцанием графики в терминале? - так времена таких детских радостей прошли давно уж). :-)
К слову о видео, в мобильном Яндекс-браузере появилась возможность генерации субтитров на лету, а порой и переведённых субтитров( ни разу не попадалось. Субтитры только для русского языка отображались на яблоке )
Но, похоже, какая-то недоработка, что иноязычное - не генерит пока субтитры, а всего лишь делает синхронный перевод ролика на нужный язык и нужным тономВ десктопе - уже давно субтитры и прочее делаются без проблем( есть исключения с источниками видео, которые браузер пока не определяет )
Потому что текст озвучивается стандартными средствами оси для инвалидов.
> А зачем это в браузере?В статье ж есть ответ на этот вопрос:
> наличие текстовых описаний, которые можно будет
> выводить через экранные ридеры,
> упростит работу людей, имеющих проблемы со зрением
Мне не нужно, значит некому не нужно, ага...
Это современные потребности американской молодежи которые уже физически не способны описать своими словами то что они видят. Деградация и тикток страшные вещи.
А какие современные потребности у российской молодёжи, "эксперт"?
Зачем описывать словами то что ты видишь, если есть нейронка которая способна на это?
Мы рады, что у тебя есть хоть и мыльное, но изображение.А вот у слепых никакого изображения нет.
При этом, они тоже пользуются браузерами.
это будет вполне жизнеспособно если к генерации текста прикрутят автоматическую озвучку этого текста. очевидно в основе идеи лежит помощь людям с ограниченными возможностями. вот только как хорошо и когда это будет реализовано?
ага, слепые то картинок не видят, мы из картинок сделаем текст, пусть читают!пока это выглядит как люди с ограниченными способностями делают функционал для людей с ограниченными возможностями.
выше Аноним написал про рекламщиков, в это верится больше
ОС текст читает, ну хоть 2 и 2 сложить-то можно, не? Встроенные в ос средства для инвалидов читают всё, что на экране. Слепые так вполне пользуются интернетом, если что.
Ну так если ОС текст читает, то и картинку может показать, не, не слышал?
Может показать. А ты ее можешь не увидеть, если у тебя нет зрения. Внезапно, да?
если тебя так заботят слепые люди в интернете, просто заполняй IMG ALT TITLE теги картинок на твоем сайте.
А на остальных сайтах?
Благими намерениями вымощена дорога в ад.
Любые отстойные вещи всегда оправдывают заботой об пользователях.
Нормальные же вещи не оправдывают - они очевидны. Нигде вы не найдёте оправдания почему делают блокировщик рекламы, добавление вкладок (ага, раньше из браузеров они только в опере были) или ускорение рендеринга.
И только на таких зловредных идеях обязательно пишут "все ради детей", "помощь больным и ограниченным", "совет беременных женщин и резервация индейцев попросили нас...".Картинки это далеко не самое неприятное что предстоит преодолеть людям с ограничениями и людям которые пишут для них софт. Но как то всем на это плевать (включая мозиллу).
Сама же мозилла это просто рассадник лицемеров.
В чем зловредность идеи? В том, что тебе опишут текстом картинку, если ты вызовешь такую функцию? Как говорится, щито?
В том, что функционал, нужный 0.5% пользователей вкорячивают в основной код программы, а не реализуют в виде дополнения. Никто не против заботы о людях с ограниченными возможностями. Но это не значит, что если у кого-то проблемы со зрением, то все должны носить очки.
Это актуально только для тех, у кого включены специальные возможности:
"our end goal is to make it available in general browsing for users with screen readers"Но тут как обычно - кексперт полюбил журналиста.
> В том, что функционал, нужный 0.5% пользователей вкорячивают в основной код программы, а не реализуют в виде дополнения. Никто не против заботы о людях с ограниченными возможностями. Но это не значит, что если у кого-то проблемы со зрением, то все должны носить очки.Эпичный по своей глупости пример /_-
Ты знаешь, что инвалидов колясочников в мире всего один процент?
Это меньше чем 3.2% людей с инвалидностью по зрению.
И еще меньше чем 4% пользователей десктопного линукс.Но при этом пандусы должны быть в каждом супермаркете.
Так и тут. Функционал должен быть в базовой версии программы, а не "пойди скачай дополнение."
Да это типичные двойные стандарты. 1% линуксоидов? СРОЧНО НУЖНЫ ВСЕ ВЕРСИИ ВСЕХ ПРОГРАММ ПОД ВСЕ ДИСТРИБУТИВЫ. 1% слепых? Хнык, мой браузер потяжелеет на 2 мегабайта, пусть качают дополнения.
> Но при этом пандусы должны быть в каждом супермаркете.Но не в каждой квартире!
Здесь же речь идет об установке пандуса в моей квартире, и если он мне не нужен, то сразу вой "о, он против инвалидов!"
С чего бы это чужой продукт твоя квартира? Ты не владеешь файрфоксом, кода твоего там нет, тебе предлагают продукт - можешь отказаться. А ты приходишь в продуктовый магазин и орёшь, почему тут продаются продукты для диабетиков.
> Но не в каждой квартире!К тебе что в квартиру врываются мозиловцы и устанавливают фурифокс?
Или ты сам в здравом уме и памяти устанавливаешь браузер?> Здесь же речь идет об установке пандуса в моей квартире, и если он мне не нужен, то сразу вой "о, он против инвалидов!"
Если тебе что-то не нравится - иди на Хурд, или на хром.
Откуда такой эгоистичный гной, который считает что ему все обязаны берется?
Незнал что firefox, браузер для слепых, и слабовидящих.
Можно порадоваться за 0.5% слепых в мире, им это нужно, но оставшимся 99.5% то это зачем (+200мб по современным меркам уже и не размер, в массе не заметят).
>но оставшимся 99.5% то это зачемАноним (3) уже рассказал зачем.
0,5% полностью слепых, а с нарушениями зрения вообще — на порядок больше.
А так логика «зачем это остальным» напоминает логику противников установки пандусов в подъездах (погуглите, в РФ очень актуальная тема). Да не то что б напоминает, это она и есть.
А какие аргументы против пандусов, прямо интересно?
Как какие? «НАМ МЕШАЕТ!».
Просто погуглите на самом деле, подобного полно.
Аргумент простой - архитектурно не предусмотрен. Цинично, но переедьте в норм домю Одно дело, когда в новом доме места хватает, другое - в хруще такое делать, где в лифт с каляской даже не влезает.Так же как и запрет яжмамкам с колясками в мини магазинчики в центре города ходить: максимум товаров и стелажей, минимум места. Куда они валят? Идите в большой маркет или доставку.
> А какие аргументы против пандусов, прямо интересно?Ну юзерам 200 метров добавки к Файрфоксу мешают.
А жильцам 200 кг цемента на пандус мешают.
Было бы желание что-то не принимать, а способы реализации такого желания найдутся! :-)
Прочитать "загружается динамически при первом использовании" - то же пандусы не дают ? Кому не нужно - ничего и нет .
Ставлю 10 ящиков пива что никакого "загружать динамически" не будет. Готов получить от проигравшего 1 банку пива.
Ну, кто готов поспорить с коэффициентом 200 к 1?
А как банку потребуют - "я в другом городе , что ты мне сделаешь" ? )))
Юзеры , которым "мешает 200 метров" и юзеры , которые скачивают игры размером в полвинчестера - это одни и те же юзеры .
Это не одно и то же.
ЭТО ДРУГОЕ
> Юзеры , которым "мешает 200 метров" и юзеры , которые скачивают игры размером
> в полвинчестера - это одни и те же юзеры .В игру по крайней мере играть прикольно будет и тут еще понятно зачем место тратить. А вон то я никогда использовать не буду. Потому что неведомая е... х... какая-то, непонятно зачем.
А браузер когда, или транс-небинарного фонда и апплета-погоды хватит всем?
Браузер делает другая команда. Ты от дворника тоже просишь продать тебе колбасу?
Разработчики браузера из мозиллы ушли остались только разработчики транс-небинарного фонда и апплета-погоды.
Не нужно от них ждать чего-то иного :)
Это всё белый шум, создаваемый директорами по дайверсити. А иначе нельзя иначе зашеймят. Но и обращать внимание тоже необязательно. Браузер пилят и пусть, дайверсити можете сколько угодно там обсуждать.
Вообще непонятно как, в какие моменты будет генерироваться текст, куда он будет вставляться.
Можно ли будет использовать эту фишку для генерации текста для картинок перед постом в Федиверс?
> Можно ли будет использовать эту фишку
> для генерации текста для картинок
> перед постом в Федиверс?Да просто пусть для тега IMG допилят атрибут типа предоставлять_желающим_текстовое_описание_ИИ=true и тогда все остальные, кому это надо (Федиверс, соц. сети, остальные места распространения ресурса) будут это текстовое описание брать подобно тому, как берётся share-информация из share-тегов и прочих share-способов распространения информации на сторону.
По скриншоту предельно понятно - вставляться будет в <img alt=>, если разработчик сайта не заполнил атрибут alt
> по аналогии с тем как уже работает
> встроенная система перевода
> с одного языка на другойСтранно как-то эта система перевода работает. Перевода на русский язык в ней нет.
Если так же будет "работать" и сабж, то из-за своей такой же бесполезности и он окажется не нужным. :-)
Хороших корпусов русского языка не так много как для других языков, что усложняет обучение своих моделей, НКРЯ (национальный корпус русского языка) не особо национальный, а полностью принадлежит яндексу.
А выдавать ноты с текстом песен вместо аудиофайлов он уже умеет?
Хорошо. Несмотря на то, что вопят хейтеры, ИИ пришёл и никуда не уйдёт. И кто будет заниматься доставкой этой технологии, буржуи, или открытые проекты - крайне важно. Потихоньку, полегоньку, станет даже полезным.Ввод переводчика, чтеца и ИИ. Практически всё полезное, что было сделано за долгие годы.
Во-первых, это не ИИ. И то что называет общественность ИИ это нейросети.
Во-вторых, крайне важно кто будет этим заниматься - перестройка отрасли от монополии может занять десятилетия. Для сравнения тот же word, который де факто заставляют использовать в учебных заведениях.
В-третьих, про облака тоже так говорили. Теперь вот сдулись.
До этого про 3D.
И судя по количеству мусора связаным с ИИ, он теперь тоже случается (вероятно будет сдаваться десятилетия, но тем не менее).
>то что называет общественность ИИ это нейросетиДа. Сам так всегда занудствую, но сдался :)
>Для сравнения тот же word, который де факто заставляют использовать в учебных заведениях.Эту ошибку давно пора усвоить. В моей стране тоже кругом безальтернативная винда с её продуктами и плевать что там Евросоюз продвигает. Я же за всё открытое (не халяву, а именно открытое).
>В-третьих, про облака тоже так говорили. Теперь вот сдулись.А что, кто-то из хомячков ещё не в олаках хранит свои фотки? Люди даже не понимают что как работает, тупо хавают что дают и не задают вопросов. Это плохо.
>До этого про 3D.А про 3D - да, пустышка. Но это изначально было видно. С нейросетями же - тут куча пользы даже в том виде в каком они существуют. А уж будущее у них будет. Это давно ожидавшаяся инновация, полезная инновация, потому что до этого был тупо маркетинг в течение двадцати лет по всем фронтам.
> Я же за всё открытое (не халяву, а именно открытое).Можно пару примеров открытого, но не халявы, у которого пользователи гордятся что платят денежку на развитие проекта, а не форкают и кричат "вот то же самое но бесплатно"?
А то у меня фантазии хватило на 2-3, даже на пальцах одной руки поместились.> А про 3D - да, пустышка. Но это изначально было видно.
Не, скорее оно заняло узкую нишу, а не повсеместную революцию, как общещали маркетолухи.
Например кинотеатров.
А всякие 3д очки ушли например в копетры.> Это давно ожидавшаяся инновация, полезная инновация, потому что до этого был тупо маркетинг в течение двадцати лет по всем фронтам.
Пока нейросетки уж слишком галюцинируют.
Я надеялся на экспертные системы, тренированные на заведомо проверенных фактах.
А пока гугл предалгает использовать клей, чтобы моцарелла с пиццы не падала, это не очень интересно.
Плюс вопросы к авторскому праву - например к тому же копилоту.
> До этого про 3D3D тут особняком. Это технология столетней (буквально столетней!) давности, которую в очередной (не первый раз уже) вытащили за уши на свет божий, накачав стероидами.
ff: A person is standing in front of a cake with candles.
human: People are looking at a decorative cake with long candles.ff, прям чистый аутист. Геометрические свойства картинки он уловил, а вот понимания действий людей ровно ноль.
BTW, а кадры из хентая он умеет описывать?
Почему нельзя было это выпустить в виде дополнения?
Браузер обрастает весом и жором ресурсов, а функциями мало кто пользуется, так как они работает плохо, или мало кому нужны :(
Переводчик тоже через одно место работает, лучше бы его доделывали.
А это фактически и есть дополнение , не используешь - ничего не появится .
Откуда ты знаешь? Может оно в фоне будет мониторить что ты смотришь и отправлять куда надо. Особенно если твой айди помечен как неблагонадёжный.
Прочитать новость внимательно - не ? Скачивается и устанавливается по запросу , чего нет - ничего сделать не может . "Отправлять" - это к хрому , а здесь локально (потому и библиотека на 200m) .
Мы точно про опенсорс, а не проприетарь?
https://opennet.ru/58845-mozilla
Вот бы ещё что-нибудь для защиты детей добавили с ИИ. А то я чувствую, где-то меня недозащищают. И для защиты прав женщин, думаю, что-то нужно. С ИИ, конечно.И тогда будет самый лучший браузер.
>И тогда будет самый лучший браузер.И назовут его OpenBrowser и увидят что хорошо это
И станет он таким хорошим, что краше только в гроб ложат. Только катафалка с логотипом гугла ожидаем.
Уже меньше 3% юзербейс)
> модели машинного обучения, выполняемой на локальной системе пользователяБатарея ноута будет в восторге...
О, а скоро ждите - "Для работы Firefox требуется ПК с NPU".Не случайно же Мозилла объявляла нейросетки и ИИ своими главными приоритетами. Потом вспомнила про ФФ и решила сделать из него оболочку к ИИ.
Mozilla - born2fail форева!
Сейчас ускорители нейронок в каждой кофеварке. Мозилла просто не хочет стать нерелевантной, это хороший шанс отыграть себе рынка. Текущие 2% и снижается это никуда не годится для вполне конкурентоспособного продукта. Но это не значит, что такая функциональность будет обязательной для работы. И ты всегда можешь воспользоваться облаками.
Куда ей тягаться с профи. М$ нейронку в кнопку включить компьютер вот вот встроит.
Времена такие.
Сейчас, если ты до сих пор не прикрутил к своему детищу ИИ, то ты безнадежно отстал и "фу-фу-фу"
Реквестирую нормальный поиск по странице с помощью ИИ.
Где ж это видано, чтобы в 2024 году ни одном браузере поиск по странице даже морфологию не поддерживает. Особенно это смешно для Google Chrome
и нормальный поиск по истории просмотров. да и историю просмотров нормальную.
> Где ж это видано, чтобы в 2024 году ни одном браузере поиск по странице даже
> морфологию не поддерживает. Особенно это смешно для Google ChromeА рекламу на сайте гугли кто будет тогда смотреть? Хотя, если врезать рекламу прямо в поиск...
давно пора разбить его на модули и при установке выбирать что надо а что нет
> подобная функциональность встроена в PDF-просмотрщик.Готовятся к продаже фирмы китайцам? Тогда туда надо встроить еще социальную сеть, калькулятор, офисный пакет, пару платежных систем, чат и еще какой-нибудь фигни. Иначе клиенты не поймут.
Интересно проверить как оно работает на r34.app и kurosearch.com
Как отклюить уже сказали?
Сказали - не включать .
Оно будет включаться для тех, у кого screen reader.
Отлючается в коде.
Включается дистанционно.
Сделайте распознавание птиц по голосу.
Это?
whoBIRD (Recognize birds by their sounds, anywhere in the world!)
https://f-droid.org/packages/org.woheller69.whobird/
А в виде плагина религия не позволяет это сделать?