Опубликован выпуск системы машинного перевода OpenNMT-tf 2.30.0 (Open Neural Machine Translation), использующей методы машинного обучения. Код развиваемых проектом OpenNMT-tf модулей написан на языке Python, использует библиотеку TensorFlow и распространяется под лицензией MIT...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=58316
каталанский особенно важен
Native speakers 4.1 million (2021)
Total number of speakers: 9.2 million
С такой логикой на первом месте должен быть китайский.
Именно. В США же во время Холодной войны учили русский.
Это опенсорс, детка. Возьми и добавь.
Как видишь, оказался достаточно важным для кого-то, вот и добавили. Был бы ты в той команде, может быть и русский добавили бы, но ты туда почему-то не попал. Не знаешь почему?
Возможно потому, что проект - говно, не интересное даже команде авторов? Выпустить систему машинного перевода только для пары языков, это надо очень сильно не любить то, что делаешь.
Тогда к чему претензии? К тому, что забыли с анонимами на опеннете посоветоваться?
Как и все, что касается нейросетей, данная технология доступна только NVIDIA-господам. А AMD-бедолагам остается только запускать GTA_V.exe, потому что ни на что другое их затычки рассчитаны и не были.
TensorFlow 2 ROCm ? не?
>NVIDIA-рабамПофиксил.
>Как и все, что касается нейросетейinference на CPU вполне доступен, благодаря onnxruntime (осторожно, телеметния от Microsoft).
> осторожно, телеметния от MicrosoftЧто за телеметрия в ONNX?
Вы имеете в виду, что эффективность питоноскриптов такова, что для их работу нужен минимум RTX 3090Ti?
PyTorch и Tensorflow работают на ROCm.
И что, если в каком-то языке появится новое слово или фразеологизм, нейросеть полностью перегонять, причём, для всех языков ?
Не спеши, она еще старые слова не освоила-))
Нейросеть хотя бы можно обучить или переобучить
А вот живых переводчиков…Возьми переводы выполненные переводчиками советской школы и ужаснись, они переводили не зная реалий других стран и не понимая многих слов, у них то гамбургер переброшен через плечо(реальный пример), то старина Джон Баптист, то еще какая дичь. И они были совершенно необучаемы
Это единичные случаи. То, что в отдельных странах отдельные писатели загаживали свой язык и он всё больше из литературного превращался в помойку - это, всё-таки, не совсем проблема переводчиков
Тем более, что их полно разных. Там на каждую сферу и отрасль - по собственному переводчику надоТогда как повсеместное применение нейросетей на грани уместности вызывает всё больше мыслей, что куда-то не туда оно движется
То с переводами, когда на каждый чих всё полностью заново переобучай на огромных выборках, то - с управлением авто( хотя алгоритмы там совершенно чёткие и нейросеть реально годится разве что на классификацию объектов ), а потом репу чешут, почему же из-за мусорного бака авто сбило человека
> отдельные писатели загаживали свой языкТипичное мнение людей, не знающих толком ни одного языка, даже родного. Филологов от этих бредовых фантазий про какой-то «литературный», и уж тем более «чистый», «незагаженный» язык избавляют на первом курсе.
Когда появляется человек, который говорит про «загаживание языка» я понимаю, что передо мной клинический идиот которого выгнали из школыЖивой язык развивается, вбирает в себя слова из других языков, образовывает новые, отбрасывает старые или меняет им смысл
Мертвый язык лежит на полочке и никуда уже не торопится, не «загрязняется»Я не понимаю почему больше всего в языки любят лезть такие, как ты, персонажи с 3 классами образования ЦПШ
Конечно-конечно, надо скатываться в самые днищенские слегновые помойки конкретного района чтобы.. а чтобы что ?"Живой язык" и помойный сленговый говор - разные вещи. Даже в разных жилых кварталах одного района одного города говор может быть чуть разным, но это не делает его индивидуальным и уникальным - это лишь говорит о том, что власти откровенно вертели какие-либо ценности и идентичность отдельного народа.
Поэтому, в той же финляндии, есть целая структура по разбору и борьбе с иноязом, а в сша - целые кварталы, которые говорят на ломанном испанском
При чем тут «слэнговые помойки», вася?
И, да, слэнги это такие же говоры и диалекты языка, как все остальные
Вот есть московский говор, который при совке объявили русским литературным(по сути это не русский литературный, а просто официальный российский диалект русского языка), а есть куча других говоров и они равнозначны для языка, для специалистов, а у таких, как ты выпускников ЦПШ вызывают горение нижней дупыЯ приводил пример, что совковые переводчики не знали что такое гамбургер, а ты сразу на свои родные помойки собрался
Совковая «переводческая школа» это были не переводчики, это были пересказчики по мотивам, они не знали языков, с их знаниями невозможно было говорить ни с кем из носителей
Посмотри переводы сделанные совковыми переводчиками текстов Толкина. Толкин — один из ведущих мировых лингвистов был, человек который писал на исключительном английском, в ряде текстов с архаикой, в ряде текстов без нее, в зависимости от потребности. Он в реальной жизни использовал архаичные выражения, потому что так думал. И потом смотрим одного из лучших, по мнение советской переводческой школы, советских горе-переводчиков по фамилии Муравьев. И волосы встают дыбом. Муравьев примерно половину текста не понял слов и придумывал все самОх. Ну давай про финский поговорим, заодно про немецкий и французский. Языки бывают разные и развиваются они разными способами. Финский, немецкий и последние 100 лет французский(с французским это сделано искусственно) развиваются созданием собственных слов на каждый пук. Русский, английский, мандарин, украинский, польский и многие другие развиваются заимствованиями. В современном русском 75% примерно слов это когда-то заимствованные слова, а не пришедшие из общевосточнославянского. А в отдельных диалектах и говорах русского языка(например в том русском который является официальным в штате Нью-Йорк) может быть и больше этих 75%. И ситуация с финским, и ситуация с русским не хороша и не плоха, это просто естественные процессы
Все самое плохое с языками случается, когда вот такие васи, как ты, с образованием в 3 класса ЦПШ, да еще наслушавшись Зада Орного, лезут в язык. Ребята, вы говорите и пишите на нем плохо, а учите, как ему надо развиваться. Он как-то вон развился из общевосточнославянского, живет, как и другие восточнославянские языки пока что, помирать планирует не ранее, чем лет через 300. А вы все лезете и считаете, что ваше мнение кому-то нужно
> При чем тут «слэнговые помойки», вася?Бугуртом удовлетворён. Но читать это я, разумеется, не буду
А после фразы про "совок" - так цена твоя - не боле чем у мусора на обочине или у какляцкой свинины под Артёмовском( Бахмутом ) :)
Усирайся и далее в одиночестве, какол. За тобой однажды придут :))))
>выполненные переводчиками советской школыВозьми переводы выполненные переводчиками англосакской школы и ужаснись.
Настолько ущербно переводить советские научные статьи еще уметь надо, а ведь у них горело с того, что они переводить не успевали, а ценные знания им позарез нужны были.
А худ литература в совке переводилась куда лучше, у твена выкинули всю чернуху, ты не седеешь со всех зверств в этих детских книгах.Я свои науные статьи так и учился на инглиш переводить, брал оригиналы того же ландау, и смотрел оригинальные переводы, с самых ранних, там сразу видно днище забугорных коллег.
Ваше интересно, конечно. Наглосаксы устроили так со своими подельниками, что чуть более, чем вся отечественная наука не только стала грантовой, но ещё и обязана печататься в ихних журналах, на ихнем же языке. Иначе рейтинх не заработать, авторитет на цитируемости не заиметь, т.е. бабла не заработать.
--
Оффтоп, но чота приспичило написать это.
... зависит, видимо, от контекста употребления этого нового фразелогизма т.е. если он появился в том же контексте, что и известное слово, то перевод будет аналогичным + разумеется без переобучения.
Немного о компании SYSTRAN> The company was established in La Jolla in California to work on translation of Russian to English text for the United States Air Force during the Cold War.
> to work on translation of Russian to English tex
> Модели подготовлены для английского, немецкого и каталанского языков,
> для остальных языков можно самостоятельно сформировать модельВыглядит как практически легендарный распил, ещё и с каталонским!
Когда кажется дуршлагом накрываться надо
Если ты сходишь на сайт проекта OPUS(https://opus.nlpl.eu/), то обнаружишь, что среди баз текстов на которых можно обучать просто уже была готовая база каталонского правительства, есть база, есть на чем учить
Сделай аналогичную готовую на русском или на урду, будут учить на них
>можно самостоятельно сформировать модельДэйтацентр сначала купить придётся.
Да нет. Выбросить все эти флоу, оптимизировать алгоритмы и запустить на Pentium 4.
Займись, озолотишься. Я как раз для клиента достраиваю пайплайн для тренировки нейросети. С его объёмами цены на аренду железа кусаются что на AWS, что на GCP, что на Azure, и это ещё до затрат на хранение и передачу. Инвесторы, конечно, раскошелятся в итоге, что делать, но куда лучше было бы сэкономить и не слушать это нытьё. Вторую неделю на митингах мусолим одно и то же, а дешевле не выходит. Ну что, возьмёшься? Считай, первый контракт в кармане, я договорюсь.
> Дэйтацентр сначала купить придётся.А просто Дэйта - сгодится? Или обязательно его центр нужен?
Господа, небольшой оффтоп, но может кто подскажет нормальный бесплатный OCR? Про tesseract я знаю - его использовать невозможно без лютой ручной предобработки изображений.
Есть дохрена коммерческих систем, которые отлично работают вообще без каких-либо настроект, есть что-то похожее в нашем опенсорсном мире?
imagemagick перед tesseract. Например, сократить кол-во цветов в изображении помогает распознавать скриншоты.
Скриншоты - возможно, но у меня на входе фотографии печатного текста. Они могут быть разного размера, с разной освещённостью, искривлёнными и даже на разном фоне (не только чёрное на белом, но и зелёное на синем, например
scantailor хорош
Среди опенсорсных систем, Tesseract — лучшая. Так что если нет денег на ручную предобработку, бери коммерческую, дешевле выйдет.
Не лучшая. К тому же, гулаг зажал готовые натренированные модели, которые можно сразу использовать, поэтому толку от него не много. То, что он ищет, это PaddleOCR, но там тоже проблемы с моделями будут.
Tensorflow, Torch. Без заморочек не получится. Моделей просто море. Но подойдут ли они тебе? Скорее всего нет.
А есть чтото просто без заморочек что поставить и подрубить для перевода?
https://translate.google.com. Вообще никаких заморочек.
https://www.deepl.com/translator
https://translate.google.com/
https://translate.yandex.kz/
https://www.reverso.net/
https://www.bing.com/translatorВыбирай! Правда последний если использовать, то начинают вылезать из могил мои преподы из ин.яза имени Добролюбова и обещают убить авторов лопатой
Бинг кстати точнее остальных в списке переводит и не встречал такого что внезапно начинает гнать пургу и надо 10 раз обновить страницу. Особенно дипл плох, гт на втором месте. Яндекс просто надмозг, как и промпт. Ничего даже близко похожего на оригинальный смысл не будет.
Дай ка угадаю. Просто у тебя тематика более подходящая под бинг, вот тебе так и кажется.