Компания Explosion AI, специализирующаяся на разработках, связанных с искусственным интеллектом и машинным обучением, представила (https://explosion.ai/blog/spacy-deep-learning-keras) первый значительный выпуск свободной библиотеки spaCy (https://spacy.io/), в которой воплощены в рабочий код результаты последних достижений в области распознавания текста на естественном языке (NLP (https://ru.wikipedia.org/wiki/%D0%9E%D0%... Natural Language
Processing). Библиотека написана на языке Cython (http://cython.org/) (расширение Python, позволяющее использовать вставки на языке Си), совместима с CPython 2.6+/3.3+ на платформах Unix/Linux, macOS и Windows, и распространяется (https://github.com/explosion/spaCy) под лицензией MIT. Языковые модели пока подготовлены только для английского и немецкого языков (размер каждой модели около 500Мб).Библиотека рассчитана на применение в конечных продуктах, снабжена исчерпывающей документацией и предоставляет целостный API, для которого гарантируется обратная совместимость. Большинство имеющихся разработок в области NLP представляют собой исследовательские проекты, реализующие сразу несколько альтернативных алгоритмов, но не готовые для поставки конечному потребителю. В spaCy обеспечена поддержка только одного алгоритма, демонстрирующего наибольшую эффективность. В случае появления более эффективного алгоритма библиотека будет переведена на него, но этот перевод останется незаметным для завязанных на библиотеку приложений и не повлияет на API. Особенностью spaCy также является архитектура, рассчитанная на обработку документов целиком, без предварительной обработки в препроцессорах, разбивающих документ на фразы.
По производительности spaCy значительно превосходит проекты ClearNLP (https://github.com/clir/clearnlp), CoreNLP (http://stanfordnlp.github.io/CoreNLP/), MATE (https://code.google.com/archive/p/mate-tools/) и Turbo (https://github.com/andre-martins/TurboParser), и тратит на обработку документа менее 50 мс. Ценой высокой скорости является незначительное снижение точности - spaCy отстаёт по точности на 2% от наиболее эффективной альтернативной релизации, но работает на порядок быстрее. Например, spaCy при точности в 91.8% выполняет обработку 13963 слов в секунду, в то время как библиотека MATE при точности в 92.5% обрабатывает 550 слов в секунду, а библиотека Turbo при точности в 92.4% обрабатывает 349 слов в секунду.
Основные возможности spaCy:
- Разбор зависимостей на основе меток (точность 91.8% в тесте OntoNotes 5);
- Распознавание именованных сущностей (точность 82.6% в тесте OntoNotes 5);
- Пометка частей речи (точность 87.1% в тесте OntoNotes 5);
- Легко используемые векторы расстановки слов;
- Присвоение всем строкам цифровых идентификаторов;
- Экспорт массивов данных для обработки в библиотеке NumPy;
- Сохранение выравнивания как в исходной строке, что упрощает расчёт разметки;
- Наличие простых орфографических функций;
- Отсутствие препроцессора, spaCy обрабатывает текст как есть;
- Поддержка подключения механизмов глубинного машинного обучения.
URL: https://explosion.ai/blog/spacy-deep-learning-keras
Новость: http://www.opennet.dev/opennews/art.shtml?num=45351
поясните простыми словами человеку, далекому от умных слов в тексте новости, для чего прикладного это будет применяться?
Ну, например, можно будет написать спамбота, который будет так спамить, что хрен какой фильтр сработает.
А ещё можно написать такой спамфильтр, что как бы ты ни спамил, то всё равно тебя вычислят.
А ещё можно будет сделать бота, который будет обижаться если ты будешь его оскорблять.
А ещё можно сделать бота, который и тебя сможет оскорбить.Но самое главное его применение -- управление корчевателем.
Для того, чтобы сделать бота, который сможет кого-нибудь оскорбить никакие лингвистические системы не нужны
И обижаться он не будет на твои оскорбления, разве что можно написать бота, который на оскорбления будет оскорблять в обратку - тут да, библиотека поможет найти такой евент
> Ну, например, можно будет написать спамбота, который будет так спамить,
> что хрен какой фильтр сработает.
> А ещё можно написать такой спамфильтр, что как бы ты ни спамил, то всё
> равно тебя вычислят.А может ли бог создать камень, который сам не сможет поднять? Если на этом софте написать спамбота и спамфильтр, а потом стравить их, то кто победит?
>А может ли бог создать камень, который сам не сможет поднять?Смотря что за бог. Если ты про того, который всемогущий, то конечно же может. Он же всемогущий.
>Если на этом софте написать спамбота и спамфильтр, а потом стравить их, то кто победит?А почему кто-то должен победить? Кто победит в дуэли человек-потребитель и человек-продавец? Когда как. Иногда может даже маразм победить.
> Смотря что за бог. Если ты про того, который всемогущий, то конечно же может.
> Он же всемогущий.Сможет создать или сможет поднять? :-)
> А почему кто-то должен победить?
Потому что принципиально возможны лишь два выхода: фильтр либо отсеет бота (победа фильтра, проигрыш бота), либо не отсеет (победа бота, проигрыш фильтра). В отличие от "дуэли человек-потребитель и человек-продавец", здесь нет win-win.
>Сможет создать или сможет поднять? :-)И то и другое. Просто по определению всемогущества.
>Потому что принципиально возможны лишь два выходаНе вижу отличия от дуэли человек-человек.
> Не вижу отличия от дуэли человек-человек.Правда? Отличие в том, что игра продавец-покупатель не является игрой с нулевым результатом. Выигрыш одного не означает проигрыш другого. Они лишь делят между собой выгоду от сделки. Поэтому им доступна кооперативная стратегия (имеет смысл договариваться).
Ок. Пусть. Но при борьбе фильтров может сначала победить один, а потом другой. Вероятность при полном отсутствии данных? Около 0.5
Если фильтр скажет, что перед ним спам с 50% вероятностью, то кто победил?
Твой вопрос просто лишён смысла. Я вообще не понимаю что ты хочешь услышать.
> Но при борьбе фильтров может сначала победить один, а потом другой.Ага, всемогущий бог сначала создаст неподъёмно огромный камень, а потом вспомнит, что он всемогущий, и всё-таки поднимет его.
> Если фильтр скажет, что перед ним спам с 50% вероятностью
Безразлично, что он скажет. Перед ним бинарная задача: блокировать или пропускать.
> Твой вопрос просто лишён смысла. Я вообще не понимаю что ты хочешь услышать.
Там нет вопроса. Там ненавязчивый намёк на то, что в твоём комменте #2 имеется внутреннее противоречие.
>а потом вспомнит, что он всемогущийНет, он просто всемогущий. И точка.
Да, он может создать слишком тяжёлый для себя камень.
Да, он может суметь его поднять.
Да, он может не суметь его поднять.
Он может универсум на квантор всеобщности натянуть.
Он может всё.
Он всемогущий.
>Он может универсум на квантор всеобщности натянуть.незавидная у тебя судьба
> Нет, он просто всемогущий. И точка.Ты чё... это ... верующий, штоле??? Я думал, тут только Шигорин такой, местами нелогичный.
Верующий? Ты бы извинился...
Я обознался? Прошу прощения. Это тот редкий случай, когда я рад, что ошибся.
> Сможет создать или сможет поднять? :-)Сначала сможет его создать, затем сможет его поднять.
(Например можно создать камень размером со вселенную
(или, например, до начала существования пространства),
и поднимать его будет не от чего и некуда, затем создать
"небо и землю", чтобы было откуда и куда его поднимать )
будте гибче. ;)
>> Сможет создать или сможет поднять? :-)
> Сначала сможет его создать, затем сможет его поднять.
> (Например можно создать камень размером со вселенную
> (или, например, до начала существования пространства),
> и поднимать его будет не от чего и некуда, затем создать
> "небо и землю", чтобы было откуда и куда его поднимать )
> будте гибче. ;)Я не верю, что Бог творил материю. "Сначала Бог сотворил небо и землю, земля же была безвидна и пуста..." - это же метафора - мол изначала земля была безвидна и пуста и типа откуда-то была (Бог сотворил). Не может никто творить никаких камней и никаких материй ...
>> Не может никто творить никаких камней и никаких материй...ваши данные устарели, камни и материю могут даже простые смертные физики с помощью ускорителя творить из "ничего"
Какой же он всемогущий, если не может поднять созданный собой же камень?
Почему не может? Может. Он же всемогущий.
Ну какой же он всемогущий если даже не может создать камень, который невозможно поднять?
Решение этой философской проблемы:1. Всемогущим Бог является постольку, поскольку для Него нет ничего невозможного.
2. Всемогущий Бог по определению может создать такой камень, но создав его, Он потеряет всемогущество.
3. Чтобы оставаться всемогущим, Богу необходимо воздерживаться от создания подобных камней.Вывод: Бог такой камень создать сможет, но не станет, чтобы не потерять всемогущество.
Есть еще ответ "попроще": да, и он его создал - это человек.
Это не философская проблема. Это иллюстрация фундаментального противоречия в чьей-то там теории множеств.
Сорри))
> Ну какой же он всемогущий если даже не может создать камень, который
> невозможно поднять?вы не понимаете как это работает:
0) бог в состоянии всемогущества
1) бог выбирает себе задачу
2) бог выполняет задачу
3) после выполнения задачи бог переходит в состояние "0" и приступает к выполнению следующей задачитоесть на момент выполнения задачи б) "поднять камень" задача а) "создать камень" уже выполнена и уже не актуальна
> А может ли бог создать камень, который сам не сможет поднять?А сможешь ли ты вообразить в своём сознании такой камень, который не поместится в твоё сознание?
>> А может ли бог создать камень, который сам не сможет поднять?
> А сможешь ли ты вообразить в своём сознании такой камень, который не
> поместится в твоё сознание?А свопить можно?
>>> А может ли бог создать камень, который сам не сможет поднять?
>> А сможешь ли ты вообразить в своём сознании такой камень, который не
>> поместится в твоё сознание?
> А свопить можно?Нет. Но оверкоммит разрешён.
С камнем никто не пытался, а вот с астрономическими явлениями, в частности со звёздами такое бывает. Кто-то из астрономов, описывая звёзды гиганты, сказал, что-то в стиле "представь себе самую большую звезду, которую можешь представить... так вот, супергигант ещё больше".На ютубе есть видяшка: https://youtu.be/HEheh1BH34Q
И каждый раз разглядывая её, я очень двояко себя чувствую, как будто я представил себе размеры VY Большого Пса, и при этом не смог представить себе размеры VY Большого Пса. Одновременно и да, и нет. И если ты знаешь ответ на свой вопрос, то мне было бы интересно его услышать.
> Ну, например, можно будет написать спамбота, который будет так спамить, что хрен
> какой фильтр сработает.
> А ещё можно написать такой спамфильтр, что как бы ты ни спамил,
> то всё равно тебя вычислят.
> А ещё можно будет сделать бота, который будет обижаться если ты будешь
> его оскорблять.
> А ещё можно сделать бота, который и тебя сможет оскорбить.
> Но самое главное его применение -- управление корчевателем.Какое то кусание себя за хвост с этими секюрити и ИИ. Лет 15 назад когда я начинал с компами всё было мирнее - обеспечивает система приемлемый уровень безопасности - ну хорошо.
Всё предельно просто - для слежки за вами.
И за другими людьми.
Я серьёзно. Вплоть до разбора текстов переведённых из записанных телефонных разговоров (а их ой как много - нелегально хранящихся, да и легально прибавятся сейчас ---- см. "законопроект Яровой" "пакет Яровой").
Такчто, обсуждаемая библиотечка прикрученная к действующим системам даст колоссальный эффект по противозаконному использованию данных о людях против них же.
1.В тюрьмах не все сидят справедливо.
2.О взятых на своё имя кредитах и ипотеках тоже некоторые люди узнают случайно, и уже во время предъявления судебных претензий банком(ами).
3... ... продолжать?
Пакет Яровой преследует ровно две цели:
1) завинчивание гаек в Интернете и коммуникациях вокруг него (то есть практически всех современных средствах связи)
2) попил бюджета на внедрении технологической базы под этот идиотский сбор петабайтов неактуальной информации.Разобраться в этих петабайтах никакие искусственные интеллекты все равно не помогут. Ибо это классический "демон второго рода", польза от которого описана классиком еще в прошлом веке.
Зачем в петабайтах? кода нужен конкретный человечек там много-много меньше.О выборочном "применении закона" слышали?
Ну, расскажите, что мешает организовать "колпак" для конкретного человека без всего этого цирка с датацентрами. Разве что Конституция, но этим пакетом на нее уже положили...
Разработчики -- австралиец и немка, языки -- английский и немецкий. Но использовать это дело будут, понятно, для реализации "пакета Яровой"
Прикрутят. На этот раздел IT как раз денег не жалеют.
Ничего нового. Двадцать лет назад в IBM OS/2 4.0 Merlin была обучаемая распознавалка голоса, кажется Voice Type она называлась. Даже в коробочной настройке она позволяла отдавать голосом команды программам, которые имели пулл-даун и/или контекстное меню. По-английски, разумеется. Работало достаточно четко даже с моим английским произношением. Говоришь ему слитно "файл оупен" -- открывает диалог ввода имени файла, говоришьс паузой "файл" ... "оупен" -- открывает сначала пуллдаун File, потом сдвигает курсор на Open и открывает диалог. Вначале кое-какие косяки были, но потом система подстраиваласть под особенности произношения.
А это без подстройки, сразу работает. И не небольшое число ключевых слов, а полноценный естественный язык с десятками тысяч слов. Но вероятность ошибки 10%, и от неё так просто не избавишься.А распознавание небольшого числа голосовых команд на телефонах было уже в начале 2000х. Тоже с предварительным обучением голосом хозяина.
А еще была софтина с SoundBlaster AWE32.
А можно на Си или на Python? а не на то и другое... (
) Если на их сайте пролистать вниз - SPACY IS TRUSTED BY -- https://foxtype.com/ -- интересно выходит, если посмотреть с этой точки зрения - этож ее к почтовику прикрутить можно )
А то что в дройде для распознавания речи используется, не из этой ветки?
смесь бидона и сей для "обработки на естественном языке" писать? это шедеврально.
про логическое программирование авторы не слышали.
ну или не осилили соотв ЯП, возможно.
Если ты такой умный, то где твоя реализация?