В рамках проекта Mimic (https://github.com/reinderien/mimic) реализована утилита для замены символов из набора ASCII на схожие по начертанию символы из таблиц Unicode. Утилита воплощает идею (https://twitter.com/peterritchie/status/534011965132120064), высказанную одним из разработчиков из компании Twitter, что замена в исходном тексте программы символа точки с запятой (;) на визуально идентичный символ вопроса в греческом алфавите (;) превращает отладку программы в кошмар из-за того, что компилятор начинает указывать на ошибки в на первый взгляд корректных участках кода.

Таблицы Unicode содержат множество омоглифов - похожих по начертанию символов. Подобные символы-двойники также присутствуют (https://github.com/reinderien/mimic/blob/master/mimic/__init...) для пробела, восклицательного знака, кавычек, запятых, тире, математических операций, некоторых цифр и различных букв. После обработки утилитой текста, он остаётся визуально идентичен исходному варианту, но на уровне кодов символов содержимое меняется. Кроме режима полной замены, утилитой поддерживается выборочная замена определённого символа и восстановление текста в исходный вид.

Кроме шуток над коллегами, подобная замена символов может применяться для скрытия текста от автоматизированных систем разбора и поисковых систем. Подобная техника применяется для противостояния блокировщикам спама, обхода систем цензурирования  и для размещения информации, скрытой от индексации. Например, похожим образом производилось
жульничество (http://www.bbc.com/russian/rolling_news/2013/04/130409_rn_st...) с заявками на госзакупки, в которых для невозможности поиска в реестре по ключевым словам использовались сходные по написанию с русские и латинские буквы.

URL: http://developers.slashdot.org/story/15/10/24/1759201/mimic-...
Новость: http://www.opennet.dev/opennews/art.shtml?num=43196

• Представлен Mimic для подмены похожих символов, делающий отл...,bOOster, 10:19 , 25-Окт-15
  • Представлен Mimic для подмены похожих символов, делающий отл...,A.Stahl, 10:23 , 25-Окт-15
    • Представлен Mimic для подмены похожих символов, делающий отл...,виндотролль, 11:34 , 25-Окт-15
    • Представлен Mimic для подмены похожих символов, делающий отл...,тоже Аноним, 11:40 , 25-Окт-15
      • Представлен Mimic для подмены похожих символов, делающий отл...,Аноним, 10:51 , 26-Окт-15
        • Представлен Mimic для подмены похожих символов, делающий отл...,тоже Аноним, 11:41 , 26-Окт-15
          • Представлен Mimic для подмены похожих символов, делающий отл...,., 16:57 , 26-Окт-15
          • Представлен Mimic для подмены похожих символов, делающий отл...,Sinot, 19:11 , 26-Окт-15
    • Представлен Mimic для подмены похожих символов, делающий отл...,Аноним, 12:57 , 25-Окт-15
    • Представлен Mimic для подмены похожих символов, делающий отл...,vit, 18:22 , 25-Окт-15
      • Представлен Mimic для подмены похожих символов, делающий отл...,vit, 18:26 , 25-Окт-15
        • Представлен Mimic для подмены похожих символов, делающий отл...,тоже Аноним, 14:16 , 26-Окт-15
    • Представлен Mimic для подмены похожих символов, делающий отл...,pavlinux, 02:19 , 26-Окт-15
  • Представлен Mimic для подмены похожих символов, делающий отл...,Elhana, 18:17 , 26-Окт-15
• Представлен Mimic для подмены похожих символов, делающий отл...,Аноним, 10:21 , 25-Окт-15
  • Представлен Mimic для подмены похожих символов, делающий отл...,serega, 11:05 , 25-Окт-15
  • Представлен Mimic для подмены похожих символов, делающий отл...,Аноним, 11:31 , 25-Окт-15
    • Представлен Mimic для подмены похожих символов, делающий отл...,Аноним, 12:58 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,A.Stahl, 10:21 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,bOOster, 10:23 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,A.Stahl, 10:24 , 25-Окт-15
      • Mimic - утилита для подмены похожих символов, делающая отлад...,bOOster, 10:28 , 25-Окт-15
      • Mimic - утилита для подмены похожих символов, делающая отлад...,Знающий Истину, 10:46 , 25-Окт-15
        • Mimic - утилита для подмены похожих символов, делающая отлад...,Michael Shigorin, 19:23 , 25-Окт-15
      • Mimic - утилита для подмены похожих символов, делающая отлад...,pavlinux, 02:27 , 26-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,EHLO, 11:25 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,bOOster, 10:22 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 10:48 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,GotF, 11:03 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 13:00 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,pavlinux, 03:15 , 26-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,ano, 13:39 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 17:51 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,Michael Shigorin, 19:29 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 08:03 , 26-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,YetAnotherOnanym, 10:47 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 17:26 , 26-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,YetAnotherOnanym, 19:27 , 28-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Очередной аноним, 16:18 , 27-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 10:47 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Admino, 11:34 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 12:57 , 25-Окт-15
      • Mimic - утилита для подмены похожих символов, делающая отлад...,Michael Shigorin, 19:30 , 25-Окт-15
        • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 08:15 , 26-Окт-15
          • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 19:15 , 26-Окт-15
• Заголовок.,Аноним, 10:52 , 25-Окт-15
  • Заголовок.,Аноним, 10:53 , 25-Окт-15
  • Заголовок.,KOT040188, 16:16 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Dkg, 10:57 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Anonymous_, 11:07 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Петушок, 13:50 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 18:40 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,аанноонниимм, 21:11 , 26-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 11:57 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,all_glory_to_the_hypnotoad, 12:43 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,Кукаретик, 15:41 , 25-Окт-15
      • Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 17:29 , 26-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,systemd_anonymousd, 17:44 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Michael Shigorin, 19:32 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 12:10 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 12:29 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Кукаретик, 15:43 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,all_glory_to_the_hypnotoad, 12:38 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 14:27 , 25-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,Eklykti, 15:30 , 25-Окт-15
    • Mimic - утилита для подмены похожих символов, делающая отлад...,Michael Shigorin, 19:34 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 20:03 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 21:02 , 25-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 02:06 , 26-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,IMHO, 10:17 , 26-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 13:46 , 26-Окт-15
  • Mimic - утилита для подмены похожих символов, делающая отлад...,тоже Аноним, 14:19 , 26-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 23:07 , 26-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 18:23 , 27-Окт-15
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 14:06 , 13-Мрт-19
• Mimic - утилита для подмены похожих символов, делающая отлад...,Аноним, 14:06 , 13-Мрт-19

Хе. Ну сделаем обратный парсер. Делов то на 5 минут ))

А нихрена не 5 минут. Слишком от контекста зависит. Вот и думай что было в тексте изначально: точка с запятой и греческий вопросительный знак.
Обратная задача в общем виде не решаема вообще.

в общем виде — да. Но если известны  начальные условия — имели код с символами ASCII — то решается элементарно.

Да ладно. Если речь об исходниках, то обратную замену можно смело делать везде, кроме литералов.
Внутри них можно применить эвристику: тот греческий знак, например, не имеет смысла, если другой эллиники в документе нет. И слова, в которых кириллица перемешана с латиницей, даже в литералах крайне маловероятны.

> И слова, в которых кириллица перемешана с латиницей, даже в литералах крайне маловероятны.

https://translate.google.com/#ru/sr/%D1%8F%D0...

Хм... туше.
Однако замена "JE3ИK" на "JЕЗИК" критична только в двух случаях: когда нужен точный битовый паттерн и когда в шрифте нет поддержки кириллицы. Да, согласен, такие случаи вполне возможны.

С другой стороны, я, признаться, не понял сущности юз-кейса. Как в реальной жизни мне в руки может попасть код, испохабленный таким образом? Да еще и с неизвестным заранее языком на борту?

Да всё правильно. Ну будет у тебя трэш в строках, неприятно, но отладке не помешает никак.

Например в примерах на каких-нибудь сайтах-учебниках с "уникальным" контентом. Иногда встречаются сайты с подобной защитой от копирования.

надо сначала распечатать, а потом - распознать.

а какая хрен разница. ну заменишь греческий впрос на точку запятой.
Человек прочитает и не заметит
а программа скомпилиться

П_р_им_е_нить

П_p_им_e_нить

//человек разницы не увидет
a:='Ποιος είσαι εσύ;';
a:='Ποιος είσαι εσύ;';

Тот редкий случай, когда действительно имеет смысл поиграть шрифтами ;)

> А нихрена не 5 минут. Слишком от контекста зависит.
> Вот и думай что было в тексте изначально: точка с запятой и греческий вопросительный знак.

Какого контекста, речь про ошибки препроцессора?! У него нет контекста,
а есть допустимые символы, которые описаны в стандарте на этот язык.

При перекодирование нужно лишь не трогать значения строковых переменных.

Так в самой утилите есть режим обратной замены.

А диссернет так можно обойти?

Зачем?

> А диссернет так можно обойти?

Мысли читаешь. Но их представитель говорил, они распознают и похожие.

После введения запрета на пиратское ПО распознание проводится аспирантами.

>может применяться для

Блин... Теперь придётся писать систему, которая будет приводить всё в нормальный вид из этого говна. А это задачка посложнее будет. На много порядков сложнее.

В чем она сложнее то? Тыж не с визуальным отображениями работаешь а с ASCII/UNICODE..

Задача контекстнозависима. Как ты определишь нужен здесь греческий вопрос или точка с запятой?

> Задача контекстнозависима. Как ты определишь нужен здесь греческий вопрос или точка с
> запятой?

Аааа, ты в общем контексте? Ну тады да. Я остановился на заголовке новости и применимости этого для исходого кода. А для языков программирования семантика строгая.

везде точка с запятой
.!.  .!.

> везде точка с запятой

Предложил правку, где во втором месте ";" (;) из твита по ссылке.

Да, тема старая, но только раскинувшаяся шире с юникодом...

> Как ты определишь нужен здесь греческий вопрос или точка с запятой?

В стандарте на язык прописано.  

>А это задачка посложнее будет. На много порядков сложнее.

Для спамфильтра намного проще, нет необходимости восстанавливать нормальный вид. Нашел обфускацию (например смесь разных алфавитов в одном слове) -- добавил очко.

Аналогично можно с кодом поступить: нашел обфускацию, значит либо пасхалочка, либо нафиг такой "продукт".

Помню во времена моей молодости, DOS НортонКоммандер и всякое такое - была утилита переворачивающая экран вверхтормашками. Обозвали утилиту как 255 символ и вставили в autoexec.bat. Наш товарищ "головой монитор разбил" ))))

А есть подобное для текстового режима linux?

> А есть подобное для текстового режима linux?

Можно перевернуть фреймбуферную консоль. Про текстовый не знаю, да и он не встречается уже почти.

в линуксе нет текстового режима - там есть терминал. это немного другое.

> А есть подобное для текстового режима linux?

# для VGA 80x25
1. Замутить terminfo файлик, скомпилить.
2. Закинуть в /usr/share/terminfo/
3. export TERM=rotterm  

можно там в каталоге пошариться, может уже есть такой.

# Для фряймбуфера
есho 2 >  /sys/class/graphics/fbcon/rotate_all;

# X'ы
xrandr -o 2;

# Как-то хитрожопо лазали в VGA регистры и там вращали всей видюшкой.
# Граб2 мож крутануть
# Ну и ефи/биос пропатчить.

ti.com

Точно! :)

> ti.com

Фигассе память :)

Друг пояснить просит

Когда я занимался составлением русских правил для SpamAssassin'а, обнаружил, что в русскоязычном спаме широко применяется метод смешивания русских и латинских букв, а также цифр (ноль вместо О, три вместо З, и т.д). Сделал правило, по которому за одно только смешивание русских и латинских букв в одном слове, при наличии ещё некоторых признаков, письмо получало некоторый балл, даже без анализа текста.
Так что тут тоже самое - просто ищем символы выше 0x80 там, где их быть не должно, и всё.

Отличная идея! Как раз недавно просматривал папку спама и удивлялся, как гуглу удаётся так хорошо настроить фильтры. У вас нет статей о подобном?

Нет, статей у меня нет. Если есть желание - можете глянуть сами правила - http://sa-russian.narod.ru/
Я их, если честно, забросил, потому что я сейчас почтой не занимаюсь...

наверное тут ключевое "...там, где их быть не должно...". Если это листинг какой-то программы, то для того, чтобы понять, должен "странный" символ там быть или не должен, вам нужно целый синтаксический анализатор языка программирования писАть. Потому что как минимум нужно понять, этот символ в этом месте относится к конструкциям языка или он валяется внутри какой-нибудь строковой константы, в которую вбит текст на хинди (и данный символ там нормален).

Дaвнo yжe зaмeняю. Правда из-за обессивно компульсивного синдрома и не в коде, в в сообщениях.

И какие символы ты заменил в этом комментарии, колись?

В первом предложении - очень многие.

> В первом предложении - очень многие.

$ export LANG=C
$ echo <d0><94>a<d0><b2><d0><bd>o y<d0><b6>e <d0><b7>a<d0><bc>e<d0><bd><d1><8f><d1><8e>.^C

Какой это язык и в чём суть этого кода? Смахивает на баш.

Вау, нет объяснений, а только один минус.
Мне кажется или тот кто его поставил таки понимал суть. <,>, код символа (кажется).

Я использовал эту особенность когда регистрировался на oтветах Google после бана. Одинаковые ники были запрещены, но относительно неодинаковые - нет.
Правда потом эту особенность из движка выпилили. ;(
PS ВиO, я скучаю.

PS: также можно использовать невидимый нулевой пробел.

Скучаете по ещё одному бану? ヅ

Разработчикам IDE работы прибавиться.

Для Vim уже есть плагин
https://github.com/vim-utils/vim-troll-stopper

> Разработчикам IDE работы прибавиться.

http://tsya.ru

Что сделает?
Прибавится
(Oн) Что делает?
Добивается!
Что сделать?
Добиться
Что делать?
Добиваться!

Хотя, теперь я понимаю, откуда всякое-разное "ЦО" пошло:
прибавицо
добиваецо
добицо
добивацо

>Разработчикам IDE работы прибавиться.

                                 ^^^^^
И Розенталю

> Утилита воплощает идею, высказанную одним из разработчиков из компании Twitter

тоже мне идея - периодически натыкался на такую проблему при копировании примеров кода из web-браузера. Кажется, тире в коде обычно неотличимо от минуса.
И, в отличие от хитрого ; из греческого юникода, встречается гораздо чаще - тот же word такую подставу автоматически делает.

> ... периодически натыкался на такую проблему при копировании примеров кода из web-браузера ... тот же word такую подставу автоматически делает.

Стоит ли это понимать будто вы кодите в ворде? Сценарий без ворда выглдяит как-то слишком фантастическим, ну просто во всём интернете навряд ли найдётся онтопиковый ресурс где в коде использовали бы юникодное тире.

>Стоит ли это понимать будто вы кодите в ворде?

А в чём ещё кодить?

Некоторые ещё и /etc/passwd в нем редактируют.

> Сценарий без ворда
> выглдяит как-то слишком фантастическим, ну просто во всём интернете навряд ли
> найдётся онтопиковый ресурс

Да не так и редко попадается. WordPress этим грешил раньше, по-моему. Некоторые форумы.

> тот же word такую подставу автоматически делает.

word, который press -- похоже, тоже.

Не кормите троля

Мне больше всего бесит буквы С и C...

Операторы, вбивая данные, так ошибаются ежедневно.

> Кроме шуток над коллегами, замена символов может применяться для скрытия текста от автоматизированных систем разбора, механизмов цензурирования и поисковых систем.

глупости, давно уже все, кому нужно, умеют нормальизовывать текст с учётом таких трансформаций. Это самое простое что в таких системах делается с текстом.

с буквами "с" такое нередко случается совершенно случайно: на макбуке в режиме "у каждого окна свой язык" переключение языка при переключении в окно происходит с задержкой. в итоге, переключаешься в окно, сразу начинаешь писать, но первые несколько символов ещё в старом состоянии переключателя клавиатуры. в случае с "с" это визуально никак не заметно.

> на макбуке в режиме "у каждого окна свой язык" переключение языка при переключении в окно происходит с задержкой

Глобально, надёжно. Think different!

> Think different!

d1ff3r3n7, ага.

не почти все эти случаи можно в обратку проверить, другое дело что подобная проверка на юникод символы давно напрашивалась, осло все юникод символы вне места где мы ожидаем строковую переменную можно заменять автоматом по таблице схожих символов..

" highlight non ascii symbols
highlight nonascii guibg=DarkGreen ctermbg=DarkGreen term=standout
au BufRead * syntax match nonascii "[^\u0000-\u007F]"

класс, теперь легче помогать школьникам и студентам с "напишите программу за меня". С радостью!

ну и свободка

енжой йор юникод

Для кроссплатформенных исходников нормальных вариантов только два: либо ansi, либо юникод.
Все остальное гарантирует пляски с бубном на ровном месте.

Почему компиляторы не могут нормализовать?

Сдавайте курсачи в напечатанном виде.

пошёл на хутор бабочек ловить

пошёл на хутор бабочек ловить