>в имени файла символы?

Нет такой. Да и зачем она вам? В Юниксах, вообще говоря, для экранирования
некоторых СПЕЦИАЛЬНЫХ (если символ НЕДОПУСТИМЫЙ, то его хоть
заэкранируйся - допустимым он от этого не станет) символов используется обратная косая черта ("\").

Опять-таки, формулируйте свои нужды более развернруто: что вы имеете в
виду под "недопустимыми символами"? Как они попали в имена файлов? Или
вы хотите создать файл с "недопустимыми символами" в имени? Если да, то
на кой?