> Элементарнейшая сеть, распознающая рукописные цифры из mnist, занимает 400к

Охренеть не встать. В 90-х делал TSR-модуль по распознаванию именно цифр на основе СДФ. Загруженный в память, он занимал менее 27 кбайт. Принимал по прерыванию адрес изображения и выдавал результат. Поддерживал режим обучения, т.е. после загрузки он мог обработать массив обучающих изображений с разметкой и заполнить массив "знания" в границах его 27 к. После доработки для распознавания латиницы увеличился до 35к.