Очень много букв.

Оставлю несколько тезисов:
Коммутаторы имеют хороший функционал.
Для прохода щитовой лучше использовать оптику.
Если не хватает SFP портов, то можно использовать гигабитные медиаконверторы.
Посмотрите схему "маршрутизатор на привязи" в гугле.

грубо говоря:
в первый порт SRV1 приходит инет.
три другие порты воткнуты в коммутатор1 и объединены в LACP.
линки от трех подсетей втыкаем в коммутатор1, потом или шлюзы на коммутаторе1 сооружаем или засовываем в вланы и пробрасываем на SRV1
коммутатор2 устанавливаем по-ближе к бухам
коммутатор1 и коммутатор2 соединяем оптикой 4 порта и объединяем в LACP
Бухов подключаем в коммутатор2 и теггируем в влан10 (например)
SRV2 подключаем в коммутатор1 всемя интерфейсами, опять объединяем в LACP и на этот lacp добавляем вланы влан10 и влан100
влан100 - для связи SRV1 и SRV2
Дальше уже простая маршрутизация и фильтрация.