> А про железо поподробнее? Какие драйвы, какая скорость получается в цифрах
> На самом сервере опенсоляриса скорость нормальная? или на нем тоже маленькая?

Железо openSolaris:
CPU: 2x Intel Xeon CPU X5650 @ 2.67GHz, 6 Core
RAM: 48GB (8+8+8+8+8+8+4)
RAID: LSI MegaSAS 9260 -i8 (RAID10  - 4.8TB 15K диски 10шт.) - таргеты как блоковое устройство, не через ZFS    - драйвер mr_sas
LAN: Mellanox Technologies MT26428[ConnectX VPI PCIe 2.0 5TG/s -IB QDR / 10GigE] 40 GB/sec   - драйвер hermon

Железо Windows:
CPU: 2x Intel Xeon CPU X5650 @ 2.67GHz, 6 Core
RAM: 32GB (8+8+8+8)
RAID: Adaptec ech10-r RAID 10, установлена только для системы  - драйвер Adaptec с сайта производителя
LAN: Mellanox Technologies MT26428[ConnectX VPI PCIe 2.0 5TG/s -IB QDR / 10GigE] 40 GB/sec   - драйвер Mellanox VPI 2.1.2 с сайта производителя + FIX для работы SRP протокола (получен через Support Mellanox)

Скорость интерфейса 40 ГБ/сек

Скорость в цифрах:
Тест SQLIO с Windows сервера к LUN на Solaris (LUN'ы калибровались с отступом 1024)

Диск размеченый 8К

--- Random Read o4 b8---
IOs/sec: 108444.28
MBs/sec:   847.22
------------------------
- Sequential Read o4 b8-
IOs/sec: 108382.54
MBs/sec:   846.73
------------------------
- Random Read o4 b64---
IOs/sec: 24392.86
MBs/sec:  1524.55
------------------------
- Sequential Read o4 b8-
IOs/sec: 24178.48
MBs/sec:  1511.15
------------------------
тут вроде нормально, все траблы начинаются с 64К размеченым диском

Диск размеченый 64К

--- Random Read o4 b8---
IOs/sec:  6328.88
MBs/sec:    49.44
------------------------
- Sequential Read o4 b8-
IOs/sec: 24172.90
MBs/sec:   188.85
------------------------
--- Random Read o4 b64--
IOs/sec:  1439.97
MBs/sec:    89.99
------------------------
- Sequential Read o4 b64-
IOs/sec:  3522.63
MBs/sec:   220.16
------------------------

В рандом риде о4 b64 в 64к размеченом диске должно быть минимум 2500 IOs/sec

вот так вот.