После аварийного пропадания питания, сервера с ILOM (Sun/Oracle t5440, t3-1, t3-4 итд) автоматически не включаются. Чтобы это исправить, в системном контролере выставляем

set /SP/policy HOST_LAST_POWER_STATE=enabled
set /SP/policy HOST_POWER_ON_DELAY=enabled

ЗЫ Если автозагрузка не установлена, то еще добавить
set /HOST/bootmode script="setenv auto-boot? true"

В последних версиях VxVM научился обнаруживать zfs ну и соответственно теперь может «делать каку»
# vxdisk list
DEVICE TYPE DISK GROUP STATUS
c0t5000CCA0125F2E84d0s2 auto:ZFS - - ZFS
c0t5000CCA01268CBECd0s2 auto:ZFS - - ZFS

При обновлении VxVM до версии 5.1SP1RP2 появляется сообщение:
Читать полностью »

MPxIO может использовать load-balance алгоритмы
round-robin
logical-block
none
Обычно, включается опция load-balance=»round-robin» в файле /kernel/drv/scsi_vhci.conf .
На массивах Hitachi USP, USPV, VSP (и других работающих в active-active режиме) это приводит к тому, что каждая scsi-команда отрабатывает на следующем контроллере, при этом происходит задержка (rotational delay на диске, система ждет пока диск сделает оборот). Особенно заметно это на последовательных операциях ввода-вывода и на страйпированых томах vxvm или svm со страйпом 16кб.
Чтобы этого избежать,
Читать полностью »

Смотри также
Когда навалом процессоров… Часть 1
Когда навалом процессоров… Часть 2
Когда навалом процессоров… Часть 3

Сегодня учимся определять процессор, который обслуживает прерывания устройств ввода-вывода. Раньше пытались определять это анализируя вывод команды intrstat, но, оказывается, что есть команда pcitool.
С ее помощью можно посмотреть, какие процессора обрабатывают прерывания с каких устройств и переместить обработку прерываний на другой процессор.

Итак, определим, на какой шине pci расположены адаптеры qlc :
# cat /etc/path_to_inst |grep \"qlc\"
"/pci@400/pci@2/pci@0/pci@1/pci@0/pci@2/SUNW,qlc@0" 3 "qlc"
"/pci@400/pci@2/pci@0/pci@1/pci@0/pci@2/SUNW,qlc@0,1" 4 "qlc"
"/pci@400/pci@2/pci@0/pci@2/pci@0/pci@2/SUNW,qlc@0" 7 "qlc"
"/pci@400/pci@2/pci@0/pci@2/pci@0/pci@2/SUNW,qlc@0,1" 8 "qlc"
"/pci@600/pci@1/pci@0/pci@4/pci@0/pci@2/SUNW,qlc@0" 2 "qlc"
"/pci@600/pci@1/pci@0/pci@4/pci@0/pci@2/SUNW,qlc@0,1" 11 "qlc"
"/pci@500/pci@2/pci@0/pci@2/pci@0/pci@2/SUNW,qlc@0" 5 "qlc"
"/pci@500/pci@2/pci@0/pci@2/pci@0/pci@2/SUNW,qlc@0,1" 6 "qlc"
"/pci@500/pci@1/pci@0/pci@1/pci@0/pci@2/SUNW,qlc@0" 9 "qlc"
"/pci@500/pci@1/pci@0/pci@1/pci@0/pci@2/SUNW,qlc@0,1" 10 "qlc"
"/pci@700/pci@2/pci@0/pci@3/pci@0/pci@2/SUNW,qlc@0" 0 "qlc"
"/pci@700/pci@2/pci@0/pci@3/pci@0/pci@2/SUNW,qlc@0,1" 1 "qlc"

Смотрим, какой процессор обрабатывает прерывания устройств на шине /pci@600
# pcitool /pci@600 -i
ino 6 mapped to cpu aa
Device: /pci@600/pci@1/pci@0/pci@4
Driver: pcieb, instance 42
ino 7 mapped to cpu 87
Device: /pci@600/pci@1/pci@0/pci@4/pci@0/pci@2/SUNW,qlc@0
Driver: qlc, instance 2
ino 8 mapped to cpu 86
Device: /pci@600/pci@1/pci@0/pci@4/pci@0/pci@2/SUNW,qlc@0
Driver: qlc, instance 2
ino 9 mapped to cpu 85
Device: /pci@600/pci@1/pci@0/pci@4/pci@0/pci@2/SUNW,qlc@0,1
Driver: qlc, instance 11
ino a mapped to cpu 84
Device: /pci@600/pci@1/pci@0/pci@4/pci@0/pci@2/SUNW,qlc@0,1
Driver: qlc, instance 11
...

номер прерывания (ino) и номер процессора (cpu) в шеснадцатеричном виде.

Перенесем прерывание ino 7 с процессора 87 на процессор ff
# pcitool /pci@600 -i ino=7 -w cpu=ff
Interrupts on ino 7 reassigned: Old cpu:87, New cpu:ff

Ну и далее — переносим все прерывания устройств ввода-вывода на один или несколько выделенных процессоров и объединяем их в процессорный сэт ( psrset ).

С недавнего времени в horcm конфигах (файлах, описывающих репликацию ShadowImage, COW или TruCopy) теперь очень просто описать Command device:

#dev_name dev_name dev_name
\\.\CMD-99999:/dev/rdsk/

Где 99999 — серийный номер вашего массива.
В более ранних версиях требовалось указывать конкретные LUN-ы, на которых располагались Command devices, что вызывало проблемы при переезде путей в SAN или, например, замене HBA. Теперь, при замене HBA, изменении номера контроллера после перезагрузки или проведении динамической реконфигурации итд — репликация продолжает работать.

  1. luxadm. Часть 1. Посмотреть
  2. luxadm. Часть 2. Сделать

Что можно сделать с помощью команды luxadm

При мультипатинге STMS(MPXIO) переключение пути с primary на secondary (на дисковых массивах в режиме active-passive). Посмотреть какие пути primary/secondary с помощью luxadm display /dev/rdsk/c14t6d0s2
# luxadm failover secondary /dev/rdsk/c14t6d0s2
Error: Device does not support failover
# luxadm failover primary /dev/rdsk/c14t6d0s2
Error: Device does not support failover

Переинициализировать порт hba (погасить и зажечь порт). Помогает при залипаниях и добавлении новых дисков со стороны массива.
# luxadm -e forcelip /dev/cfg/c3
# tail -100 /var/adm/messages
Oct 26 17:32:22 pioneer emlxs: [ID 349649 kern.info] [ 5.05F1]emlxs1: NOTICE: 730: Link reset. (Resetting link...)
Oct 26 17:32:22 pioneer emlxs: [ID 349649 kern.info] [ 5.031F]emlxs1: NOTICE: 710: Link down.
Oct 26 17:32:22 pioneer emlxs: [ID 349649 kern.info] [ 5.0631]emlxs1: NOTICE: 730: Link reset.
Oct 26 17:32:24 pioneer emlxs: [ID 349649 kern.info] [ 5.0549]emlxs1: NOTICE: 720: Link up. (4Gb, fabric, initiator)

Перевести устройство в offline (полезно при удалении определенных LUNов с массивов)
# luxadm -e offline /dev/rdsk/c14t6d0s2

Перевести устройство в online
# luxadm -e online /dev/rdsk/c14t6d0s2

Послать устройству команду reset
# luxadm -e dev_reset /dev/rdsk/c14t6d0s2

Зажечь или погасить лампочку на диске (работает только на некоторых устройствах)
# luxadm led /dev/rdsk/c14t6d0s2
# luxadm led_on /dev/rdsk/c14t6d0s2
# luxadm led_off /dev/rdsk/c14t6d0s2
# luxadm led_blink /dev/rdsk/c14t6d0s2

Обновить прошивку на hba (лучше пользоваться загрузчиком из firmware патча)
# luxadm fcode_download -d /path_to_firmware

  1. luxadm. Часть 1. Посмотреть
  2. luxadm. Часть 2. Сделать

Команда luxadm используется для работы с различными fc устройствами. Создавалась она для администрирования внутренних дисков серверов sf880 и fc-al, а в дальнейшем добавился функционал и эта утилита стала основной при работе с fc (в Solaris 10 появились команды fcinfo и mpathadm ). Синтаксис у команды непростой, но попробую ее причесать.
Итак, какие аргументы можно использовать
физический путь к fc портам hba или контроллеру (типа /devices/pci@700/pci@0/pci@c/SUNW,emlxs@0,1/fp@0,0:devctl или /dev/cfg/c6 )
WWN массива (типа 10000000c98b08d3)
путь к диску или ленте (/dev/rdsk/c6t1d0s2 или /dev/rmt/2)
Читать полностью »

Пришлось наконец столкнуться на практике с передачей сравнительного большого
снимка ZFS по сети. В учебных материалах и официальной документации сказано, что
для передачи по сети следует использовать команды send\recv в сочетании с ssh
через пайп. На практике же это решение оказывается абсолютно не работоспособным
для больших объемов. Лично у меня скорость передачи уперлась примерно в 8 MB/sec
по гигабитной сети, что привело к тому что за 12 часов скопировалось лишь 300
гигабайт данных.
Что же делать?

Читать полностью »

Если ходить на сайт поддержки Oracle ( support.oracle.com ) не через flash-версию, а через HTML, то сайт окликается заметно быстрее.

На серверах c ILOM (это сервера Sun/Oracle T5x40, T3-x, T4-x, X22x0 итд ) можно смотреть и администрировать сообщения fma (Fault Management) как из Solaris (команды fmadm, fmdump, итд), так и из ILOM.  Если вдруг после сбоя система не грузится, то диагностировать можно с системного контроллера:
Читать полностью »