Unix pin » Sun — Cluster

Зачем устанавливать ASL и APM для vxvm?

ikorolev — Fri, 19 Dec 2008 17:58:51 +0000

Обязательно устанавливайте Array Support Library (ASL) и Array Policy Module (APM, когда он есть) в vxvm для всех используемых массивов. Зачем это нужно? Дело в том, что эти модули используется для повышения надежности доступа к массивам. В частности, vxdmp определяет тип доступа к массиву (active-active, active-passive), для наиболее надежного соединения, скорости переключения при отказе одного из каналов, балансировки нагрузки.
Еще одна причина — информация о дисковой группе хранится не на всех дисках, а по умолчанию — на 10-20% дисков, и vxvm старается раскидать по принципу наибольшей надежности их по разным контроллерам-массивам, а если тип массива не установлен — то информация будет сохраняться без учета особенностей сети хранения данных.

Итак, пример из жизни, реальная ситуация (сбой кластера): не установлена ASL, все тома отзеркалены на разные массивы, оба массива определелись как jbod-ы. В результате все конфигурационные копии попали на ОДИН массив, который, неожиданно отказал. Таким образом получилось, что есть копии всех томов, но дисковую группу импортировать нельзя, так как недоступны все конфигурационные копии.

А что нужно было сделать? Найти на сайте symantec ASL для вашего дискового массива (укажите вендора или имя массива в запросе), версии vxvm, операционную систему. Скачать и установить. Установка производится в онлайн, не требует ни перезагрузки, ни остановки vxvm, ни прекращения доступа к томам.

Пример — установка ASL для поддержки массивов HDS 9500:

Проверьте, что vxvm инсталлирован и находится в состоянии enabled
# vxdctl mode mode: enabled

Посмотреть, для каких массивов есть ASL:
# vxddladm listsupport

Добавить ASL и APM пакаджи:
Solaris:
# pkdadd -d . VRTSHDS-DF600-apm # pkgadd -d . VRTSHDS-DF600-asl # pkginfo | grep VRTSHDS

HP-UX:
# swinstall -s `pwd` VRTShds9500v # swlist | grep VRTShds9500v

Выполните команду vxdctl enable чтоб vxvm перечитал добавленные ASL и APM:
# vxdctl enable

Внимание! В некоторых (очень редких случаях) случаях инсталляция ASL и/или APM может не дать эффекта сразу. В этом случае можно выполнить еще команду vxconfigd -k после vxdctl enable.

После выполнения vxdctl enable проверьте, что ASL подключилась:
# vxddladm listsupport libname=libhdsasl.so ATTR_NAME ATTR_VALUE ====================================================================== LIBNAME libhdsasl.so VID HITACHI PID DF600,DF600-V,DF600F, DF600F-V ARRAY_TYPE A/A-A-HDS, A/PG, A/P, A/A ARRAY_NAME HDS9500V

Проверить, что APM находится в активном режиме:
# vxdmpadm listapm all | grep -i hdsalua dmphdsalua dmphdsalua 1 A/A-A-HDS Active

Посмотреть, сколько копий конфигурации хранится:
# vxdg list DG01 | grep copies copies: nconfig=2 nlog=2

Посмотреть, на каких дисках хранятся копии конфигурации и в каком они состоянии:
# vxdg list DG01 | grep "config " config disk c1t8d0s2 copy 1 len=48144 disabled config disk c1t9d0s2 copy 1 len=48144 state=clean online config disk c1t12d0s2 copy 1 len=48144 state=clean online config disk c1t14d0s2 copy 1 len=48144 disabled

Хранить копии конфигурации на пяти дисках дисковой группы:
# vxedit set nconfig=5 DG01

Хранить копии конфигурации на всех дисках дисковой группы:
# vxedit set nconfig=all DG01

Ссылки по теме:

Краткий справочник по командам Sun Cluster 3.1

ikorolev — Tue, 05 Aug 2008 10:35:39 +0000

Краткий справочник по командам Sun Cluster 3.1

Посмотреть состояние и конфигурацию кластера
Посмотреть состояние кворум-устройств
Посмотреть состояние дисковых групп
Посмотреть состояние ресурсных групп
Посмотреть список did устройств
Администрирование кластера
Администрирование ресурсных групп
Администрирование ресурсов
Администрирование глобальных устройств
Администрирование дисковых групп Veritas в составе кластера

Посмотреть состояние и конфигурацию кластера
scconf -p scstat -p

Посмотреть состояние кворум-устройств
scstat -q

Посмотреть состояние дисковых групп
scstat -D

Посмотреть состояние ресурсных групп
scstat -g scrgadm -p scrgadm -pv scrgadm -pvv scrgadm -pvv -g RG

Посмотреть список did устройств
scdidadm -L

Администрирование кластера
Посмотреть состояние кластера
scconf -p

Выключение одного узла кластера (эвакуировать все ресурсы с узла NODE1)
scswitch -S -h NODE1 shutdown -g0 -y -i0

Загрузить узел кластера без кластерного ПО:
{ok} boot -x

Администрирование ресурсных групп

Посмотреть состояние ресурсных групп
scstat -g

Переключение ресурсной группы на узел NODE2
scswitch -z -g RG -h NODE2

Перевод ресурсной группы в on-line
scswitch -Z -g RG

Перевод ресурсной группы в off-line
scswitch -F -g RG

Рестарт ресурсной группы
scswitch -R -g RG

Посмотреть зависимость ресурсов в РГ:
scrgadm -pvv |grep depen |grep -v NULL

Добавить зависимости между ресурсными группами. RG будет запускаться, толь-ко если RG_old поднялась:
scrgadm -c -g RG -y RG_dependencies=RG_old

Убрать зависимость между ресурс-группами
scrgadm -c -g RG -y RG_dependencies=

Удалить ресурсную группу:
scswitch -F -g RG scrgadm -r -g RG

Администрирование ресурсов

Посмотреть состояние ресурсов
scstat -g

Очистить флаг STOP_FAILED Error Flag
scswitch -c -g RG -h NODE2 -j RG_res -f STOP_FAILED

Перевести ресурс во включенное состояние.
После того, как ресурс добавлен в ресурсную группу, его необходимо включить.
scswitch -e -j RG_res

Перевести ресурс в выключенное состояние
scswitch -n -j RG_res

Выключить мониторинг ресурса кластером
scswitch -M -n -j RG_res

Включить мониторинг ресурса кластером
scswitch -M -e -j RG_res

Перевести ресурс в «неуправляемое» состяние
scswitch -u -j RG_res

Перевести ресурс в «управляемое» состяние
scswitch -o -j RG_res

Посмотреть зависимость ресурсов в РГ:
scrgadm -pvv |grep depen |grep -v NULL

Добавить зависимости между ресурсами.
scrgadm -c -j RG_res -y Resource_dependencies=RG_res_1,RG_res_2

Удалить зависимости между ресурсами.
scrgadm -c -j RG_gds -y Resource_dependencies=

Удалить ресурс
scswitch -n -j RG_res scrgadm -r -j RG_res

Администрирование глобальных устройств

Посмотреть список did устройств
scdidadm -L

Пересоздать список глобальных устройств
scgdevs

Обновить список did устройств
scdidadm -r

Администрирование дисковых групп Veritas в составе кластера

Посмотреть состояние дисковых групп
scstat -D

Добавить дисковую группу под управление кластера:
vxdg import DG scconf -a -D type=vxvm,name=DG,nodelist=NODE1:NODE2,preferenced=true

Добавить новый диск в дисковую группу:
cfgadm -c configure c8 devfsadm scdidadm -r vxdctl enable vxdg -g DG adddisk c8t1d0 scconf -c -D name=DG,sync

Добавить новый том:
vxassist -g DG make VOLUME 10g scconf -c -D name=DG,sync

Удалить vxvm-группу:
scswitch -F -D DG scconf -r -D name=DG

Solaris, ip over fc

ikorolev — Fri, 06 Jun 2008 07:32:28 +0000

Организовать ip-over-fc при наличии FC HBA очень просто. Для чего может понадобится такая шняга? Ну, например, для организации резервного интерконнекта в кластере (хотя в sun cluster такая конфигурация не поддерживается, но в Veritas cluster вполне можно использовать ). Итак, если у нас есть FC-HBA, то драйвер ip-over-fc уже подключен, остается его только запламбить:

# ifconfig fcip0 plumb
# ifconfig -a
lo0: flags=1000849 mtu 8232 index 1
        inet 127.0.0.1 netmask ff000000
eri0: flags=1000843 mtu 1500 index 2
        inet 10.2.4.77 netmask fffff000 broadcast 10.2.15.255
        ether 0:3:ba:35:52:a
fcip0: flags=1000842 mtu 65280 index 3
        inet 0.0.0.0 netmask 0
        ether 0:e0:8b:24:9d:63

# ls -la /dev/fc/fp?
lrwxrwxrwx   1 root     root          51 Oct 17 09:46 /dev/fc/fp0 -> ../../devices/pci@8,600000/SUNW,qlc@4/fp@0,0:devctl
lrwxrwxrwx   1 root     root          59 Oct 17 09:48 /dev/fc/fp1 -> ../../devices/pci@1f,0/pci@1/pci@5/SUNW,qlc@5/fp@0,0:devctl
lrwxrwxrwx   1 root     root          59 Oct 17 09:50 /dev/fc/fp2 -> ../../devices/pci@1f,0/pci@1/pci@5/SUNW,qlc@4/fp@0,0:devctl

# luxadm -e dump_map /dev/fc/fp2
Pos  Port_ID Hard_Addr Port WWN         Node WWN         Type
0    100100  0         210000e08b08be0a 200000e08b08be0a 0x1f (Unknown Type)
1    140700  0         210100e08b249d63 200100e08b249d63 0x1f (Unknown Type,Host Bus Adapter)

Аналогичную операцию проделываем на втором (третьем, четвертом итд хосте)

По полученным wwn прописываем зонинг на SAN-свитчах, поднимаем ip-шники и пингуем хосты ;)

host1 # ifconfig fcip0 192.168.100.1 up
host2 # ifconfig fcip0 192.168.100.2 up
host2 # ping 192.168.100.1

Примерная скорость передачи данных, конечно, не впечатляет — на 1GB свитчах получается 12-15МБ/с, на 2Gb — 32-40МБ/с. Очевидно, сказывается двойное преобразование из ip в fc и обратно.

Просмотр, анализ логов sun cluster

ikorolev — Mon, 02 Jun 2008 13:29:51 +0000

Недавно пришлось анализировать проблемы с переездом ресурсной группы в кластере. При том, что клиент умудрился удалить большую часть логов. Вообще, sun cluster помимо /var/adm/messages пишет логи еще в /var/cluster/logs . Но логи туда пишутся в закрытом бинарном формате. Вот, на днях в блоге у Dongsu нашел полезную утилитку анализа этих eventlog. Утилитка, к сожалению только под sparc. Думаю, что логи «sun cluster x86″ сможет прочитать тоже.

# pwd

/var/cluster/logs

# ./showev4 eventlog |more
Wed May 14 09:06:23 2008
class: EC_Cluster subclass: ESC_cluster_pmf_proc_restart
vendor: SUNW pub: pmf pid: 2694
cluster_id: 0x460B78FB cluster: bsrv node: srvb
ts_sec: 1210741583 ts_usec: 106306
severity: 0 (Info) initiator: 1 (System)
pmf_name_tag: ORASERV_MON_oracle-server-rs
pmf_cmd_path: /opt/SUNWscor/oracle_server/bin/oracle_server_monitor64_v9 -R oracle-server-rs -G ora-rg -T SUNW.oracle_server:5 -p O
RASERV_MON_oracle-server-rs -f /opt/SUNWscor/oracle_server/bin/../etc/oracle_server_monitor_action
total_attempts: 1
attempt_number: 0
reason_code: 14 (pmf-restart)

Wed May 14 09:06:23 2008
class: EC_Cluster subclass: ESC_cluster_fm_r_status_change
vendor: SUNW pub: rgm pid: 2775
cluster_id: 0x460B78FB cluster: bsrv node: srvb
ts_sec: 1210741583 ts_usec: 479593
severity: 0 (Info) initiator: 3 (Agent)
r_name: oracle-server-rs
rg_name: ora-rg node_name: bsrvb
old_status: R_FM_ONLINE
new_status: R_FM_UNKNOWN
status_msg:

Закачать у меня showev4 , или в блоге у Dongsu