Unix pin » Veritas — Storage foundation

Solaris Live Upgrade. Часть 3. Шпаргалки

ikorolev — Tue, 12 Oct 2010 07:32:28 +0000

Обновление vxvm при LU:

Если используется vxvm, но загрузочные диски не инкапсулированы, то самый простой способ — удалить старую версию и установить новую (если же инкапсулированы, то смотри Upgrading VxVM and/or Solaris using Live Upgrade):
# luupgrade -P -n s10_2 `pkginfo | awk '/VRTS/{ print $2 }'` # lumount -n s10_2 /.alt.s10_2 # cd /distrib/VxVM 5.0MP3rp2/storage_foundation # ./installsf `hostname` -rootpath /.alt.s10_2 # cd /distrib/VxVM 5.0MP3rp4/patches # ./installrp `hostname` -rootpath /.alt.s10_2

Устанавить патчи с EIS:
# cd /mnt/eis/sun/patch/10 # unpack-patches -R /.alt.s10_2 # cd /.alt.s10_2/tmp/10 # ./install_all_patches -R /.alt.s10_2

Устанjвить recommended
Вариант 1:
# cd /mnt/10_Recommended # ./installcluster --apply-prereq --s10cluster # ./installcluster -B s10_2 --s10cluster

Вариант 2:
# cd /mnt/10_Recommended # ./installcluster --apply-prereq --s10cluster # lumount -n s10_2 /.alt.s10_2 # ./installcluster -R /.alt.s10_2 --s10cluster

Ссылки в тему:

Upgrading VxVM and/or Solaris using Live Upgrade

ZFS поверх VxDMP. И хочется, и колется.

azhiltsov — Tue, 04 May 2010 10:52:35 +0000

Вопрос: можно ли положить ZFS поверх VxDMP не создавая volume c помощью VxVM?

При всей богатой комплектации обоих и сладости их сочетания — это невозможно.

Пруфлинки следуют.

Точка зрения SUN:

http://sunsolve.sun.com/search/document.do?assetkey=1-66-201481-1

Точка зрения Symantec:

http://seer.entsupport.symantec.com/docs/324001.htm

А если volume все-таки создать?

ZFS Admin guide говорит:

You can construct logical devices for ZFS using volumes presented by software-based volume managers, such as SolarisTM VolumeManager (SVM) or Veritas VolumeManager (VxVM).However, these configurations are not recommended. While ZFS functions properly on such devices, less-than-optimal performance might be the result.

Ну и на закуску от Symantec:

release notes к VSF 5.0
Running ZFS on top of DMP or Veritas Volume Manager is not supported in this release.

А как же быть и как жить дальше?

Q: Does ZFS have multipathing load balancing i.e., powerpath/veritas multipathing/etc.?

A: Yes. ZFS sits on top of multipathing capability MPxIO which is part of the Solaris 10 OS.

http://www.sun.com/emrkt/campaign_docs/expertexchange/knowledge/solaris_zfs_gen.html#18

Спасибо Ивану за помощь в проработке данного вопроса.

Самые загруженные тома в vxvm

ikorolev — Thu, 23 Jul 2009 10:35:32 +0000

Вдруг резк опросела производительность по операциям воода-вывода. С чего начать?
Ну, конечно, iostat (смотри также Перегретый диск в vxvm). Получили диск, или диски, а если используется vxvm — тогда лучше воспользоваться vxstat:

1. выбираем наиболее загруженные диски
# vxstat -g DG01 -i 10 -c 3 -d OPERATIONS BLOCKS AVG TIME(ms) TYP NAME READ WRITE READ WRITE READ WRITE dm array_raid1_08_1 6 260 96 5664 10.0 64.3 dm array_raid1_10_2 7 205 112 5296 12.9 68.7 dm array_raid1_10_3 6 1199 96 15408 18.3 163.6 dm array_raid1_10_4 7 178 112 5312 12.9 39.0 ... dm array_raid5_06_1 9 33 132 524 8.9 8.2 dm array_raid5_07_1 2 58 32 1120 5.0 11.6

2. получаем наиболее загруженные тома на этом диске
# vxstat -g DG01 -i 10 -c 3 -v array_raid1_10_3 OPERATIONS BLOCKS AVG TIME(ms) TYP NAME READ WRITE READ WRITE READ WRITE Thu Jul 23 14:15:55 2009 vol VOL_D_07_2009_P06_02 0 0 0 0 0.0 0.0 ... vol VOL_07_2009_P02_02 0 1 0 16 0.0 0.0 vol VOL_07_2009_P06_02 16 548 9 8312 0.9 101.3 vol VOL_07_2009_P10_01 0 53 0 1136 0.0 68.7 vol VOL_07_2009_P11_01 0 58 0 1456 0.0 57.4

Дальше анализируем, что у нас вызвало нагрузку именно на данный том (например, получая данные из Oracle)

Патчи, man-ы и прочая дока для продуктов Veritas

ikorolev — Tue, 21 Jul 2009 13:05:50 +0000

Несколько полезных быстрых ссылок по ~~Veritas~~ Storage foundation от Symantec:

Найти и скачать последние патчи на продукты — Patch Central Beta

Центральный портал документации по продуктам Storage Foundation DocCentral

Быстрый переход на документацию по продектам Access product updates, security alerts, manuals and more with Enterprise Product Support.

Нормальные man-ы в html-виде:
Storage Foundation and High Availability 4.1 for Solaris Manual Pages

Storage Foundation and High Availability 5.0 for Solaris Manual Pages

Как переподключить отвалившиеся диски?

ikorolev — Fri, 26 Jun 2009 10:05:23 +0000

В продолжнение темы Solaris. Что делать, если отвалился дисковый массив? еще пара советов по подключению отвалившихся дисков. Итак, ситуация примерно такая:
# vxdisk list DEVICE TYPE DISK GROUP STATUS c1t0d0s2 sliced rootdisk rootdg online ... fabric_0 sliced - - online fabric_1 sliced - - online - - datadg02 DG01 failed was:fabric_0 - - datadg03 DG01 failed was:fabric_1

1. Проще всего остановить все тома, депортировать и импортировать дисковую группу.

Но что делать, если часть дисков отвалилась, но некоторые тома еще живы (ну например, часть томов находится на зеркалах на другом массиве), и останавливать сервис нельзя?

2. Можно воспользоваться командой /etc/vx/bin/vxreattach
/etc/vx/bin/vxreattach -c fabric_0 /etc/vx/bin/vxreattach -r fabric_0

3. Возвратить диск в дисковую группу, указав, что это диск уже принадлежал этой дисковой группе, затем снять STALE состояние с плекса и запустить том:
vxdisk list fabric_1 vxdg -k -g DG01 adddisk fabric_1 vxmend -g DG01 fix clean tstvol-01 vxvol -g DG01 start tstvol

Как оторвать зеркало в VxVM?

ikorolev — Thu, 14 May 2009 13:13:06 +0000

При выполнении сложных работ, в результате которых могут быть потеряны данные или нарушена работа приложений можно воспользоваться отключением «подзеркала» томов в VxVM, в случае проблем можно затем быстро подняться с оторванного подзеркала. В случае, когда объемы данных значительны, а окно для выполнения работ ограничено, то восстановление из бэкапа может привести к нарушению SLA. А такой способ является простым, быстрым и надежным ;)
Итак, пусть у нас есть дисковая группа DG01, каждый том имеет по два зазеркалированных плекса. Плексы располагаются на 2 массивах (ARRAY_01 и ARRAY_01) и сабдиски имеют в своем названии эти имена (на самом деле это не обязательно, это нужно лишь чтобы отгрипать плексы, а как вы их разделите — это ваше дело, хоть руками ;)

1. Для начала убедимся, что у нас все тома имеют больше одного плекса и они все активны:
vxprint -g DG01 -v -F "%name" -e "v_pl_num < 2 " vxprint -g DG01 -p | grep DISABLE

2. создаем 2 файла, в первом — основные плексы, во втором — те, которые будем отрывать.
vxprint -g DG01 -p -F "%vol %plex %aslist" | egrep 'ARRAY_01' > /tmp/dg_pl_1.txt vxprint -g DG01 -p -F "%vol %plex %aslist" | egrep 'ARRAY_02' > /tmp/dg_pl_2.txt
Убедимся, что поделилось все правильно:
cat /tmp/dg_pl_1.txt |wc -l cat /tmp/dg_pl_2.txt |wc -l

3. Останавливаем все приложения и отмонтируем файловые системы, использующие тома (или переводим Oracle в режим «begin backup»). Ну или если ваше приложение имеет механизмы восстановления, то можно ничего и не делать.

4. Отрываем плексы:
cat /tmp/dg_pl_2.txt | awk '{ print "vxplex -g DG01 det " $2 }' | sh

5. Примонтируем файловые системы, поднимаем приложения, переводим Oracle в «End backup». Ну и делаем все что мы хотели, типа ставим патчи, изменяем стурктуру таблиц итд.

6. Проверяем. Если все в порядке, то приаттачиваем подзеркало и забываем о этой процедуре до следующего апдейта. Если нет, переходим к пункту 7.
cat /tmp/dg_pl_2.txt | awk '{ print "vxplex -g DG01 att " $1 " " $2 }'| sh

Если же все плохо, то нужно сделать переключение на подзеркало:
7. Останавливаем все приложения и отмонтируем файловые системы, использующие тома. Останвливаем тома:
cat /tmp/dg_pl_2.txt | awk '{ print "vxvol -g DG01 stop " $1 }' | sh

8. Отрываем от тома активный плекс (это нужно, чтобы быстрее поднять тома, иначе — начнется процесс зеркалирования, который может нам помешать):
cat /tmp/dg_pl_1.txt | awk '{ print "vxplex -g DG01 dis " $2 }' | sh

9. Исправляем статус оствшегося плекса со «STALE» на «CLEAN»
cat /tmp/dg_pl_2.txt | awk '{ print "vxmend -g DG01 fix clean "$2 }'

10. Стартуем тома:
vxvol -g diskgr2 startall

11. Примонтируем все файловые системы и запускаем приложения.

12. Ну и теперь можно и запустить зеркалирование:
cat /tmp/dg_pl_1.txt | awk '{ print "vxplex -g DG01 att " $1 " " $2 }' | sh

Создание клона загрузочного диска в VxVM

ikorolev — Wed, 06 May 2009 09:35:34 +0000

Ну и в продолжении предыдущей статьи добавляю сюда еще и скрипт для создания клона загрузочного диска в VxVM. Таким образом, если загрузочные диски под веритасом, можно пользоваться этим скриптом. В основе скрипта лежит блюпринт сановский Toward a Reference Configuration for VxVM Managed Boot Disks. Но скрипт творчески переработан в части выбора томов для зеркалирования.
Для инициализации нужно в VxVM инициализировать диск, и назвать его clone.
Ну например, так:

vxdisksetup -i c6t0d0s2 vxdg -g rootdg adddisk clone=c6t0d0s2

Для выбора томов, для зеркалирования на клон-диск, следует поправить в скрипте секцию
VOLUMES="rootvol:0:clone-rootvol:0x01:0x00 \ swapvol:1:clone-swapvol:0x03:0x01 \ var:5:clone-var:0x07:0x00 \ coredump:6:clone-coredump:0x00:0x00"

Качаем скрипт vxclonedisk

Сообщения и ошибки VXVM

ikorolev — Sat, 21 Feb 2009 20:39:59 +0000

Обновлено!
На сайте Symantec появился инструмент для поиска по номеру ошибок

В последних версиях Veritas volume manager ошибки имеют нумерацию типа V-5-X-XXXX. Поиск описания ошибки просто по коду обычно не приносит результата ;) Список ошибок был найден здесь, вместе с различными ссылками на документы по vxvm. Но, как мне кажется, лучше искать ошибки по нижеприведенной табличке.

V-5-0-2	V-5-0-4	V-5-0-34	V-5-0-35
V-5-0-55	V-5-0-106	V-5-0-108	V-5-0-110
V-5-0-111	V-5-0-112	V-5-0-144	V-5-0-145
V-5-0-146	V-5-0-147	V-5-0-148	V-5-0-164
V-5-0-166	V-5-0-168	V-5-0-181	V-5-0-194
V-5-0-196	V-5-0-207	V-5-0-216	V-5-0-237
V-5-0-243	V-5-0-244	V-5-0-249	V-5-0-251
V-5-0-252	V-5-0-258	V-5-0-386	V-5-1-90
V-5-1-91	V-5-1-111	V-5-1-116	V-5-1-121
V-5-1-122	V-5-1-123	V-5-1-124	V-5-1-134
V-5-1-135	V-5-1-148	V-5-1-249	V-5-1-480
V-5-1-484	V-5-1-525	V-5-1-526	V-5-1-527
V-5-1-528	V-5-1-543	V-5-1-544	V-5-1-545
V-5-1-546	V-5-1-554	V-5-1-557	V-5-1-568
V-5-1-569	V-5-1-571	V-5-1-577	V-5-1-579
V-5-1-583	V-5-1-587	V-5-1-663	V-5-1-768
V-5-1-809	V-5-1-923	V-5-1-1049	V-5-1-1171
V-5-1-2020	V-5-1-2197	V-5-1-2198	V-5-1-2274
V-5-1-2290	V-5-1-2524	V-5-1-2630	V-5-1-2824
V-5-1-2829	V-5-1-2830	V-5-1-2860	V-5-1-2862
V-5-1-2866	V-5-1-2870	V-5-1-2879	V-5-1-2907
V-5-1-2908	V-5-1-2911	V-5-1-2922	V-5-1-2928
V-5-1-2933	V-5-1-2935	V-5-1-3009	V-5-1-3020
V-5-1-3022	V-5-1-3023	V-5-1-3024	V-5-1-3025
V-5-1-3030	V-5-1-3031	V-5-1-3032	V-5-1-3033
V-5-1-3034	V-5-1-3042	V-5-1-3046	V-5-1-3049
V-5-1-3050	V-5-1-3091	V-5-1-3212	V-5-1-3243
V-5-1-3362	V-5-1-3486	V-5-1-3689	V-5-1-3828
V-5-1-3848	V-5-1-4220	V-5-1-4267	V-5-1-4277
V-5-1-4551	V-5-1-4620	V-5-1-4625	V-5-1-5150
V-5-1-5160	V-5-1-5161	V-5-1-5162

Зачем устанавливать ASL и APM для vxvm?

ikorolev — Fri, 19 Dec 2008 17:58:51 +0000

Обязательно устанавливайте Array Support Library (ASL) и Array Policy Module (APM, когда он есть) в vxvm для всех используемых массивов. Зачем это нужно? Дело в том, что эти модули используется для повышения надежности доступа к массивам. В частности, vxdmp определяет тип доступа к массиву (active-active, active-passive), для наиболее надежного соединения, скорости переключения при отказе одного из каналов, балансировки нагрузки.
Еще одна причина — информация о дисковой группе хранится не на всех дисках, а по умолчанию — на 10-20% дисков, и vxvm старается раскидать по принципу наибольшей надежности их по разным контроллерам-массивам, а если тип массива не установлен — то информация будет сохраняться без учета особенностей сети хранения данных.

Итак, пример из жизни, реальная ситуация (сбой кластера): не установлена ASL, все тома отзеркалены на разные массивы, оба массива определелись как jbod-ы. В результате все конфигурационные копии попали на ОДИН массив, который, неожиданно отказал. Таким образом получилось, что есть копии всех томов, но дисковую группу импортировать нельзя, так как недоступны все конфигурационные копии.

А что нужно было сделать? Найти на сайте symantec ASL для вашего дискового массива (укажите вендора или имя массива в запросе), версии vxvm, операционную систему. Скачать и установить. Установка производится в онлайн, не требует ни перезагрузки, ни остановки vxvm, ни прекращения доступа к томам.

Пример — установка ASL для поддержки массивов HDS 9500:

Проверьте, что vxvm инсталлирован и находится в состоянии enabled
# vxdctl mode mode: enabled

Посмотреть, для каких массивов есть ASL:
# vxddladm listsupport

Добавить ASL и APM пакаджи:
Solaris:
# pkdadd -d . VRTSHDS-DF600-apm # pkgadd -d . VRTSHDS-DF600-asl # pkginfo | grep VRTSHDS

HP-UX:
# swinstall -s `pwd` VRTShds9500v # swlist | grep VRTShds9500v

Выполните команду vxdctl enable чтоб vxvm перечитал добавленные ASL и APM:
# vxdctl enable

Внимание! В некоторых (очень редких случаях) случаях инсталляция ASL и/или APM может не дать эффекта сразу. В этом случае можно выполнить еще команду vxconfigd -k после vxdctl enable.

После выполнения vxdctl enable проверьте, что ASL подключилась:
# vxddladm listsupport libname=libhdsasl.so ATTR_NAME ATTR_VALUE ====================================================================== LIBNAME libhdsasl.so VID HITACHI PID DF600,DF600-V,DF600F, DF600F-V ARRAY_TYPE A/A-A-HDS, A/PG, A/P, A/A ARRAY_NAME HDS9500V

Проверить, что APM находится в активном режиме:
# vxdmpadm listapm all | grep -i hdsalua dmphdsalua dmphdsalua 1 A/A-A-HDS Active

Посмотреть, сколько копий конфигурации хранится:
# vxdg list DG01 | grep copies copies: nconfig=2 nlog=2

Посмотреть, на каких дисках хранятся копии конфигурации и в каком они состоянии:
# vxdg list DG01 | grep "config " config disk c1t8d0s2 copy 1 len=48144 disabled config disk c1t9d0s2 copy 1 len=48144 state=clean online config disk c1t12d0s2 copy 1 len=48144 state=clean online config disk c1t14d0s2 copy 1 len=48144 disabled

Хранить копии конфигурации на пяти дисках дисковой группы:
# vxedit set nconfig=5 DG01

Хранить копии конфигурации на всех дисках дисковой группы:
# vxedit set nconfig=all DG01

Ссылки по теме:

Зеркалирование загрузочных дисков под vxvm

ikorolev — Fri, 12 Dec 2008 18:48:41 +0000

Вообще, инкапсулировать загрузочные диски под управление vxvm следует только, если вы собираетесь их зазеркалить. Если же, такой цели не стоит (например, есть в наличии аппаратный raid-контроллер на внутренние диски), то не стоит городить огород.

Инкапсуляция (rootability, как это теперь называется) запускается командой
# vxdiskadm

Выбираете пункт 2 (Encapsulate one or more disks)
Выбираете загрузочный диск для инкапсуляции.
Создаете новую дисковую группу. Очень рекомендую назвать ее rootdg (это название первой дисковой группы в старых версиях vxvm, которая обычно использовалась для загрузочных дисков).
Остальные параметры (типа размер private region) рекомендую оставить по умолчанию
После этих манипуляций сервер необходимо перезагрузить (shutdown -g0 -y -i6).
Все, больше перезагрузок не требуется, все остальные операции делаются в online.

Теперь добавим еще один диск в дисковую группу и отзеркалируем на него загрузочный диск.

# vxdisksetup -i Disk_1 format=sliced # vxdg -g rootdg adddisk rootmirror=Disk_1 # vxdisk list DEVICE TYPE DISK GROUP STATUS Disk_0 sliced rootdisk rootdg online Disk_1 sliced rootmirror rootdg online

# vxmirror -g rootdg rootdisk rootmirror

После инкапсуляции загрузочного диска партиции оказываются раскидаными по диску,
некоторые из них могут быть разделены на несколько частей. Это может оказаться проблемой при
сбоях и необходимости прогонять fsck.

# vxprint -g rootdg dm rootdisk Disk_0 - 35358848 - - - - dm rootmirror Disk_1 - 35358848 - - - -

v rootvol root ENABLED 20624424 - ACTIVE - - pl rootvol-01 rootvol ENABLED 20624424 - ACTIVE - - sd rootdisk-02 rootvol-01 ENABLED 20624424 0 - - - pl rootvol-02 rootvol DISABLED 20624424 - NODEVICE - - sd rootmirror-01 rootvol-02 DISABLED 20624424 0 NODEVICE - -
v swapvol swap ENABLED 14682592 - ACTIVE - - pl swapvol-01 swapvol ENABLED 14682592 - ACTIVE - - sd rootdisk-B0 swapvol-01 ENABLED 1 0 - - Block0 sd rootdisk-01 swapvol-01 ENABLED 14682591 1 - - - pl swapvol-02 swapvol ENABLED 14682592 - ACTIVE - - sd rootmirror-02 swapvol-02 ENABLED 14682592 0 ACTIVE - -

Удаляем плексы с первого диска (а лучше удалить rootdisk из дисковой группы и затем снова добавить) и зеркалим его с rootmirror.
# vxplex -g rootdg -o rm dis rootvol-01 swapvol-01 # vxdg -g rootdg rm rootmirror # vxdiskunsetup -C Disk_0 # vxdisksetup -i Disk_0 format=sliced # vxmirror -g rootdg rootmirror rootdisk