1. Для начала убедимся, что у нас все тома имеют больше одного плекса и они все активны:
vxprint -g DG01 -v -F "%name" -e "v_pl_num < 2 "
vxprint -g DG01 -p | grep DISABLE

2. создаем 2 файла, в первом — основные плексы, во втором — те, которые будем отрывать.
vxprint -g DG01 -p -F "%vol %plex %aslist" | egrep 'ARRAY_01' > /tmp/dg_pl_1.txt
vxprint -g DG01 -p -F "%vol %plex %aslist" | egrep 'ARRAY_02' > /tmp/dg_pl_2.txt
Убедимся, что поделилось все правильно:
cat /tmp/dg_pl_1.txt |wc -l
cat /tmp/dg_pl_2.txt |wc -l

3. Останавливаем все приложения и отмонтируем файловые системы, использующие тома (или переводим Oracle в режим «begin backup»). Ну или если ваше приложение имеет механизмы восстановления, то можно ничего и не делать.

4. Отрываем плексы:
cat /tmp/dg_pl_2.txt | awk '{ print "vxplex -g DG01 det " $2 }' | sh

5. Примонтируем файловые системы, поднимаем приложения, переводим Oracle в «End backup». Ну и делаем все что мы хотели, типа ставим патчи, изменяем стурктуру таблиц итд.

6. Проверяем. Если все в порядке, то приаттачиваем подзеркало и забываем о этой процедуре до следующего апдейта. Если нет, переходим к пункту 7.
cat /tmp/dg_pl_2.txt | awk '{ print "vxplex -g DG01 att " $1 " " $2 }'| sh

Если же все плохо, то нужно сделать переключение на подзеркало:
7. Останавливаем все приложения и отмонтируем файловые системы, использующие тома. Останвливаем тома:
cat /tmp/dg_pl_2.txt | awk '{ print "vxvol -g DG01 stop " $1 }' | sh

8. Отрываем от тома активный плекс (это нужно, чтобы быстрее поднять тома, иначе — начнется процесс зеркалирования, который может нам помешать):
cat /tmp/dg_pl_1.txt | awk '{ print "vxplex -g DG01 dis " $2 }' | sh

9. Исправляем статус оствшегося плекса со «STALE» на «CLEAN»
cat /tmp/dg_pl_2.txt | awk '{ print "vxmend -g DG01 fix clean "$2 }'

10. Стартуем тома:
vxvol -g diskgr2 startall

11. Примонтируем все файловые системы и запускаем приложения.

12. Ну и теперь можно и запустить зеркалирование:
cat /tmp/dg_pl_1.txt | awk '{ print "vxplex -g DG01 att " $1 " " $2 }' | sh

Приятный сюрприз, на Oracle нашлось 209 паролей по умолчанию.
Также в списке замечены SAP, Cisco, Brocade, Sun, MySQL, Apache и многие другие ;)
Выводы: ну наверное стоит проверить свои системы на предмет наличия этих дыр (на этом же сайте находится и сканер). Ну может еще накатить патчики заодно, да и вообще присмотреться к безопасности…

• создаем ram-диск
• отдаем его под управление vxvm
• зеркалим на него наиболее загруженные по чтению тома vxvm

Попробуем это реализовать (в теории).


ramdiskadm -a mydisk 8g
ln /dev/ramdisk/mydisk /dev/dsk/mydisk
ln /dev/rramdisk/mydisk /dev/rdsk/mydisk
vxdisk define mydisk type=nopriv volatile
vxdg -g DG01 adddisk RAMDSK01=mydisk
vxassist -g DG01 mirror volume VOL01 RAMDSK01
vxvol -g DG01 rdpol prefer VOL01 VOL01-02


Что нам дает такая схема:

• при чтении с тома — данные читаются из ram-диска (значительно поднимается скорость операций ввода-вывода, снижается количество обращений к физическим дискам)
• при записи — пишутся одновременно на оба зеркала (надежность записи не уменьшается)
• более эффективное использование оборудования и ПО

Можно использовать данное решение не для Oracle, а для любого тома с высокой загрузкой.

PS. так как сейчас нет возможности проверить самому — был бы рад, если кто-нибудь решит попробовать это решение и напишет в комментарии о результатах ;)

Как определить наиболее «тяжелые» сеcсии по операциям ввода-вывода в Oracle? Или какие из файлов данных имеют наибольшую нагрузку?
Несколько sql скриптов, которые помогут выяснить эту проблему:

Операции чтения по сессиям:
select SID, BLOCK_GETS, PHYSICAL_READS, PHYSICAL_WRITES, BLOCK_CHANGES from V$SESS_IO order by PHYSICAL_READS;

select a.USERNAME, b.PHYSICAL_READS, c.SQL_TEXT from V$SESSION a, V$SESS_IO b , V$SQL c where a.SQL_ADDRESS=c.ADDRESS and b.SID=a.SID order by PHYSICAL_READS;

Операции записи по сессиям:
select SID, BLOCK_GETS, PHYSICAL_READS, PHYSICAL_WRITES, BLOCK_CHANGES from V$SESS_IO order by PHYSICAL_WRITES;

select a.USERNAME, b.PHYSICAL_WRITES, c.SQL_TEXT from V$SESSION a, V$SESS_IO b , V$SQL c where a.SQL_ADDRESS=c.ADDRESS and b.SID=a.SID order by PHYSICAL_WRITES;

Количество физических операций ввода-вывода на конкретных файлах данных:
select a.name,b.PHYRDS,b.PHYWRTS,b.PHYBLKRD,b.PHYBLKWRT,b.SINGLEBLKRDS,b.READTIM,b.WRITETIM, b.SINGLEBLKRDTIM from v$datafile a,v$filestat b where a.file#=b.file# order by PHYRDS

Как использовать полученные сведенья?
На уровне Оракла:

• прибить самые тяжелые сесии
• оптимизировать запросы
• добавить индексы
• добавить файлы данных и распределить данные между ними

На уровне ОС:

• Распределить файлы данных на разные физические устройства (диски или дисковые массивы)
• Сделать страйп на несколько физических устройств
• Перенести часть данных на другие контроллеры сервера

Полезно, также ознакомиться с вот этим разделом на suninternals

##############################

kctune -Bh ‘ksi_alloc_max=(nproc*8)’
kctune -Bh ‘executable_stack=0′
kctune -Bh ‘max_thread_proc=1024′
kctune -Bh ‘maxdsiz=1073741824′
kctune -Bh ‘maxdsiz_64bit=2147483648′
kctune -Bh ‘maxssiz=134217728′
kctune -Bh ‘maxssiz_64bit=1073741824′
kctune -Bh ‘maxuprc=((nproc*9)/10)’
kctune -Bh ‘msgmap=(msgtql+2)’
kctune -Bh ‘msgmni=(nproc)’
kctune -Bh ‘msgseg=32767′
kctune -Bh ‘msgtql=(nproc)’
kctune -Bh ‘ncsize=(ninode+1024)’
kctune -Bh ‘nfile=(15*nproc+2048)’
kctune -Bh ‘nflocks=(nproc)’
kctune -Bh ‘ninode=(8*nproc+2048)’
kctune -Bh ‘nkthread=(((nproc*7)/4)+16)’
kctune -Bh ‘nproc=4096′
kctune -Bh ‘semmni=(nproc)’
kctune -Bh ‘semmns=(semmni*2)’
kctune -Bh ‘semmnu=(nproc-4)’
kctune -Bh ‘semvmx=32767′
kctune -Bh ‘shmmax=17179869184′
kctune -Bh ‘shmmni=512′
kctune -Bh ‘shmseg=120′
kctune -Bh ‘vps_ceiling=64′
kctune -Bh ‘semmap=4098′
kctune -Bh ‘maxswapchunks=16384′
kctune -Bh ‘maxuprc=3687′
shutdown -r now

su - oracle
sqlplus "/ as sysdba"
select name from v$datafile;
select member from v$logfile;
select name from  v$controlfile;
select name from v$tempfile;
quit

HOWTO перенести базы

Откуда переносим

#Зайти и остановить базу
su — BASE
lsnrctl stop
sqlplus «/as sysdba»
SQL> shutdown immediate
exit

#Удалить интерфейс
ifconfig ce0 removeif BASE-db

#Посмотреть что и куда примонтировано
cat /etc/vfstab | grep BASE

#Размонтировать
umount -a /usr/oracle/BASE /usr/oracle/archivelog/BASE

#Депортировать
vxdg deport BASE

Куда переносим

#Посмотреть есть ли в хостах
cat /etc/hosts |grep BASE

#Если нет — добавить.

#Поднять интерфейс

ifconfig ce3:## plumb
ifconfig ce3:## BASE netmask + broadcast + up

## — последний октет IP базы.

#Заимпортить дисковую группу.
#Если сервер был живой и мы нормлаьно депортровали группу
vxdg import BASE
vxrecover -g BASE -s
#Если переносим с мертвого сервера
vxdg -C import BASE
vxrecover -g BASE -s

#Создать директории для монтирования
mkdir -p /usr/oracle/BASE /usr/oracle/archivelog/BASE

#Если есть в vfstab то просто монтировать
mount -a /usr/oracle/BASE /usr/oracle/archivelog/BASE

#Если нет — либо создать запись в vfstab (если база будет долго жить на сервере), либо просто замонтировать из /dev/vx/dsk/BASE
mount /dev/vx/dsk/BASE/home_BASE /usr/oracle/BASE
mount /dev/vx/dsk/BASE/arch /usr/oracle/archivelog/BASE

#Запустить базу
su — BASE
sqlplus «/as sysdba»
lsnrctl start