Unix pin » Programming — Shell

Передача снапшота ZFS по сети

AnViar — Fri, 18 Nov 2011 08:17:30 +0000

Пришлось наконец столкнуться на практике с передачей сравнительного большого
снимка ZFS по сети. В учебных материалах и официальной документации сказано, что
для передачи по сети следует использовать команды send\recv в сочетании с ssh
через пайп. На практике же это решение оказывается абсолютно не работоспособным
для больших объемов. Лично у меня скорость передачи уперлась примерно в 8 MB/sec
по гигабитной сети, что привело к тому что за 12 часов скопировалось лишь 300
гигабайт данных.
Что же делать?

Во-первых, требуется
собрать на обеих машинах программу mbuffer. Отличная альтернатива
ssh для передачи данных в защищенной сети.
Делаем снапшот:
# zfs snapshot
tank/tones@$(date +%y%m%d%H%M)
Запускаем на приемнике ожидание потока
данных
# /usr/local/bin/mbuffer -s 128k -m 1G -I 9090 | zfs receive
zshare/test
Запускаем передачу снимка на передатчике
# zfs send
tank/tones@1105101812 | /usr/local/bin/mbuffer -s 128k -m 1G -O
10.99.88.55:9090
Подробное описание ключей прочитаете в манах к mbuffer — там
все понятно. Наблюдаем около сотни метров в секунду, радуемся.
Если же вы все
же решили передать снимок по ssh (малый объем\незащищенная сеть), то делать надо
это следующим образом.
Делаем снимок как сказано выше. На приемнике даем
следующие разрешения пользователю, под которым происходит соединение
# zfs
allow user create,mount,receive zshare
Запускаем передачу на источнике
#
zfs send tank/tones@1105101812 | ssh -C -b 10.0.64.50 user@10.99.88.55
/usr/sbin/zfs recv zshare/tones

Вторая задача: поддерживать 2 датасета на разный хостах в состоянии максимально
возможной идентичности. Используем возможность передачи
инкримента двух снапшотов.

Вначале был передан полный снапшот объемом около террабайта с помощью mbuffer, как это было описано в выше. Также предоставлены соответствующие права пользователю и
прописаны rsa-ключи. Процесс занял примерно 4 часа по гигабитному
каналу.
Дальше в планировщик добавляем вот такой скрипт:

#!/usr/bin/bash

#=== Options ==============

zfs_pool=zshare

zfs_dataset=dataset

lockfile="/var/run/zfs_operation.lock"

zsnapname=auto_$(date +%y%m%d%H%M)

mail_recipients="admin@tele2.com"

RHOST=192.168.0.1

RUSER=snapuser

#==========================

function check_result {

last_comm_res=$?

if [[ "${last_comm_res}" -ne 0 ]]

then

echo "Script: an error occurred"

cat /var/log/tones_backup.log|mailx -s "${HOSTNAME}:Pool backup error" ${mail_recipients}

exit ${last_comm_res}

fi

}

if [ -f ${lockfile} ]

then

echo "Previous runjob does not complitted successfully"

exit 1

fi

touch ${lockfile}

if [[ ! -z $(ps -ef|grep zfs|grep send|grep ${zfs_pool}) ]]

then

echo "Sending data from pool ${zfs_pool} detected! Try again later!"

exit 1

fi

rlast_snapshot=$(ssh ${RUSER}@${RHOST} "/usr/sbin/zfs list -o name -r ${zfs_pool}/${zfs_dataset}|tail -1"|awk -F@ '{print $2}')

zfs list -o name ${zfs_pool}/${zfs_dataset}@${rlast_snapshot} ; check_result

zfs snapshot ${zfs_pool}/${zfs_dataset}@${zsnapname} ; check_result

zfs send -i ${zfs_pool}/${zfs_dataset}@${rlast_snapshot} ${zfs_pool}/${zfs_dataset}@${zsnapname} | ssh ${RUSER}@${RHOST} "/usr/sbin/zfs recv -F ${zfs_pool}/${zfs_dataset}"

check_result

rm ${lockfile}

Частоту вызова данного скрипта следует выбирать исходя из следующих факторов:

Скорость роста снапшотов
Ширина канала между хостами
Нагрузка на активном пуле

Ориентировочно: двухгигобайтный инкримент
у меня передался примерно за 12 минут по гигабитному каналу. Причем узким местом
была не сеть. Скорее всего это была реализация инкриментации в самом zfs,
глубоко не копал.
Так же на приемнике следует подчищять старые снапшоты,
чтобы их число не росло бесконечно, что быстро приведет к исчерпанию свободных
блоков. Но при этом требуется оставлять как минимум последний снимок, чтобы
иметь возможность накатить следующий инкримент.

#!/usr/bin/bash

#=== Options ==============

zfs_pool=zshare

zfs_dataset=dataset

#=========================

nsnap=$(zfs list -o name -r ${zfs_pool}/${zfs_dataset}|egrep "@auto_1[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]"|wc -l)

if [[ ${nsnap} -gt 3 ]]

then

let "nsnap_destroy = $nsnap - 2"

snap_destroy_list=$(zfs list -o name -r ${zfs_pool}/${zfs_dataset}|egrep "@auto_[0-9]10"|head -n ${nsnap_destroy})

for dsnap in ${snap_destroy_list}

do

zfs destroy ${dsnap}

done

fi

Как из ILOM посмотреть fma сообщения

ikorolev — Thu, 03 Nov 2011 12:57:34 +0000

На серверах c ILOM (это сервера Sun/Oracle T5x40, T3-x, T4-x, X22x0 итд ) можно смотреть и администрировать сообщения fma (Fault Management) как из Solaris (команды fmadm, fmdump, итд), так и из ILOM. Если вдруг после сбоя система не грузится, то диагностировать можно с системного контроллера:

login as: root Using keyboard-interactive authentication. Password: Oracle(R) Integrated Lights Out Manager Version 3.0.9.20.a r57453 Copyright (c) 2010, Oracle and/or its affiliates. All rights reserved. -> start /SP/faultmgmt/shell Are you sure you want to start /SP/faultmgmt/shell (y/n)? y faultmgmtsp> help Built-in commands: echo - Display information to user. Typical use: echo $? help - Produces this help. Use 'help ' for more information about an external command. exit - Exit this shell. External commands: fmadm - Administers the fault management service fmdump - Displays contents of the fault and ereport/error logs fmstat - Displays statistics on fault management operations etcd - ereport injector faultmgmtsp> fmdump TIMESTAMP UUID MSGID 2011-06-03/12:05:50 0e4dd348-d751-6578-ed76-b87403fa0dac SPX86-8001-U5 2011-06-04/02:30:12 3402b0d3-b3fe-e136-f462-b8384a827f55 SPX86-8001-U5 2011-06-08/00:23:25 93672d86-4fc7-69b5-d912-87c0837eda5d SPX86-8001-U5 2011-09-30/05:58:03 0cbe0f82-820d-63f0-b9f0-a5e18aab4092 SPX86-8001-U5 2011-10-12/22:21:44 e74ccdad-05d0-62e5-8bda-fb24d2811509 SPX86-8001-U5 faultmgmtsp> fmadm faulty ------------------- ------------------------------------ -------------- -------- Time UUID msgid Severity ------------------- ------------------------------------ -------------- -------- 2011-10-12/22:21:44 e74ccdad-05d0-62e5-8bda-fb24d2811509 SPX86-8001-U5 Critical Fault class : fault.memory.intel.dimm_ue FRU : /SYS/MB/P1/D5 Description : A memory uncorrectable ECC fault on a DIMM has occurred. Response : None. Impact : System is reset. Action : The administrator should review the ILOM event log for additional information pertaining to this diagnosis. Please refer to the Details section of the Knowledge Article for additional information. faultmgmtsp> fmadm replaced /SYS/MB/P1/D5 faultmgmtsp> fmadm faulty No faults found faultmgmtsp> exit ->

Ссылки в тему:

Маркеры в vi

ikorolev — Fri, 29 Apr 2011 10:34:52 +0000

Век живи — век учись ;)

Многие (в том числе я) обычно пользуются самым простым набором команд в vi для удаления и вставки:

dd — удалить строку

yy — скопировать строку в буфер

p — вставить из буфера

итд

Откройте для себя маркер — поставили в любом месте и применили уже изученные команды для вставки и удаления:

ma — поставить маркер

d’a — удалить все от текущей строки до маркера

y’a — скопировать строки от текущей до маркера в буфер

p — вставить из буфера после текущей строки

‘a — перейти к маркеру a

ЗЫ: на самом деле маркеров можно установить 26 — по количеству символов латинского алфавита, например:

ma — поставили один маркер

mb — поставили второй маркер

mc — поставили третий маркер

и соответственно

‘b — перейти к маркеру b

d’c — удалить от текущей строки до маркера с

Ссылки в тему:

Справка по редактору vi

Solaris (x86) format: быстро пролейблить диски

ait — Mon, 06 Sep 2010 10:56:00 +0000

В продолжение этой заметки — та же задача, для x86-й версии соляриса.

Идеология немного другая — вначале создаём MBR-раздел на сыром диске, и уже в нём нарезаем привычные слайсы.

1. Создаём раздел с помощью fdisk. Raw-устройство в формате cxtxdxpx:

fdisk -B /dev/rdsk/c0t0d0p0

2. Создаём слайс(ы) с помощью format, либо копируем их посредством fmthard. В качестве аргументов нужно уже использовать формат cxtxdxsx:

echo label | format /dev/rdsk/c0t0d0s2

prtvtoc /dev/rdsk/c0t0d0s4 | fmthard -s - /dev/rdsk/c1t0d0s4

7zip в Solaris

ikorolev — Fri, 20 Aug 2010 12:06:04 +0000

Оказывается, что помимо стандартных compress, zip, gzip ,bzip2 в Solaris 10 входит еще и 7zip, что не может не радовать. Chapter 4 What’s New in the Solaris 10 5/08 Release

# 7z -?

Usage: 7z [...] [...] [<@listfiles...>] ... # which 7z /usr/bin/7z # grep /usr/bin/7z /var/sadm/install/contents /usr/bin/7z f none 0555 root bin 410828 28364 1203706028 SUNWbzip /usr/bin/7za f none 0555 root bin 1320752 30201 1203706028 SUNWbzip /usr/bin/7zr f none 0555 root bin 793776 31270 1203706028 SUNWbzip
Что характерно, находится в том же пакадже, что и bzip2 (кстати, может паковать в любой из далее перечисленных архивов : 7z, zip, gzip, bzip2, tar)

К сожалению, пакует только в один поток, во всяком случае в манах не описано как запустить многопоточность, а то процессоров навалом — нужно их нагружать, обидно. Бинарники под Solaris идут под версию 4.5 (на sunfreeware — 4.6), а сырцы уже версии 9~~, может там многопоточность реализована~~.

UPDATE: 20100823
Волшебные ключики для multithreading : -mmt=16 -m0=bzip2 ( работает только для bzip2 и lzma алгоритмов )
Результат экспериментов на 8-ми процессорном SunFire 880:
# rm /tmp/test.7z ;time 7z a -t7z -m0=bzip2 -mmt=off -bd /tmp/test /var/sadm/patch/ >/dev/null real 0m12.160s user 0m11.949s sys 0m0.118s # rm /tmp/test.7z ;time 7z a -t7z -m0=bzip2 -mmt=2 -bd /tmp/test /var/sadm/patch/ >/dev/null real 0m6.866s user 0m12.163s sys 0m0.136s # rm /tmp/test.7z ;time 7z a -t7z -m0=bzip2 -mmt=4 -bd /tmp/test /var/sadm/patch/ >/dev/null real 0m3.978s user 0m12.005s sys 0m0.159s # rm /tmp/test.7z ;time 7z a -t7z -m0=bzip2 -mmt=8 -bd /tmp/test /var/sadm/patch/ >/dev/null real 0m2.944s user 0m12.192s sys 0m0.223s # rm /tmp/test.7z ;time 7z a -t7z -m0=bzip2 -mmt=16 -bd /tmp/test /var/sadm/patch/ >/dev/null real 0m2.912s user 0m13.039s sys 0m0.357s # rm /tmp/test.7z ;time 7z a -t7z -m0=bzip2 -mmt=32 -bd /tmp/test /var/sadm/patch/ >/dev/null real 0m3.014s user 0m12.889s sys 0m0.574s
Оптимальное число потоков для этого сервера — 16 ( проверка еще на нескольких серверах — показывает, что параметр -mmt=16 будет лучшим выбором )

Интересное замечание в манах:
Backup and limitations DO NOT USE the 7-zip format for backup purpose on Linux/Unix because : - 7-zip does not store the owner/group of the file.

On Linux/Unix, in order to backup directories you must use tar : - to backup a directory : tar cf - directory | 7za a -si directory.tar.7z - to restore your backup : 7za x -so directory.tar.7z | tar xf -

Ссылки в тему:
Chapter 4 What’s New in the Solaris 10 5/08 Release
7zip
Source of p7zip

Solaris format: быстро пролейблить диски

ikorolev — Tue, 15 Jun 2010 10:58:25 +0000

После добавления новых дисков в Solaris их нужно пролейблить (пример). Обычно это делают руками в команде format, но если дисков много, то это первращается в гемор. Итак, быстрый метод:

# devfsadm # echo label > /tmp/cmd.txt # echo quit >> /tmp/cmd.txt # for i in /dev/rdsk/*s2; do format -f /tmp/cmd.txt $i; done

UPDATE 20100728
Самый простой и быстрый способ:
for i in /dev/rdsk/*s2 ;do echo label | format $i ;done

Ссылки
Первоисточник: Labeling large number of LUNs in Solaris
man format

Прибил файл, а место не освобождается?

ikorolev — Thu, 21 Jan 2010 13:30:55 +0000

Обычно, когда заканчивается место на файловой системе — ищем растущие файлы (обычно это логи всякие) и удаляем их.
Итак, как правильно удалять файлы? ;)
Проверяем, что этот файл не открыт каким-нибудь процессом:
fuser /dir/filename

Если файл занят, что прибиваем процесс (или делаем корректные действия, чтобы процесс отпустил файл), после этого удаляем.

А что делать, если никто ничего не проверял, файлик грохнули, а вот место не освободилось?

Ищем процессы с открытыми файлами, у которых количество ссылок равно 0.
# find /proc/*/fd/* -type f -links 0 bash: /usr/bin/find: Arg list too long

Вот блин, слишком много процессов для find. Ок, пойдем другим путем:

# for i in `ls -1 /proc`;do find /proc/$i/fd -type f -links 0 -ls -exec file {} \; ;done 2403 0 -rw-rw---- 0 oracle dba 0 Dec 1 00:17 /proc/22973/fd/11 /proc/22973/fd/11: empty file 2403 0 -rw-rw---- 0 oracle dba 0 Dec 1 00:17 /proc/23095/fd/11 /proc/23095/fd/11: empty file find: stat() error /proc/23165/fd: No such file or directory find: stat() error /proc/23168/fd: No such file or directory 2403 0 -rw-rw---- 0 oracle dba 0 Dec 1 00:17 /proc/23289/fd/11 /proc/23289/fd/11: empty file 2403 0 -rw-rw---- 0 oracle dba 0 Dec 1 00:17 /proc/23291/fd/11 /proc/23291/fd/11: empty file 2403 0 -rw-rw---- 0 oracle dba 0 Dec 1 00:17 /proc/23293/fd/11 /proc/23293/fd/11: empty file 2403 0 -rw-rw---- 0 oracle dba 0 Dec 1 00:17 /proc/23298/fd/11 /proc/23298/fd/11: empty file 702090358 8 -rw------- 0 root root 20489865 Nov 30 16:48 /proc/912/fd/6 /proc/912/fd/6: data

Ну вот, похоже процесс, который держит файлик — 912.
Ну и дальше
# ps -f -p 912 UID PID PPID C STIME TTY TIME CMD root 912 1 0 Nov 30 ? 5:45 /my-process.pl # kill -9 912

Сколько же памяти занимает ядро?

ikorolev — Mon, 28 Sep 2009 11:42:43 +0000

Несколько скриптов-однострочников для быстрого взгляда на то, как используется память в Solaris:

Физическая память:
kstat -n system_pages | nawk 'BEGIN{ "/usr/bin/pagesize" | getline pgsize ; } /physmem/ { print "Physical memory = " $2 * pgsize/1073741824 "Gb"}'

Память ядра:
kstat -n system_pages | nawk 'BEGIN{ "/usr/bin/pagesize" | getline pgsize ; } /pp_kernel/ { print "Kernel memory = " $2 * pgsize/1073741824 "Gb"}'

Разделяемая (shared) память:
ipcs -mb | awk '/^m/ {sm=sm+$7}END{ print "Shared memory " sm/1073741824 "Gb"}'

Свободная память:
kstat -n system_pages | nawk 'BEGIN{ "/usr/bin/pagesize" | getline pgsize ; } /freemem/ { print "Free memory = " $2 * pgsize/1073741824 "Gb"}'

И еще, если присмотреться, то можно увидеть, как в awk можно выполнить команду shell и прочитать ее вывод ;)

Updated: 29.09.2009/Добавлен однострочник для свободной памяти. Вообщем-то получился не плохой скриптик — все однострочники в одном файле:
solarismem
Пример вывода:
# ./solarismem.sh Physical memory = 31.2031Gb Kernel memory = 3.29826Gb Shared memory 12.9697Gb Free memory = 13.5944Gb

И снова grep

ikorolev — Wed, 05 Aug 2009 14:04:54 +0000

Иногда есть данные и шаблоны, и чтобы выбрать данные — обычно используют цикл, в котором грепают по шаблону. Но тут недавно внимательно перечитал man grep и нашел интересный момент ;) Можно в одну команду вывести список строк, которые попадают (или не попадают) под шаблон

cat data.txt 111 222 333 112 122 233 444

cat template.txt 2 1

/usr/xpg4/bin/grep -f template.txt data.txt 111 222 112 122 233

Или не попадают
/usr/xpg4/bin/grep -v -f template.txt data.txt 333 444

Для чего это можно использовать? Ну например, список новых томов в VxVM, список новых файлов в каталоге — удобно динамически формировать список и сравнивать его со старым списком.

Резервная копия файловой системы с помошью ufsdump

jsn — Mon, 01 Jun 2009 11:57:16 +0000

Старый дедовский способ достаточно быстро забакапить файловую систему ufs.

Способ поднятый из манов ;) Решил запостить, чтобы легче было искать.

Но и вдруг кому пригодится? ;)

Смысл в том, что создается снапшот и на него натравливается ufsdump

#!/usr/bin/sh

#written by jsn
#Copyright unixpin.com

#uncomment following 3 lines to use script with cli attributes
#ARCHIVE=$1
#SNAPSHOT=$2
#TOBACKUP=$3

# and comment these 3 ;)
ARCHIVE=/fsrv/bakups/dump`date ‘+%Y%m%d%H%M’`
SNAPSHOT=/tmp/snap
TOBACKUP=/export/data

LOG=/var/tmp/dump_create.log

#error raising routine
raise_err()
{
echo «Error: $1″ >>$LOG
echo «Unable to continue» >>$LOG
exit 1
}

echo «Begin dumping at `date ‘+%d/%m/%y %H:%M:%S’`» >>$LOG

#make snapshot and ufsdump it.

ufsdump 0uf $ARCHIVE `fssnap -F ufs -o raw,bs=$SNAPSHOT $TOBACKUP` >>$LOG 2>&1 || raise_err «cannot dump»

#wait to ufsdump end job
while true; do
ps -ef |grep «ufsdump» >/dev/null || break
sleep 180
done

#delete snapshot
fssnap -F ufs -d $TOBACKUP >>$LOG 2>&1 || raise_err «cannot kill snapshot»

echo «End dumping at `date ‘+%d/%m/%y %H:%M:%S’`» >>$LOG

Качать [dmpfssh1]

Также очень интересная статья про бакапы есть на нашем сайте [читать].