Записки про IBM AIX

  Буду тут писать про страшный и непонятный ОСь IBM AIX. По работе приходится иметь дело, а иной раз забываешь о том, что делел полгода или год назад и приходится снуля наступать на грабли... Пытался писать в тетрадку, но что-то подистаскалась она, да и не каждый раз под рукой оказывается, когда приспичивает. Буду здесь для себя оставлять описания и заметки. На вечную память.

 



О активации CoD лицензий на железо:

Фирма IBM продает POWER сервера на базе одноименного процессора собственного производства. Счастливый покупатель может приобрести сервер с четырьмя процессорными модулями где только один модуль активирован, а остальные находятся в сверхгорячем резерве на случай аварии первого модуля или краткосрочной необходимости в дополнительной процессорной мощьности. Capacity on Demand это называется. Короче сплошной маркетинг и выбивание денежекЪ. Для того, чтобы активировать какую-либо из неактивных программных или аппаратных функций POWER сервера, надо купить лицензию, получить CoD ключик, и завести его через интерфейс ASM в сервер. После покупки, лицензия ассоциируется с серийным номером сервера. Для получения ключика надо зайти на www-912.ibm.com/pod/pod и забить серийник сервера - покажется список со всеми купленными CoD лицензиями.



 

О изменении режима работы HBA адаптера:

У клиента был установлен POWER сервер подключенный напрямую к IBM (NetApp) N3000 сторейджу. Прошло время - появились SAN свитчи для того чтобы подключить к стореджу новые серваки. После настройки зон на свитчах понадобилось вручную перенастроить режим работы HBA адаптеров из режима loop в режим point-to-point. При попытке выставить режим pt2pt через chdev или через smitty - ругань про то что нельзя поменять режим работы. Оказалось, что для того чтобы изменить режим надо удалить зависимые fcs и hdisk устройства из конфигурации сервера, и только после этого режим сменился.



Работая в среде VIOS в режиме oem_setup_env (под полным рутом а не как padmin):

# rmdev -Rdl hdisk5
hdisk5 deleted
# rmdev -Rdl hdisk6
hdisk6 deleted
# rmdev -Rl fcs0
fcnet0 Defined
fscsi0 Defined
fcs0 Defined
# rmdev -Rl fcs1
fcnet1 Defined
fscsi1 Defined
fcs1 Defined
# chdev -l 'fcs0' -a init_link='pt2pt'
fcs0 changed
# chdev -l 'fcs1' -a init_link='pt2pt'
fcs1 changed
# cfgmgr -vl fcs0
# cfgmgr -vl fcs1
# cfgmgr


После этого сервер нашел LUNы и все завелось.



 



О просмотре значений параметра настройки обьекта в ODM:

Просмотреть значения параметров какого-нибудь обьекта при его настроке обычно можно через smitty по F4, но если приспичивает делать это из командной строки то надо применять параметр -R команды lsattr:



Просмотр всех возможных параметров настройки обьекта (в данном случае HBA адаптер fcs0):

# lsattr -El fcs0
bus_intr_lvl Bus interrupt level False
bus_io_addr 0xffc00 Bus I/O address False
bus_mem_addr 0xffebf000 Bus memory address False
init_link al INIT Link flags True
intr_msi_1 549 Bus interrupt level False
intr_priority 3 Interrupt priority False
lg_term_dma 0x800000 Long term DMA True
max_xfer_size 0x100000 Maximum Transfer Size True
num_cmd_elems 200 Maximum number of COMMANDS to queue to the adapter True
pref_alpa 0x1 Preferred AL_PA True
sw_fc_class 2 FC Class for Fabric True
#


Просмотр возможных вариантов значений для параметра init_link:

# lsattr -l fcs0 -a init_link -R
al
pt2pt


 

О работе с LVM:

Перед тем, как физический диск может быть введен как новый PV в состав VG в LVM, он должен быть проинициализирован. Инициализация присваевает новому PV уникальную метку:

# chdev -l hdisk1 -a pv=yes


 

Просмотр всех физических дисков на которых распологаются LV входящие в VG под именем rootvg:

# lsvg -p rootvg


 

Создание софтверного райда с помощью LVM. После установки системы на hdisk0 чтобы сделать зеркало добавив второй hdisk1 в rootvg надо:

# chdev -l hdisk1 -a pv=yes
# extendvg rootvg hdisk1
# mirrorvg rootvg hdisk1
# bosboot -a -d /dev/hdisk1
# bootlist -m normal hdisk0 hdisk1
# reboot


 

Расширение размера файловой системы - добавить к /usr +10Гб на ходу:

# chfs -a size=+10G /usr


 

Как узнать какая версия PowerVM активирована?



PowerVM бывает Express, Standard, Enterprise ( www-03.ibm.com/systems/power/software/virtualization/editions/ ). Узнать какая версия куплена можно по значению битов 25-28 в CoD ключе:

Sample VET codes:



450F28E3D581AF727324000010500041FA

B905E3D284DF097DCA1F00002C0000418F

0F0DA0E9B40C5449CA1F00002c20004102





0000 = Reset to base defaults (No PowerVM)

1xxx = Express

2c00 = Standard

2c20 = Enterprise

 



Standalone Diagnostics CD For POWER based servers

То, чем конфигурятся raid и прочие железки POWER сервера

www14.software.ibm.com/webapp/set2/sas/f/diags/download/home.html

 



Бэкапирование AIX на CD/DVD через mkcd



Файл в котором прописываются исключения того, что не надо включать в mkcd бэкап /etc/rootvg.exclude

В общем случае volumegropename.exclude. Файл обрабатывает записаное в нем как регулярное выражение (как это делает grep) - таким образом чтобы исключить только /home надо использовать синтаксис вида:

^./home/


Если исходная система имела софтверное зеркало из двух дисков сделаное с помощью LVM, то при востановлении ему потребуется указать два физических диска - иначе из бекапа ничего не востановится. Указание не генерировать LVM карты во время mkcd не влияет на это - он все равно будет требовать два PV.

 



Миграция с IVM на HMC



В организации были установлены два Power550 сервера с PowerVM Express + VIOS/IVM на каждом. Пришло время расширяться, в связи с чем была куплена HMC и активирован новый CoD до PowerVM Standard. Так или иначе, необходимо было произвести перенос профилей виртуальных машин из IVM на HMC. Как известно этот процесс не автоматизирован - после подключения HMC старый IVM отрубается, и если ты не запомнил или не записал конфигурацию машинок, то ты остаешься у разбитого корыта...



Погуглив удалось найти описания от нескольких человек которым удалось произвести миграцию. Используя эти описания, миграция была произведена. Шаги миграции:

- Через IVM создаем бэкап профилей виртуальных машинок profile.bac (на всякий случай)

- Записывам полную конфигурацию для каждой машины (диски, сети, память, процессор, точки монтирования внутри VM, вывод ifconfig внутри VM, etc). Чем больше запишите тем лучше.

- Выключаем все виртуальные машины (LPARs) и удаляем их из IVM, при этом не удаляя их виртуальные диски (!) Сам VIOS/IVM не трогаем.

- Удаляем из IVM все SEA (бриджи из виртуальных сетей наружу через адаптеры самого VIOS)

- Выключаем весь Power сервер. В настройках ASM прописываем использовать DHCP на том интерфейсе к которому подключим HMC. Подключаем к серверу HMC. Ждем когда HMC найдет систему. Выбераем в HMC только что подключенную систему и вводим пароль пользователя HMC для проведения асоциации (пароль для юзера HMC можно менять/устанавливать через ASM, заходя в него как admin).

- Запускаем Power сервер, ждем, когда запустится VIOS (IVM уже полностью отключен), заходим по ssh в VIOS как padmin и от туда, через shutdown, выключаем сервер еще раз.

- Заходим в ASM и выставляем режим загрузки как STANDBY. Сново запускаем через ASM сервер и идем в HMC.

- Сервер находится в Recovery Mode. Через HMC проводим процедуру "Initialize profile data".

- Заходим в ASM и выставляем режим загрузки как Normal. Перезапускаем сервер через ASM.

- Вручную создаем первую VIOS партицию и назначаем ей все устройства в системе.

- Запускаем первую VIOS партицию. Проверяем, что она запустилась и мы можем зайти в нее по старому адресу через ssh. Выключаем партицию. Создаем vSCSI, vEthernet адаптеры и SEA бриджи. Запускаем партицию.

- Вручную создаем все оставшиеся партиции. Вручную пересоздаем все vSCSI мапинги и сети.

- Запускаем партиции, проверяем, что они запустились. В партициях поменяется нумерация SCSI и ethernet устройств - очень может быть, что она запустится, но сети на ней не будет. Надо зайти в партицию через virtual com port из HMC и пересоздать сетевые подключения.



Подключение к VM через виртуальный COM порт из HMC



Зайдя в HMC через ssh как hscroot можно потом попасть в какую-нибудь VM на любом из серверов, которые управляются через этот HMC, с помошью команды:

mkvterm -m PowerServerName --id 2

-m имя сервера как он виден в HMC

--id номер вируальной машины



Удалить подключение из другой консоли HMC:

rmvterm -m PowerServerName --id 2

 



Как избежать переэнумерации vSCSI vEthernet адаптеров



Создав через IVM файл с бекапом профилей машинок, можно посмотреть какие virtual_scsi_adapters, virtual_ethernet_adapters и lhea_logical_ports там созданы и запомнить их id. При создании новых профилей в HMC можно попробовать так подобрать id новых виртуальных устройств, чтобы они совпали со старыми. Тогда, по-идее после запуска машинки с новым профилем, она не потеряет сеть. В старых версиях прошивок HMC было ограничение что номера адаптеров создаваемых через него могли начинаться только с id=10 и из-за этого нельзя было выставить для новых виртуальных адаптеров старые id. В новых HMC это ограничение снято. Я так делать не пробовал - в моем случае пересоздать пару Ethernet подключений было не так сложно.





Настройка VIOS сразу же после установки



TCP/IP из-под padmin

mktcpip -hostname VIOS-hostname -inetaddr 192.168.1.123 -interface en0 -netmask 255.255.255.0 -gateway 192.168.1.1


DNS настроить проще из-под oem_setup_env через smit





Настройка лицензий на AIX и софт после установки



Сразу же после установки чистого AIX, в первый раз при запуске, он просит принять лицензионные соглашения на систему и софт. Иной раз я запарываюсь и не попадаю во второе приглашение (по ошибке выхожу из него по F3)... Так вот, первое приглашение вызывает команду:

/usr/sbin/inulag -A


Если что, то их потом можно выполить руками =) В smitty я их не нашел.





mirrorios

Процедура mirrorios миррорит только активные LV виоса. Если в будущем создать новый LV (как новый виртуальный диск для какой-нибудь LPAR) то он создасися только с одной копией. Новый LV надо миррорить вручную.





Как запустить nginx из сырцов под AIX

Надо установить RPM софт:



expect-5.42.1-3

libgcc-4.2.0-3

libstdc++-4.2.0-3

gcc-4.2.0-3

libstdc++-devel-4.2.0-3

gcc-c++-4.2.0-3

m4-1.4.1-1

autoconf-2.59-1

make-3.80-1

tar-1.14-2

readline-6.2-3

zlib-1.2.6-1

bzip2-1.0.6-1

pcre-8.21-1

pcre-devel-8.21-1

info-4.13a-2



брать отсюда (со второго сайта pcre и другие утилиты у которых более новая версия)

http://www-03.ibm.com/systems/power/software/aix/linux/toolbox/alpha.html

ftp://www.oss4aix.org/latest/aix61/

cd ./nginx/
./configure --prefix=/nginx --with-http_ssl_module --without-http_gzip_module
cd ./objs
vi./Makefile


Меняем в Makefile значения CFLAGS (иначе GCC вываливается с ошибкой)

CC = gcc
CFLAGS = -pipe -O -W -Wall -mcpu=powerpc
CPP = gcc -E
LINK = $(CC)


У меня заработал.





Обновление микрокода с помощью invscout или cd-rom

http://www.rootvg.net/content/view/450/88/





Microcode Discovery Service



Microcode Discovery Service is used to determine if microcode installed on your IBM System p or RS/6000 systems is at the latest level.



    Replace /var/adm/invscout/microcode/catalog.mic with the latest catalog.mic file from

    http://techsupport.services.ibm.com/server/mdownload/catalog.mic

    Run invscout

    Upload the resulting survey file to the Microcode Discovery Service

    http://www14.software.ibm.com/webapp/set2/mds/fetch?page=mds.html

    Review the report generated







CD-ROM based MDS:

http://www14.software.ibm.com/webapp/set2/mds/fetch?page=cd.html

http://www14.software.ibm.com/webapp/set2/firmware/lgjsn?mode=10&page=cdrom.html



Куда кидать вывод invscout (machinename.mup) для онлайн анализа:

http://www14.software.ibm.com/webapp/set2/mds/fetch?page=mdsUpload.html



 



Много полезной информации про AIX и все что связано с Power платформой

Весьма компетентный человек делится своим опытом:

http://www.aixmind.com/

http://www.aixmind.com/?paged=26



как избежать длительного таймаута при старте когда недоступны DNS сервера

В файле /etc/netsvc.conf надо прописать приоритет локального файла хостов над серверами имен:

hosts = local, bind

размещено: 2010-11-08,

				последнее обновление: 2012-12-22,

				автор: terminus

Алексей, 2014-06-05 в 18:20:45

Спасибо за статью! Приятно видеть на lissyara.su статьи по администрированию OS IBM AIX. Хотелось бы поделиться ссылкой на свою документацию: http://unixlikeos.ru/doku.php/ibmaix/start / Пожалуйста, не принимайте за рекламу! Там просто wiki /