|
ru.linux
- RU.LINUX ---------------------------------------------------------------------
From : Andre Sidko 2:4641/77 07 Apr 2007 21:05:04
To : Oleg Drokin
Subject : Re: lustre
--------------------------------------------------------------------------------
*** 06 Apr 07, Oleg Drokin wrote to Andre Sidko:
*** snipping off
AS>> После этого с сервера node3 (mds+oss1,oss2,client ) чтобы создать
AS>> config.xml запускаю вот такой скрипт:
AS>> ==================== Begin multilustre.sh ===================
AS>> #!/bin/bash
AS>> LMC="${LMC:-lmc}"
AS>> NFSDIR="${NFSDIR:-/etc/lustre}"
AS>> config="${config:-${NFSDIR}/config.xml}"
AS>> host=`hostname`
AS>> MOUNT=${MOUNT:-/mnt/node}
AS>> MOUNT2=${MOUNT2:-${MOUNT}2}
AS>> NETTYPE=${NETTYPE:-tcp}
AS>> STRIPE_BYTES=${STRIPE_BYTES:-1048576}
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Кстати, подскажи что это за параметр? Я имею ввиду, размер чего это
указывается?
AS>> STRIPES_PER_OBJ=1
AS>> # Create nodes
AS>> ${LMC} -m $config --add node --node 192.168.232.131@tcp || exit 10
OD>
OD> В node лучше прописывать символьное имя ноды.
*** snipping off
Ага, спасибо исправил как ты рекомендуешь.
*** snipping off
AS>> # Generic client 192.168.232.132@tcp definition
AS>> ${LMC} -m $config --add net --node 192.168.232.132@tcp --nid '*'
AS>> --nettype $NETTYPE || exit 12
OD>
OD> А в данном случе нужно дать какой-то generic имя, потому что его
OD> будут использовать все клиенты.
Ага сделал вот так:
# Create client 192.168.232.132@tcp config
${LMC} -m $config --add mtpt --node node3 --path $MOUNT --mds mds1 --lov lov1
$CLIENTOPT || exit 41
*** snipping off
AS>> Конфиг создаётся.
AS>> А что потом?
OD>
OD> потом lconf --reformat /путь.lustre.xml на кажной серверной ноде
Хорошо вот вывод на ноде node1(OSS only)
[root@node1 tests]# lconf --reformat /etc/lustre/config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: lnet srcdir None devdir lnet
loading module: ksocklnd srcdir None devdir klnds/socklnd
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: ost srcdir None devdir ost
loading module: ldiskfs srcdir None devdir ldiskfs
loading module: fsfilt_ldiskfs srcdir None devdir lvfs
loading module: obdfilter srcdir None devdir obdfilter
NETWORK: NET_node1_tcp NET_node1_tcp_UUID tcp 192.168.232.131@tcp
OSD: ost1 ost1_UUID obdfilter /dev/sdb1 0 ldiskfs no 0 256
OST mount options: errors=remount-ro
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[root@node1 tests]#
Означает ли это что oss запустился без ошибок?
Что означает выделенная строка? Типа если произойдут ошибки перемонтировать
слайс в ro. Или же то, что слайс уже смонтирован только в ro?
OD> Если на ноде живет сразу и mds, то такую ноду лучше всего реформатить
OD> последней, потому что mds ожидает что все ost'ы уже поднялись.
*** snipping off
Хорошо запускаю node2 (mds+oss)
[root@node2 /]# lconf --reformat /etc/lustre/config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: lnet srcdir None devdir lnet
loading module: ksocklnd srcdir None devdir klnds/socklnd
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: mdc srcdir None devdir mdc
loading module: osc srcdir None devdir osc
loading module: lov srcdir None devdir lov
loading module: mds srcdir None devdir mds
loading module: ldiskfs srcdir None devdir ldiskfs
loading module: fsfilt_ldiskfs srcdir None devdir lvfs
NETWORK: NET_node2_tcp NET_node2_tcp_UUID tcp 192.168.232.130@tcp
MDSDEV: mds1 mds1_UUID /tmp/mds1 ldiskfs no
size of loopback file '/tmp/mds1' must be larger than 8MB, but is set to 0
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Как это понимать?
Так как хост node3 mds и oss одновременно, то решил что партицию /dev/hdb1
отдаю под oss а в /tmp создам файлик mds1 в котором и будет mds. в конфиге
прописал вот так:
*** snipping off
# Configure mds server
${LMC} -m $config --add mds --mds mds1 --node node2 --fstype ldiskfs --dev
/tmp/mds1 --journal_size 400 || exit 20
Hо все равно ошибка. Объясни, почему так?
p.s. Вообщем теперь скрипт стал вот такого вида:
#!/bin/bash
LMC="${LMC:-lmc}"
NFSDIR="${NFSDIR:-/etc/lustre}"
config="${config:-${NFSDIR}/config.xml}"
host=`hostname`
MOUNT=${MOUNT:-/mnt/node}
MOUNT2=${MOUNT2:-${MOUNT}2}
NETTYPE=${NETTYPE:-tcp}
STRIPE_BYTES=${STRIPE_BYTES:-1048576}
STRIPES_PER_OBJ=1
# Create nodes
${LMC} -m $config --add node --node node1 || exit 10
${LMC} -m $config --add node --node node2 || exit 10
${LMC} -m $config --add node --node node3 || exit 10
# Add net
${LMC} -m $config --add net --node node1 --nid 192.168.232.131@tcp --nettype
$NETTYPE || exit 11
${LMC} -m $config --add net --node node2 --nid 192.168.232.130@tcp --nettype
$NETTYPE || exit 11
${LMC} -m $config --add net --node node3 --nid 192.168.232.132@tcp --nettype
$NETTYPE || exit 11
# Generic client 192.168.232.132@tcp definition
${LMC} -m $config --add net --node node3 --nid '*' --nettype $NETTYPE || exit
12
# Configure mds server
${LMC} -m $config --add mds --mds mds1 --node node2 --fstype ldiskfs --dev
/tmp/mds1 --journal_size 400 || exit 20
# Create LOVs
${LMC} -m $config --add lov --lov lov1 --mds mds1 --stripe_sz $STRIPE_BYTES
--stripe_cnt $STRIPES_PER_OBJ --stripe_pattern 0 $LOVOPT || exit 20
# Configure OSTs
${LMC} -m $config --add ost --node node1 --lov lov1 --fstype ldiskfs --dev
/dev/sdb1 --ost ost1 || exit 30
${LMC} -m $config --add ost --node node2 --lov lov1 --fstype ldiskfs --dev
/dev/sdb1 --ost ost1 || exit 30
# Create client 192.168.232.132@tcp config
${LMC} -m $config --add mtpt --node node3 --path $MOUNT --mds mds1 --lov lov1
$CLIENTOPT || exit 41
Скажи все ли правильно?
Спасибо.
Registered Linux User #347376
UIN 21089807
truly your, Andre.
--- GoldED+/LNX 1.1.5-31012
* Origin: Andre M. Sidko (2:4641/77)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
