Boot problemer med RAID1 (not ready yet or not present)

[DICKHILL]

SÅDAN !!

Det kører nu og hedder igen /dev/md0 ! (':
Hvad jeg har gjort, aner jeg rent faktisk ikke helt.. :P
... Andet end at jeg nok bare lavede fstab og mdadm.conf tilbage som de var før og kørte 'update-initramfs -u'

For jeg forstod og fandt ud af at sdb1 og sdc1 har ét UUID som skal bruges i mdadm.conf og md0 har et helt andet UUID som skal bruges i fstab..

Kode: Vælg alt

simon@server1:~$ sudo blkid
/dev/sda1: UUID="62b4e538-f592-428b-8e7c-d73a73f1b176" TYPE="swap"
/dev/sda2: UUID="f6d4a38f-de89-4851-81fd-8dddfddb8116" TYPE="ext4"
/dev/sdb1: UUID="adb99969-0527-7662-003f-9415406b0459" UUID_SUB="18b500d6-2242-727a-8ad5-1f92f0df664c" LABEL="server1:0" TYPE="linux_raid_member"
/dev/sdc1: UUID="adb99969-0527-7662-003f-9415406b0459" UUID_SUB="d57c0717-1771-896b-e584-bb5a8e582172" LABEL="server1:0" TYPE="linux_raid_member"
/dev/md0: UUID="ff4716df-3c98-49cb-b819-9914e8e1d856" TYPE="ext4"

Kode: Vælg alt

simon@server1:~$ cat /etc/mdadm/mdadm.conf
# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR server@dickhill.dk

# definitions of existing MD arrays

# This file was auto-generated on Sat, 07 Sep 2013 12:15:25 +0200
# by mkconf $Id$
ARRAY /dev/md/0 metadata=1.2 name=server1:0 UUID=adb99969:05277662:003f9415:406b0459

Forstår bare ikke helt at der står "/dev/md/0", da jeg flere steder læser at folk har "/dev/md0" stående?

Kode: Vælg alt

simon@server1:~$ cat /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    nodev,noexec,nosuid 0       0

# / was on /dev/sda2 during installation
UUID=f6d4a38f-de89-4851-81fd-8dddfddb8116 /             ext4    errors=remount-ro       0       1

# /home was on /dev/md0 during installation
UUID=ff4716df-3c98-49cb-b819-9914e8e1d856 /home         ext4    defaults                0       2

# swap was on /dev/sda1 during installation
UUID=62b4e538-f592-428b-8e7c-d73a73f1b176 none          swap    sw                      0       0

[AJenbo]

Ja "/dev/md/0" virker lidt mærkeligt. Min linje er:

Kode: Vælg alt

ARRAY /dev/md2 level=raid1 num-devices=2 UUID=09a3aa51:4c890920:10dd0675:492a4d96

Godt at det virker igen.

[DICKHILL]

Det har den helt selv valgt... Derfor jeg er ikke helt forstår det.. :S
Men det er nu ændret til "/dev/md0"

Og kan så også se at du har "level=" og "num-devices=", men ikke "name=" og "metadata=" ?
Er det værd at tilføje og er det jeg har stående så værd at fjerne?

[AJenbo]

metadata er hvilken version dit raid er skrevet i.
Jeg tror det er skrevet forskellige pga. vi begge har rodet med dem (jeg mistede en disk og måtte genskabe det), men det er ikke rigtig vigtige forskelle.

En hurtig søgning viser at du ikke er den eneste der har dem stående på den måde. Jeg mindes at min blev oprettet i 11.10 eller en beta af 12.04 og køre nu 12.04.

[thomasjohansen]

En ting jeg lærte her den anden dag da jeg ville udskifte sda som kører en del mine raids.

Grub skal installeres på alle harddiskene så hvis eks sda bliver fjernet så ligger grub på en anden.


Og så skal man lige huske at software raid er partions-raid og ikke hdd raid.


Eksempelvis har jeg i mit raid setup følgende partioner:

/dev/md0 som er /

/dev/md1 som er /home

/dev/md2 som er /swap


De tre partioner er Raid'et ud over sda, sdb, og sdc. (Yep sofware raid1 kan godt spejles til 3xhdd eller flere)
dvs.
sda1, sdb1, sdc1 er /dev/md0
sda5, sdb5, sdc5 er /dev/md1
sda6, sdb6,sdc6 er /dev/md2

I stedet for sdc som hotspare så kan den ligeså godt være en del af raid'et, så skal man ikke bruge tid på at genskabe.
NB ved ikke hvor mange resourcer der bruges på at spejle til 3x istedet for til 2x? Men jeg kører med 3x og har en virtuel zarafa (exchange) mailserver kørende på dette.

Hvis du har en partion som den ikke kan mounte, så prøv at starte op uden, i mit tilfælge ville den gost mounte home alligevel.

Ellers så start op i en livecd og fsck diskene.
Det skulle også kunne lade sige gøre at mounte /dev/md0 på en livecd, dog skal du lige installere mdadm først.


Jeg har noteret en masse Raid info i min "Ubernote" copy paster det lige ind her, kan være noget af det kan hjælpe:

Kode: Vælg alt

Mount Raid in Livecd

sudo apt-get install mdadm

mdadm --examine --scan >> /etc/mdadm.conf

mdadm --assamble /dev/md0

mdadm --assamble /dev/md1

mdadm --assamble /dev/md2

Scan raid file system and check for badsectors

fsck -c /dev/md0

Raid status

cat /proc/mdstat

mdadm --detail /dev/md0

Raid failed disk

remove disk from raid

mdadm /dev/md0 --fail /dev/sda1 --remove /dev/sda1

Add hot spare

mdadm --add /dev/md0 /dev/sdc1

(normally this will begin automatic rebuild)

If hot spare is available and not been automatic rebuild, remove it and add it again

mdadm --remove /dev/md0 /dev/sdc1

mdadm --add /dev/md0 /dev/sdc1

If you want to have more disc to be mirrored you can "grow" the number of disks

mdadm --grow --raid-devices=4 /dev/md0

New RAID disk needs grub too

sudo grub-install /dev/sdc

check to see if its installed on /dev/sdc

sudo dd if=/dev/sdc bs=512 count=1 | xxd

Sources

https://raid.wiki.kernel.org/index.php/Growing

http://superuser.com/questions/429776/simple-mdadm-raid-1-not-activating-spare

https://wiki.sabayon.org/index.php?title=HOWTO:_Repair_filesystem_using_fsck_on_a_raid_setup


[DICKHILL]

metadata er hvilken version dit raid er skrevet i.
Jeg tror det er skrevet forskellige pga. vi begge har rodet med dem (jeg mistede en disk og måtte genskabe det), men det er ikke rigtig vigtige forskelle.

En hurtig søgning viser at du ikke er den eneste der har dem stående på den måde. Jeg mindes at min blev oprettet i 11.10 eller en beta af 12.04 og køre nu 12.04.

Ja, mit blev så oprettet i 12.04, under installationen..
Jeg satte så den ene (sdb) ud, satte i en anden maskine, overførte mit gamle data og satte den tilbage i serveren..
Hvilket også virkede og har kørt fint, selv efter et par reboots..
Så hvad der er sket siden det pludselig ikke virkede, er mig ukendt..
Det kan næsten kun være en opdatering af et eller andet..


thomasjohansen,
Lige i mit tilfælde, tror jeg ikke at det havde hjulpet at fjerne en af HDD'erne, da md0 slet ikke kunne/ville læses..
Jeg havde en LiveCD i, hvor HDD'erne blev fundet som RAID partitionerner..
Men gjorde det kun da jeg var lidt bange for at en af diskene måske allerede fejlede..
For vidste ikke helt om det den gjorde, var når "BOOT_DEGRADED" var sat til "false"..
Jeg skulle måske have forsøgt at sætte den til "true"..

Jeg tænkte heller ikke over at 'mdadm' skulle installeres, så jeg slukkede bare igen og tænkte at det måtte jeg se på, når der var tid..
Og så har jeg også været i tvivl om hvor meget man måtte/kunne ændre på diskene (mht. GRUB, osv.), for at HDD'erne stadig kunne læses på serveren og dataen ikke ville gå tabt..


Men din lille guide, bliver hermed udskrevet, da den nok er en go' en at have hængende på vægen til (forhåbentlig ikke) næste gang! (:
Og det tyder jo så også på at man frit kan fjerne en partition/HDD fra et RAID, men SKAL de sættes som "fail", før det er sikkert?

[thomasjohansen]

Og det tyder jo så også på at man frit kan fjerne en partition/HDD fra et RAID, men SKAL de sættes som "fail", før det er sikkert?

svar skyldig, men ifølge, denne guide som er værd at gemme ( se side 4) http://www.iceteks.com/articles.php/linuxmdadmraid/1

så er kommentaren Mark drive as failed, and remove from array. (this can be good if you want to replace a drive even though it has not failed)

[DICKHILL]

Jeg tænkte nok at det var mest sikkert at melde den som failed, uanset om den skal skiftes eller ej..
Jeg takker mange gange for linket og for at du gad at undersøge det!! (:

Linket er hermed også gemt som bogmærke!
Det er hvert fald noget jeg vil prøve at læse igennem..
For det er rart at der er samlet så meget information ét sted, frem for at man skal sidde og læse flere forskellige steder, hvilket jeg har gjort før..

Har måtte se på MAN-filen, andres guides, config-eksempler og meget andet, før..

[AJenbo]

Da dit RAID ikke er opstarts disken er der ikke den store grund til at installere GRUP på disken.

[DICKHILL]

jaså...? Jeg vidste godt at GRUB var noget boot/loader..
Men ALLE steder jeg har læst, der har der været vist at det skal installeres på diskene..
Jeg husker så ikke om alle guides, osv., var med eller uden sda..


Men jeg begynder nu at forstå at RAID er langt større end som så...
Så kan jeg/man have sat det "forkert op", selvom det virker?
Tænker om jeg skal have tjekket nogle ting igennem...

Jeg ved at man kan teste det med at "faile" den ene disk og så starte serveren op..
(Eller bare at hive den ene ud af maskinen, som var den helt død)
Men så er det bare hvad 'BOOT_DEGRADED=false' egentlig er/gør, andet end at stoppe serveren i at loade videre..
(Hvis det overhovedet gør andet?)

[DICKHILL]

Ja og dum som jeg er....... :P
Så skulle jeg da lige prøve at hive den ene harddisk ud, for at se hvad der skete..
(Det blev så 'sdc' og ikke 'sdb', som jeg ellers ville have prøvet med)
Det resulterede i at jeg startede serveren i degraded RAID...
Fik bare tastet "mdadm --manage /dev/md0 --add /dev/sdc1" og nu er den så ved at køre recovery på disken..

Så det er 3TB, som er færdig om 335,5min. (thumbs up) (o:


Er dette egentlig den eneste metode til at få det til at køre igen eller kan man få den til at scanne disken, for at se om de skulle være ens?
(Situationerne for at diskene er ens, er jo godt nok MINIMAL!)

[AJenbo]

En læsning af de 2 diske ville også tage temmelig lang tid.

Det vigtige er at GRUB er installeret på den disk som din bios er sat til at starte fra.

[DICKHILL]

Men at læse, går jo langt hurtigere end at skrive..
Men sket er sket og nu er den vel forhåbentlig færdig... :P
Og prøver det igen med sdb, når jeg kommer hjem..

For vil gerne være forberedt på hvordan serveren reagerer, hvis/når det rigtigt sker..
(Hvilket forhåbentlig først bliver om et par år eller tre..)


GRUB er (selvfølgelig) på sda(2), men kan det egentlig fjernes fra sdb og sdc?
Det er jo nytteløst at det ligger der, selvom at det nok ikke udgør meget af de ellers 2,69TB der er til rådighed...

[thomasjohansen]

Har du RAID på hele systemet eller kun på en del af diskene?


Hvis du har RAID på hele dit system, (som jeg har) så vil jeg anbefale at ligge grub på alle diskene.

mit setup specifiseret RAID1:

sda (grub) sda1 er / sda5 er /home sda6 er /swap
sdb (grub) sdb1 er / sdb5 er /home sdb6 er /swap
sdc (grub) sdc1 er / sdc5 er /home sdc6 er /swap

Dvs hvis sda fejler, så vil serveren kunne starte op på sdb.


Hvis du derimod har:

sda med / og /home og /swap

og....

RAID på
sdb1 /storage
sdc1 /storage

så er der ikke nogen grund til at ligge grub på sdb eller sdc, da du alligvel ikke har / eller /home på de diske.

giver det mening?



hvis du er i tvivl om hvad der kører som RAID og ikke så kør følgende:

Kode: Vælg alt

 mount | column -t

så viser den ihvertfald hvor bla. / og /home ligger.

[DICKHILL]

Jeg kører kun RAID på /home..
Mit setup er:
sda1 er swap
sda2 er / (Med GRUB, selvfølgelig)

Hvor sdb1 og sdc1 (md0) kun er /home i RAID1


Det giver fint mening, det du skriver! (:
Og kan godt høre at det (selvfølgelig) ikke giver mening at have GRUB på diske der ikke skal bootes op fra..
Jeg havde bare kun set folk installere GRUB på diskene, uanset hvad de blev brugt til.. (Så derfor gjorde jeg det vidst også)
Husker snart ikke hvad jeg har gjort og ikke gjort..
For satte RAID1 op under installationen og derefter hev jeg sdb ud af serveren, satte den i min Desktop for at overføre mit gamle data og så ville servere ikke starte op igen..
Hvad jeg så gjorde der, husker jeg ikke.. Men der fik jeg vidst installeret GRUB..
(På baggrund af at jeg ikke anede en skid om det.. Hehe..)

Men hvis der ligger GRUB på sdb & sdc, burde det så ikke fremtræde et sted, at der er mulighed for at boote op på dem?
For det er der nemlig ikke... Så måske jeg slet ikke har GRUB installeret på dem.. (o: