Witam. Jestem w trakcie instalacji i konfiguracji macierzy RAID z 10 dyskami 3TB na ZFS raidz
Moje pytanko jest następujące. Jeśli mi padną dwa lub trzy dyski na raz, czy da radę odbudować je wszystkie na raz? Czy będę musiał się pojedyńczo babrać?
I drugie pytanko. Tych 10 dysków to dopiero początek, do nich dojdzie pewnie jeszcze 30 każdy po 3TB. Czy bedą jakieś większe problemy z ich dołożeniem, czy poprostu podpinam i daje komendę dołącz w zfs?

Pozdrawiam i dzięki z góry za pomoc.

Zapytaj phoenix @ FreeBSD Forums, ja nie mam doswiadczenia z ZFS na az tak wielu dyskach.



ZFS rozbudowywac mozna praktycznie bez konca (sa jakiestam limity ale hardware predzej bedzie limitem niz ZFS), 40 dyskow bez problemu obsluzy, nie mozna za to ODEJMOWAC dyskow z puli.

Jezeli chodzi o ten RAID10, to bedziesz po prostu dokladal kolejne mirrory do tej puli.

Pamietaj tez, zeby nie uzywac niczego 'raidowego' na samych kontrolerach, do ktorych beda te dyski podlaczone, 'przekaz' dyski do systemu pojedynczo i najwyzej zostaw wlaczone cache i zabezpieczenie bateryjka.

Hejka . Wiedzialem, ze sie odezwiesz . Sluchaj to nie ma byc RAID10, tylko RAID z 10 dyskami. Nie wybralem jeszcze rodzaju macierzy, ale chce zeby to bylo w miare bezpieczne i jak cos sie sypnie to wolalbym, zeby byla mozliwosc szybkiego odbudowania. Dajmy na to jeden dzien. W tym momencie mam 6 dyskow w RAID 5, ale to mi sie szybko zapycha, a dane musze trzymac conajmniej miesiac.

Pzdrawiam.

Zle zrozumialem w takim razie

Szybie odbudowanie ... przy 3TB i sredniej predkosci zapisu 40MB/s mamy:

3000000 / 40 / 60 / 60 ~ 21 godzin, zakladajac ze srednio bedzie to minimum 40MB/s.

RAID5 bym odrzucil, jezeli padnie Ci jeden dysk, wezmiesz SPARE i zaczniesz tam przebudowywac RAID ... ale jak w tym momencie padnie drugi dysk ... to juz masz po danych.

Mowisz, ze masz 10 dyskow, wychodzi na 2 * RAID6 z 5 dyskow kazdy, chociaz wtedy bedziesz przez jakis czas bez SPARE a to tez srednio.

Biorac pod uwage, ze bedziesz mial tam 40 dyskow, to dalbym RAID6 na 6 dyskach,
czyli na start, RAID6 + 4 HOTSPARE, a po dobiciu do 40 dyskow bedziesz mial 6-WAY RAID0 z RAID6 (kazdy 6 dyskow) + 4 HOTSPARE.

Mozesz ewentualnie zrobic RAID6 z 7 dyskow, wtedy bedziesz mial 5-WAY RAID0 z RAID^ (7 dyskow kazdy) + 5 HOTSPARE.

Jeszcze jedna uwaga, na Solaris jest cos takiego jak SMF, to sprawdzi w zpool status, ze dysk padl i ze trzeba zrobic zpool replace, ale na FreeBSD ta funkcjonalnosc powstaje aktualnie (moze juz powstala) w postaci zfsd, ktory bedzie nad tym czuwal, ale znajdziesz na necie pare skryptow do CRON aby na razie sobie z tym radzic automatem.

Z drugiej strony majac RAID6, pad jednego dysku duzego stracha Ci nie narobi, zawsze mozesz sie zajac tym NBD

A jeżeli bede miał 2 spare ?

Nawet jakbys mial i 100 hotspare, masz raid5, zalozmy z 4 dyskow, pada dysk numer 1, bierzemy jednego hotspare i zaczynamy odbudowywac dane na podstawie XOR z pozostalych dyskow, w czasie odbudowywania pada dysk numer 2, lezysz i kwiczysz (a przynajmniej twoje dane).

Czy Slawek, twoim zdaniem lepiej jest zrobić raid 10 albo 6, chyba że dać raid5 + dodatkowy dysk na sumę kontrolną? W sumie póki dyski działaja nonstop i maszyna jest nie resetowana to zostają tylko bad sectory, ale to powinien załatwić raidz. Mam na mysli powiadomić po sprawdzeniu statusu.
Pozdrawiam.

[quote="crips"]Czy Slawek, twoim zdaniem lepiej jest zrobić raid 10 albo 6, chyba że dać raid5 + dodatkowy dysk na sumę kontrolną?
http://en.wikipedia.org/wiki/RAID

Co masz na mysli mowiac "RAID5 + dodatkowy dysk na sumę kontrolną"?

RAID5 ma 1 dysk poswiecony na 'distributed parity', jak padnie 1, ok, wszystko dziala, jak padna 2, po danych.

RAID 6 ma 2 dyski poswiecone na 'distributed parity', jak padnie 1, ok, jak padna 2, ok, jak padna 3, po danych.

Witam ponownie. No mam wlasnie taki kontroler jakis dziwny intela akurat. Tam mam raid5 czyli normalny, plus do tego kontroler jak chcesz tworzy wlasnie dodatkowy dysk bckp. Podpinasz dodatkowy dysk i na nim robisz bckp. Czyli notabene masz z tego wynika dodatkowa sume kontrolna, ale dane zmieniaja sie caly czas, wiec nie bardzo kumam na jakiej zasadzie ten dodatkowy bckp dziala. Odbieglismy od tematu. Chodzi mi o 3 rzeczy:
1.Jak najwieksza ilosc miejsca.
2.Mozliwosc szybkiej odbudowy, albo przynajmniej odbudowy online.
3.Jesli padna 2 dyski na raz, zebym danych nie stracil.
Z dyskami zwlaszcza sata, bywa roznie, a przy takich pojemnosciach to juz wogole katastrofa.

Moze te 'parity data' zapisuje osobno jeszcze na ten dysk i wtedy jak padna 2 dyski to uzywa tego zapasowego, czyli w praktyce daje to RAID6, tylko tak naokolo troche, masz linka co to za kontroler/model/sprzet albo jakis opis gdzies jak to dziala?

Do samego ZFS nie uzywaj wogole funkcjonalnosci kontrolera, potraktuj go jako replikator portow, zadnych RAID'ow nim nie rob, cojanwyzej zostaw wlaczone CACHE dla tych dyskow z tego kotrnolera jezeli ma taka mozliwosc.



Jakbym ja mial to robic, to wybralbym RAID6, z 6-7 dyskow. Majac taki system zapewne masz tez duzy budzet, dodalbym wiec 2 x dysk SSD SLC (lub dobry MLC) w mirrorze na ZIL oraz 1 dysk SSD tanszy MLC tak ze 256GB na L2ARC.

Jezeli chcesz uzywac deduplikacji, to przygotuj sie na nadwyzke pokroju 2-3GB RAM na 1TB danych, ewentualnie hashe beda trzymane na dysku SSD w L2ARC jezeli nie zmieszcza sie w RAM wiec bedzie jeszcze relatywnie szybko.

2.7TB * 5 (RAID6 z 7 dyskow) * 5 = 67TB przy zapelnieniu 80% daje nam to ~50TB = 128GB RAM, ale biorac pod uwage, ze masz L2ARC na SSD moglbys ograniczyc RAM do jakichs 48-64GB i tez powinno byc ok.

Hejka. Przedsiewziecie jest na tyle duze, ze jak mi sie cos spartowli to pojdzie mi sie wszystko walic, a ja zawsze lubie miec bckp w zanadzu. Kontroler, o ktorym wspomnialem to nie jest ten na ktorym bedzie sie to opieralo. Kontroler na, ktorym to ma byc to ten:
http://www.ebay.co.uk/itm/3Ware-AMCC-12 ... 3f117ba521
Docelowo beda 4 takie.
Cholera, jak bym mial te 40 dyskow teraz, to nie bawilbym sie, a tak to normalnie, az sie boje tego dokladania. Jesli mi sie cos sypnie w trakcie to bedzie placz.
Mysle, ze najlepszym ustawieniem bylo by 2xRAID 6 i to potem w mirror, poniewaz bardzo mi zalezy na bespieczenstwie teych danych..
Pozdrawiam

Dokladanie akurat jest zupelnie bezbolesne, przynajmniej w ZFS.


Mysle, ze RAID61 to juz przesada tutaj, sam RAID6 zapewnia naprawde duze bezpieczenstwo, nawet zakladajac, ze resilver bedzie z predkoscia 20MB/s, to potrzebujesz okolo 48h na odbudowe jednego dysku 3TB, majac RAID6, w tym czasie moze pasc ci drugi dysk i tez nic sie nie stanie.

Jezeli chcesz byc jeszcze bardziej paranoiczny, to wzialbym jesynie raidz3 zamiast raidz2, gwoli scislosci, raidz=RAID5 (1 parity disk), raidz2=RAID6 (2 parity disk) oraz raidz3=(BRAK ODPOWIEDNIKA W RAID) (3 parity disk).

Co oznacza, ze zamiast 2 duskow moga ci pasc 3 dyski i tez nic sie nie stanie, ale takie rzeczy to wstawialbym do systmow tranzakcyjnych/gieldowych/lotniskach/tankowcach itd, RAID6 powinien w zupelnosci wystarczyc.

Kuzwa przkonales mnie
Dzieki.