Verständnisfragen bzgl. Datenträgern und UNRAID

  • Hallo auch,

    ich evaluiere aktuell den Einsatz von UNRAID auf meiner neuen Workstation und komme mit den mir bisher untergekommenen Informationen nicht so ganz klar.

    Zuerst kurz zu meinem Setup: Ich habe mir eine Workstation (Gehäuse=Nanoxia Deep Silence 6 Rev. B) gebaut, der aus 18x20TB HDDs & 4x2TB NVMe & 2x1TB NVMe besteht. Die HDDs hängen alle an einem HBA, die 2TB-NVMe stecken in einer ASUS Hyper Card und die beiden 1TB-NVMe sind direkt auf dem Mainboard. Dazu noch ein Intel Xeon W auf einem ASUS C422 Pro Mainboard, garniert mit 4x 16 TB ECC-RAM. Zusätzlich ist noch ein microSD-Slot auf dem Mainboard (da ist eine noch unbenutzte 64 GB drin), und ich habe eine Nvidia GT 1030 Grafikkarte im Zulauf, die meine betagte GT610 ersetzt. Dann ist da noch als optisches Laufwerk ein WH16NS60 im LibreDrive Mode.
    Die Workstation soll mir als Media Storage mit Plex und Emby dienen, auf der die Medien auch direkt erstellt und weiterverarbeitet werden. Desktop ist daher also notwendig.
    Die 18x20TB werden ein ZFS-Pool in Form von RAID-z2, die 4x2TB NVMe ein RAID-z1. Die 2x1TB NVMe werden entweder ein Cache Pool oder Daten Pool oder "root", je nach finaler Entscheidung über das OS. Die 2x1TB sollen auf jeden Fall entweder ein ZFS-RAID1 oder ein BTRFS-RAID1 sein, kein mdadm oder SnapRAID oder ähnliches!
    Bei UNRAID ist mir bisher nicht ganz klar, welche Datenträger in welcher Funktion Voraussetzung sind und wie die formatiert und "geraidet" sein müssen. Ich weiß nur, dass UNRAID selbst auf einem kleinen USB-Stick oder einer microSD-Karte installiert werden muß.

    Kann mir da jemand mit klaren einfachen Informationen Licht ins Dunkel bringen?

    Vielen Dank im Voraus!

  • Unraid selbst muss auf einem USB Stick installiert sein weil die Lizenz an die GUID des USB Stick gebunden wird.

    Unraid verwendet kein Standard RAID. Alle Daten Platten werden mit XFS (früher mit ReiserFS) formatiert und dann gibt es dazu ein oder zwei Parity Platten.
    Die Daten werden bei Unraid auch nicht wie bei anderen Raid verfahren gestriped. Das hat den Vorteil das selbst wenn mehrere Platten ausfallen die Daten auf den restlichen Platten erhalten bleiben und an jedem Linux PC ausgelesen werden können.
    Schnell ist dieses verfahren jedoch nicht, zumindest beim schreiben auf das Raid.
    Dafür kann man eine oder mehrere SSD's als Cache Drive verwenden von welchem die Daten in regelmäßigen Abständen auf das Array verfrachtet werden.

    Du sieht unraid macht einiges anders als andere NAS OS.

  • Danke erstmal für die schnelle Antwort!

    Das mit der fehlenden striped Parity ist nicht so wirklich mein Ding, irgendwie schade.
    Nun kann ich ja trotz allem ZFS mit dem entsprechenden Plugin nutzen, die 18x20TB ("Storage" genannt") und meine 4x2TB ("Fabric" genannt) kann ich also mit UNRAID realisieren.

    Irgendwie habe ich immer noch nicht kapiert, wie der grundsäzliche Aufbau zu sein hat. UNRAID selbst liegt ja auf einem USB-Stick und lädt sich in den RAM. Nun bleibt es doch aber nicht dabei, man will ja Docker-Apps und eventuell die eine oder andere "richtige"" VM via KVM. Und deren Daten müssen ja auch irgendwo hin.
    Kann man das auf einem BTRFS-RAID1 oder gar ZFS-RAID1 ablegen? Oder wird das woanders platziert?

    Mir ist schlicht und einfach nicht klar, wie der dem USB-Stick nachgelagerte Aufbau sein muß, also bzgl. Dateisystemen und eventuellen RAID-Leveln. Ich will die UNRAID-eigene Art der Datenträgerverwaltung gerne umgehen ...

  • Dann such dir besser ein anderes OS.
    ZFS ist nicht offiziell in unRaid unterstützt, es ist ein Community Plugin.
    Das bedeutet auch das es bei jedem Upgrade kaputt gehen kann und dessen kompatibilität auch nicht getestet wird.

    Ich habe unRaid gerade wegen dem fehlenden Striping gewählt.

    Was die Docker etc angeht. Die Dateien liegen entweder auf einer Array Disk oder bei 99% der Nutzer auf einer Cache Disk.

  • Kann man das auf einem BTRFS-RAID1 oder gar ZFS-RAID1 ablegen? Oder wird das woanders platziert?

    Die Freigaben Appdata und VMs können sowohl auf dem Cache Laufwerk (bei mir ne SSD) sowie auch auf eine der Datenplatten liegen.

    Das mit der fehlenden striped Parity ist nicht so wirklich mein Ding, irgendwie schade.

    Die Frage ist wo dein Vorteil liegt wenn es nicht wie vorgegeben läuft. Du hast immer die Sicherheit einer Datenplatte wenn sie ausfällt. Da wird mithilfe der Parity Platte eine Festplatte mithilfe der anderen Datenplatten zurück gerechnet. Wenn Du mehr Sicherheit brauchst brauchst du ein Backup - und zwar woanders.

    Nun kann ich ja trotz allem ZFS mit dem entsprechenden Plugin nutzen, die 18x20TB ("Storage" genannt") und meine 4x2TB ("Fabric" genannt) kann ich also mit UNRAID realisieren.

    Kannst Du, du könntest aber auch BTRFS nutzen falls Dir einfach Features bei XFS fehlen.

    Ich will die UNRAID-eigene Art der Datenträgerverwaltung gerne umgehen ...

    Dann ist es das verkehrte System für dich.

    --------------
    Guides nicht mehr verfügbar wegen Youtube unvermögen guten von schlechten Kodi Videos zu unterscheiden.

  • Ich würde gerne UNRAID einsetzen, dann aber nur mit ZFS und notfalls BTRFS ... Allerdings dann auch nur mit den dateisystemeigenen RAID-Optionen und nicht mit dem UNRAID-Kram.

    Ich weiß, dass auf den USB-Stick selbst ja nichts geschrieben wird (zumindest wenn ich es richtig verstanden habe) und noch irgendwelche Arrays und Caches gebraucht werden. Das System-Array will ich als ZFS-Mirror oder BTRFS-Mirror nutzen, was zumindest bis 6.11 nicht gehen soll.

  • Allerdings dann auch nur mit den dateisystemeigenen RAID-Optionen und nicht mit dem UNRAID-Kram.

    Dann ist unRaid nichts für dich. Deren Philosophie beruht auf dem Parity-Ansatz, notfalls (oder gerne auch) im Cacheverbund. Das wird wohl nicht anders werden.

    AZi (DEV): Nexus auf LibreElec | Asrock J4205 | 4 GB RAM | 128 GB Sandisk| Rii mini
    DEV: PC Ubuntu 20.04 | Matrix
    AZi: Tanix TX3 | Android/CoreElec Dualboot (EMMC), Nexus
    WoZi: Nexus auf LibreElec | Asrock J4205 | 4GB RAM | 128 GB Sandisk SSD | Atric IR | URC7960
    NAS: unRaid, 3x6TB, 2x12TB | TV-Server: Futro S550 mit Hauppauge QuadHD DVB-C
    PayPal: paypal.me/pvdbj1

  • Ich finde halt die Loesung toll, das alle Datenplatten unabhaengig voneinander sind und das man nur soviele Parity-Platten dazutut, wie man fuer noetig haelt. Das man dann halt nur die Leseperformance pro Datei hat wie eine Platte (kein striping beim zugriff auf eine Datei) halte ich bei den 200MByte/sekunde sequentiellem zugriff heute bei Platten fuer irrelevant. Und das man beim Schreiben dann Verzoegerung hat bis die Parity dafuer spaeter mal geschrieben wird finde ich fuer den Heimansatz auch ein gutes Opfer was man fuer diesen Vorteil kriegt.

    Die Vorstellung, das halt bei normalem Raid und Parity Verlust und Reparatur das ganze System kritisch wird - fuer Tage - ist halt eine gruselige Vorstellung. Und der Totalverlust ist auch eine gruselig.

    Aber ich bin da auch kein grosser Fan von closed-source closed-system Loesungen wie UnRaid, auch wenn ich das nach dem was ich hier so lese von seinen Fans auch jedem empfehlen wuerde, der nicht so vernarrter Bastler ist, wie ich.

    Aber wenn Dich das Konzept dieser lockeren Parity Redundanz interessiert, schau Dir mal SnapRaid an. Das macht im Prinzip dasselbe wie UnRaid ist aber einfach eine User-Level App die man in beliebigen System verwenden kann.

    Dieses Konzept geht halt (glaube ich) nicht so gut, wenn man die parity immer live aktuell halten will. Deswegen macht es nicht soviel sinn zu versuchen es nur innerhalb des filesystems abzubilden.

  • der aus 18x20TB HDDs

    Die 18x20TB werden ein ZFS-Pool

    OT:
    Darf ich mal fragen, was das für Festplatten sind?

    Verstehe ich das richtig. 18 Platten á 20TB?

    Abgesehen davon, dass ich keine Platte kenne, die eine Kapazität von 20TB hat würden wir hier von 360TB Speicher reden ;) (Grob gesagt 360000 GB)

    Daher bin ich gerade verwirrt. Gerade weil du es 2 Mal erwähnst. Daher würde ich einen Tippfehler ausschließen

    Wertschätzung kostet nichts, aber sie ist von unschätzbarem Wert.

  • Abgesehen davon, dass ich keine Platte kenne, die eine Kapazität von 20TB hat würden wir hier von 360TB Speicher reden ;) (Grob gesagt 360000 GB)

    öhm gibt's doch zu Haufe und größer auch Seagate Exos, WD RED usw

    das Einzige was am Ende zählt ist
    dass ihr lebt was ihr liebt und liebt wofür ihr lebt


    Kodi HTPC - W11 | AMD Athlon 3000G | Pioneer A 504R Bj. 96
    OMV NAS - NAS | Emby Server | LogitechMediaServer
    3x Logitech SqueezeBox & 3x RasPi PiCorePlayer
    Loxone SmartHome

  • Abgesehen davon, dass ich keine Platte kenne, die eine Kapazität von 20TB hat

    OT: Hier kann man welche kennen lernen: Festplatten & SSDs Hard Disk Drives (HDD) mit Einzelkapazität ab 20TB heise online Preisvergleich / Deutschland - eigentlich alles aus dem (erweiterten) Consumer-Bereich, für Nerds wie uns ...

    Auch bei dieser Größe durchaus vernünftige Kosten, die bei unter 16 € / TB anfangen. Meine letzte große Platte hatte ich vor knapp 3 Jahren gekauft, Seagate Exos X16 , damals 27 €/TB. In Wirklichkeit ist die Rate der Größensteigerungen der HDDs aber schon signifikant gesunken. Früher so alle 1,5 Jahre Verdoppelung, heute eine vielfache Verdoppelungszeit (mehr als bei CPU-Geschwindigkeit).

    [Selbst investiere ich lieber in Backup-Kapazität als in RAID, und nicht in beides. Aber das kann und soll selbstverständlich jeder für sich selbst bewerten].

    Kodi 20.5, 17.6, 20.5, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

  • Es handelt sich in der Tat um die Seagate Exos 20 Enterprise HDDs, und die ergeben in einem ZFS RAID-Z2 eine Nettokapazität von 290,8 TB.

    Was mir bei UNRAID gefällt, ist das Management an sich und der Ausbau des Systems. Und jetzt hatte ich die leise Hoffnung, dass sich mit 6.12 meine persönlichen Anforderungen am Storage-Aufbau im Ganzen erfüllen. Scheint wohl nicht so zu sein!

    @te36: Mir persönlich sagt das gesamte Konzept von ZFS viel mehr zu als immer diese Insellösungen ala SnapRAID oder eben auch scheinbar immer noch bei UNRAID. Gerade das Recovery geht erstaunlich schnell und der Storage bleibt weiterhin voll nutzbar. Dann noch die ganzen Schutzmaßnahmen zum Erhalt der Datenintegrität ... Man muß einfach mal über den Tellerrand raussehen ... Mir sind meine Daten einfach zu wichtig ...

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!