Eigenbau Server Feedback

Die Bitrot-Detection von ZFS und BTRFS und ich glaube auch bei snapraid funktionieren aber anders, als ein parity check. Neben der Datei werden auf der Platte Hashsummen als Metadaten abgelegt. So kann man durch erneutes hashen nicht nur feststellen, ob es zu einem Fehler gekommen ist, sondern auch, welche Version denn die richtige ist. Natürlich geht das auch nicht, wenn alle Versionen defrkt sind. Man kann dann von Zeit zu Zeit ein Scrubbing machen, bei dem alle Daten auf Konsistenz geprüft werden.
Technisch nicht notwendig, aber sehr sehr ratsam ist dabei halt ECC-Ram. Denn wenn der Ram ne Macke hat, dann kann so ein Scrubbing Amok laufen.
Das ist halt ein großer Designfehler bei all den kleinen DS von Synology, dass sie zwar BTRFS unterstützen, aber kein ECC haben.
Ich habe gelesen, dass Unraid auch BTRFS unterstützt, aber ich weiß nicht, ob dort das gleiche gilt, wie bei OMV. Dort habe ich mich erkundigt und es hieß, dass dort viele Funktionen noch krampf sind, weil die Implementierung solala ist. Wäre interessant, wie das bei Unraid ist. Daher viel die wahl erst mal auf ZFS. Wobei ich gestern noch mal was gelesen habe, dass die Entscheidung zu Raidz in Frage stellt. Gibt ne starke Gegenposition einen Zpool aus einzelnen 2 Platten mirror Vdevs aufzubauen. Oder sogar Mirror mit drei Platten, aber dann hat man auch nur noch 33% des verbauten Speichers.

Und ja, Raid ist kein Backup. Mache ein tägliches inkrementelles und verschlüsseltes Backup in die Cloud. Außerdem habe ich noch ne USB platte. Ob ich dann in Zukunft die DS als Ersatz für die USB Platte nehme, weiß ich noch nicht. Wahrscheinlich kaufe ich mir eher ne neue USB Platte in passender Größe. Denn wenn die DS am Strom hängt, dann ist die auch mal schnell platt. Ich habe also schon ein sehr ausgereiftes Backupsystem und wohl tatsächlich 321Prinzip. Aber das eigentliche System am Leben zu halten und sicher zu sein, dass alles konsistent ist, ist viel viel angenehmer und praktischer, als das Backup häufig benutzen zu müssen. Übrigens können auch Backups defekt gehen, wenn sie auf HDD sind.

Wegen des Gehäuses überlege ich gerade, ob ich nicht auch statt auf ein möglichst kleines Gehäuse auf Serverformat setze. Leider haben die Besitzer meiner Wohnung von Technik und der Moderne keine Ahnung gehabt, sonst hätten sie statt einem Telefonanschluss in JEDEM Zimmer, eine ordentliche Lanverkabelung mit Patchfeld im Abstellraum realisiert. Das grenzt eigentlich schon an Falschberatung. Das wäre natürlich der Traum. So habe ich wenigstens ein Kabel gezogen, um "Büro" und Wohnzimmer zu verbinden. Trotzdem wäre vlt. ein kleiner Serverschrank für den Server, meine UPS, den Router, Raspi und vlt. nen zwiten Switch ganz praktisch. Da könnte ich auch noch vlt. den Trümmer von Laserdrucker draufstellen. Gibts da ein paar Tipps, was man so nehmen sollte? Habe schon gesehen, dass viele Servergehäuse zwischen 500-600 mm lang sind. das müsste dann mit einem Schrank mit 600mm auf jeden Fall passen. Wenn der als Wandschrank ausgelegt ist, kann man wahrscheinlich, sollte das in Zukunft mal vorhanden sein, den gegen einen vorhandenen Minischrank am Patchfeld tauschen oder? Die sehen häufig so mini aus, dass da gar nichts rein passt. Vor allem frage ich mich, ob die Hardwar in sowas genug Luft bekommt. Die meisten haben irgendwie ne Glastür vorne. Sollte natürlich alles trotzdem kühl und einigermaßen leise sein, auch wenn es in nem extra Raum ist.

Nutzt ihr denn alle XFS in euren Unraids? Was ich nicht verstehe bei dem Parity Check, wenn da einfach nur die Partiy neu geschrieben wird, dann wird ja anscheinend davon ausgegangen, dass die Parity kaputt ist. Das der Fehler aber auf einer Datenplatte sein könnte, wird ignoriert. Oder übersehe ich da was?

Ich habe in dem Wiki dort folgendes zu BTRFS gelsen:

Zitat

• BTRFS: This is a newer file system that supports advanced features not available with XFS. It is considered not quite as stable as XFS but many Unraid users have reported in seems as robust as XFS when used on array drives where each drive is a self-contained file system. Some of it's features are:
  
  
  • It can support a single file system spanning multiple drives, and in such a case it is not necessary that the drives all be of the same size.
  • In multi-drive mode various levels of RAID can be supported although these are a BTRFS specific implementation and not necessarily what one expects) The default in Unraid for a cache pool is RAID1.
  • is the only option supported when using a cache pool spanning multiple drives that need to run as a single logical drive as this needs the multi-drive support.
  • It supports detecting file system corruption

Das heißt BTRFS Volumes, mit denen dann Scrubbing gehen würde, werden von Unraid nicht unterstützt?

Hmm, das Wiki zu Unraid ist nicht wirklich selbst erklärend.
Im Bereich Storage wird mir nicht wirklich klar, wie das Speicherkonzept generell aussieht. Denn weiter unten steht, dass BTRFS standardmäßig in Raid1 aufgebaut wird und Scrubbing mit Reperatur doch unterstützt wird. Aber dann brauche ich ja keine Parity Disk. Aber vlt. ist das Wörtchen Cache da entscheidend und es gibt unter Unraid zwei Typen von Pools.

Ich bin ja wirklich kein Dogmatiker und ich kann auch durchaus meine Entscheidung zu Debian und ZFS überdenken. Aber irgendwie ist mir bei Unraid das ganze System unklar.

Ich kann ja nochmal nen Schritt zurück machen und auch hier noch mal genauer erklären, was meine Anforderungen sind. Vielleicht kann mir ein Unraid Nutzer ja erklären, ob und wie ich das erfüllt bekomme.

Ich speichere alle meine Daten im Netzwerk und nicht mehr auf den Client Rechnern. Die sind im Prinzip was Daten angeht, abgesehen von Dateien gerade in Bearbeitung unrelevant. Ich habe auf den Clients kein ECC, aber damit kann ich leben. Auf meinem Heimserver möchte ich:

1. aber schon ECC haben, damit die Daten, die einmal dort sind von RAM-Fehlern geschützt sind.
2. Mir ist es wichtig, dass ich eine gewisse Ausfallsicherheit gegenüber Hardwarefehlern habe. Das System soll einen Festplattenausfall verkraften und auch ohne den Einsatz von Backups schnell wieder repariert werden können.
3. Die Datenintegrität ist mir sehr wichtig. Ich habe einmal einen Fall gehabt, dass mir ein Volume beschädigt wurde. Dabei ist dann gleichzeitig aufgefallen, dass es ein Problem mit der Backupintegrität gab. Es war dann nicht mehr nachzuvollziehen, welche Datei denn nun die richtige ist. Ich habe damals überlegt, dass das mit Hashsummen lösbar sein muss und mich gefreut, dass es mit BTRFS bereits solch eine Lösung gibt. Ich möchte nicht mehr in die Situation kommen. Das was ich vorher zum einfachen Neuschreiben der Parity geschrieben habe, macht mir Sorgen, dass ich hier in so etwas rein laufen könnte
4. Ich möchte gerne Verschlüsselung benutzen.
5. Ich möchte ein sicheres Zugriffsprotkoll benutzen. Habe nur Linuxclients, aber NFS erscheint mir immer noch zu rudimentär, also wohl cifs.
6. Ich möchte eine ordentliches Benuter und Rechte Management.
7. OS getrennt vom Datenvolume.
8. Meine Backup-Strategie habe ich ja bereits mitgeteilt. Als Alternative zu dem Synology Tool für Cloudbackups habe ich bereits Duplicati ausgemacht.
9. Ich möchte gerne Docker auf dem System nutzen. Die Administration von Containern ist viel einfacher und Systemunabhängiger als native Programme.
10. Ich möchte einen TVH-Server mit DVB-T2 betreiben. Treiber müssten im Kernel jedes aktuellen Linux sein.
11. Ein funktionierendes Ruhemdodus-System, was unter anderem TVHeadend aufnahmen und Serverjobs wie Backup, Scrubbing oder ähnliches mitberücksichtigt wäre für die Umwelt schön.
12. Gerne eine Überwachung der Hardware mit Notifications, falls ein Eingreifen notwendig ist.

Das müsste es grob sein. Ich weiß, dass das unter Debian hin zu bekommen ist. Aber jeder Punkt bedeutet sehr viel Lesen, Verstehen und Entscheidungen treffen, die sich auf andere Punkte auswirken. Sollte das mit Unraid wesentlich einfacher zu erreichen sein ohne totalen Kontrollverlust, was da eigentlich passiert, dann gehe ich auch gerne diesen Weg. Das Geld für die Lizenz juckt mich nicht wirklich.

Edit: OMV konnte das jedenfalls nicht grundsätzlich einfacher als ein einfaches Debian. Bei entscheidenden Punkten wäre genauso manuelles Tweaking angefallen, weswegen ich mich bei den beiden klar für Debian entscheiden würde.

Ich habe gerade die overview Seite im Unraid Wiki entdeckt. Vielleicht wird da das Konzept klarer, habe vorher nur die Installation und den Eintrag zum Storagemanagement gefunden und da fehlten mir Infos.

Ich möchte nicht in Abrede stellen, dass unRaid meinen Bedarf grundsätzlich abdeckt. Aber bei den Details habe ich noch Bedenken und Fragen. Zum Beispiel können ZFS und BTRFS pools das mit den Checksummen ja bei allen Dateien ohne große Probleme. Das nutze ich auch inklusive Backups auch bei 20GB MKVs. Ich sehe halt, dass unraid da auf den ersten Blick weniger bietet und versuche auszuloten, ob das für mich ein showstopper ist.
Ich habe gerade auch gelesen, dass unraid automatisch Shared Folder anlegt für das System. Das verstehe ich nicht ganz. Mich nervt das schon bei der DS, dass das System mit auf dem Volume sitzt. Wollte eigentlich alle OS zugehörigen Dateien und Docker configs etc. rein im Root Verzeichnis haben und im Pool wirklich ausschließlich Daten. Daran geht die Welt auch nicht unter, aber ich verstehe halt nicht warum.

Mit ordentlichen Rechten meinte ich zum Beispiel, dass auf meiner Synology irgendeine Form von ACL verwendet wird statt den POSIX Berechtigungen, aber mit den Tools, die im Archwiki oder Ubuntuwiki stehen, konnte ich mir per SSH nicht die ACL Rechte anzeigen lassen. Das hat halt wieder so nen Blackbox-Charakter.

DVB-T2 Karte habe ich schon und ÖRR reicht mir. Mag das lieber als IPTV und möchte das definitiv weiter nutzen. Das mit weiteren Skripten klingt aber auch ein bisschen nach Gefrickel .

Naja ich les erst mal weiter das Wiki. Langsam bin ich ein bisschen erschlagen von all den Optionen, Entscheidungen und möglichen Problemen und Konsequenzen. Aber besser so, als unüberlegt das erst beste, was einem einfällt zu machen.

Also kann man durch einen Cachepool dafür sorgen, dass auf dem Datenpool nur die eigenen Daten liegen? Quasi der Cachepool als Systemlaufwerk?
Durch das Wiki habe ich verstanden, wie das unraid nicht raid funktioniert. Habe mich schon die Tage gewundert, warum eine Platte als Parity bezeichnet wurde bei DeBaschdi.Jetzt weiß ich es.

Ich finde das ja schon verlockend, in ein paar Stunden klick, klick das System laufen zu haben mit vielen fertigen Lösungen für Standardaufgaben, aber irgendwie ist der Kern des ganzen Dings für mich die Frage nach dem Festplattenverbund und dem Filesystem. Und bislang finde ich da ZFS oder ein sauber unterstütztes BTRFS immer noch attraktiver. Das einfache konfigurieren mag ich jedoch auch nur, wenns auch anders geht. Bei Docker finde ich es sogar besser das auf der Konsole zu machen. Oder ich will gerne verstehen, wie Rechte gesetzt werden, wie die vererbt werden und so weiter. Ich habe das Gefühl dadurch dass unraid closed source ist, wird das nicht so im Detail beschrieben. Vielleicht liegt es aber auch daran, dass die im Wiki die Kunden nicht abschrecken wollen?

Für Debian habe ich mir bis auf Punkt 11 und 12 bereits Gedanken gemacht. Bei manchen Punkten ist es nioch nicht ganz klar, aber ein grobes Konzept besteht. Ob die Lösungen, die ich finde ideal sind, weiß ich natürlich nicht, und das ist auch mit einem unguten Gefühl verbunden. Auf der anderen Seite versuche ich natürlich nichts exotisches zu machen und an anderen Lösungen zu orientieren, daher wird das schon einigermaßen passen.

Für Punkt 11 habe ich hier im Forum schon was gelesen, dass es ein autosuspend-Skript für TVH gibt. Da denke ich mit etwas Aufwand lässt sich bestimmt ein S3 richtig implementieren. Im prinzip reicht ja sogar das aufwachen für TVHeadend. Wenn ein autosuspend aktiviert ist, geht der Server ja auch so wieder schlafen, zwar erst nach dem Timeout von ein paar Stunden, aber naja.

Für Punkt 12 habe ich noch keine wirkliche Idee. Synology und unraid etc. haben halt in ihren Dashboards schöne Monitoring ansichten und eine System und Hardwareüberwachung, die meldet, wenn man was machen muss. Das geht bestimmt auch unter Debian, aber ich habe noch absolut null Ahnung, wie und was.

Zitat von te36

Mein Beispiel: Neue(< 2 Jahre) Platte kaputt gegangen, aber da war halt eine kopie von privaten/firmendaten unverschusselt drauf. Die wollte ich dann nicht an Seagate zum Ersatz schicken falls die die doch zum laufen bringen koennten.
Klar, wahrscheinlich unbegruendete Paranoia, hatten andere (Du?) seinerzeit auch gemeint als ich das zum ersten Mal erzaehlt hatte. Muss jeder selbst wissen.

Zum Beispiel. Verschlüsselung ist heut zu Tage so easy zu implementieren und bringt im Zweifelsfall viel Privacy. Einbruch passiert auch häufiger als man denkt. Mein aktueller Plan wäre auf den Platten jewels einen LUKS Container zu machen, der per crypttab beim Boot entschlüsselt wird. Dann muss ich nur beim boot ein Passwort angeben.Da muss ich noch schauen, ob das durch das Board per Browser geht, habe ich übersehen bislang (sowas meinte ich halt vorher). Auf den entschlüsselten Cryptdevices baue ich dann zdevs und einen zpool auf.