McStarfighters Kodi Tower - Der finale Wahnsinn

  • Bei deinen Festplattengrössen wäre dann ja schon ein LTO7 angebracht. Da bekommst du ja kompremiert 15 TB auf ein Band.

    Kannst du mir schon sagen welche Serverkomponenten du holen wirst. Bei mir steht ja auch noch der Kauf neuer Hardware an oder meinst du bezogen so wie ich den Server nutze reicht auch normales Equipment.

    Ich werde meinen PC-Teil auf Komponenten umrüsten, die sogenanntes ECC-RAM supporten ... Damit sichere ich mir langfristig die Konsistenz meiner Daten auf dem kompletten Weg innerhalb des Towers ...
    Ob du das brauchst, will ich nicht bewerten ... Es ist natürlich eine gute Sache und bei Dateisystemen wie btrfs, ZFS oder auch RefS eine noch stärkere Notwendigkeit, aber letzten Endes musst du selbst wissen, ob du mit deinen Komponenten soweit zufrieden bist ...
    Und lass dich nicht von denen kirre machen, die einem immer erzählen, die Welt gehe unter wenn man nicht ZFS als Dateisystem sowie natürlich echte Server-Komponenten verwendet (da gab es hier im Thread ja ein paar, die es mir mit der großen Keule "beibringen" wollten) ...
    Wichtig ist letzten Endes, mit was DU dich wohl und sicher fühlst ...

  • Da ich ja einige Zeit nicht da war habe ich die Tage den kompletten Fred durchgelesen, ging ja hoch her ;)
    Du und ein paar andere haben da auch einen ganz anderen Wissensstand als ich. Das wäre auch neuland für mich und würde auch bedeuten das ich mich da auch erst einmal einlesen müsste, habe manchmal eh nicht versanden worüber ihr geschrieben habt. Ist aber nicht so das mich persönlich es nicht reizt neues Wissen zu erlernen. Wäre aber trotzdem schön von dir die neue Komponentenliste für den Server zu erfahren (PN), also Mainboard, CPU und ECC-Ram.
    Ich für meinen Teil war ja eher auf Stromsparende Hardware aus. Auf meiner Liste stand ein Asrock Mainboard mit einem I3 6100T Socket 1151 mit einem TDP-Wert von 35 Watt.

    Lass mich aber gern von allen hier beraten. Mein Server wird im ausgebauten Zustand beinhalten:

    Adaptec 72405 Raidcontroller ein zweiter Controller steht noch auf der Liste
    20 Festplatten als normales Volumen
    Ein Raid 5 oder 6 zur Sicherung meiner privaten Dateien.
    1 LTO6 Laufwerk zur Sicherung der Medien und Dateien.

    EDIT: Gerade gefunden.
    Sicherheit und Archivierung auf hohem Niveau. Da ist doch unser Problem klein und nichtig ;)

    [cbox]Archiv der Superlative: Die Advanced Supercomputing Division der US-Raumfahrbehörde NASA hat Daten in einer Tape Library mit 115 Petabyte Kapazität archiviert. Das System stammt von SGI.

    Foto: NASA / SGI

    Die Weltraumbehörde NASA setzt zum Archivieren der Daten ein Bandspeicher-System mit 115 Petabyte Kapazität ein. Die Arbeitsdaten liegen auf Festplatten-Storage-Systemen (RAID) und werden auf Tapes verlagert (Disk to Tape), wenn NASA-Fachleute sie nicht mehr benötigen. Aus Sicherheitsgründen werden von jedem Datensatz zwei Kopien erstellt und in separaten Gebäuden gespeichert.
    Als Server für die Archivierung der Daten setzt die NASA zwei Altix-4700-Hochleistungsmaschinen von SGI ein, die über Fibre-Channel-Festplatten mit 380 beziehungsweise 535 TByte Kapazität verfügen.
    Die Server übermitteln Daten, die archiviert werden sollten, mit 5 GBit/s über ein Storage Area Network zu einem Tape-Speichersystem der Reihe SGI Spectra Logic mit 115 Petabyte Volumen. Die sechs Tape Libraries verfügen über 59.120 Slots. Zudem kommen 92 LTO-5-Tape-Laufwerke zum Einsatz.[/cbox]


    [HTPC] Origen ae S16T | MSI Z87M-G43 Intel Z87 | i3 4330 | MSI GT1030 | SSD 512GB |8GB Ram

    [Server] Lian Li D8000B | Intel S2600CWR | 2x Intel(R) Xeon(R) CPU E5-2637 v3 @ 3.50GHz| 32GB ECC Ram | 8x WD 6TB Red | 10x WD 8TB Red | Adaptec Controller 72405 |

    3 Mal editiert, zuletzt von mr.daddy.cool (15. November 2016 um 00:38)


  • Bekommt er nicht. LTO Kapazitäten sind schlechte Scherze, v7 hat effektiv nur 6tb, die Komprimierung ist schlichtweg ein Marketinggag.
    Bei LTO6 sind es sogar nur 2.5tb
    Jaguar 5 schafft 10|7|4tb ( je nach bandtyp)
    Generell lohnt sich tapestorage für Privatpersonen absolut nicht, da Tapes dann doch gut gelagert werden sollten.
    Wenn doch, schau dir LizqrdFS an, das kann Replikation goals mit Tape nativ

    Gesendet von meinem ZTE A2017G mit Tapatalk


    Gesendet von meinem ZTE A2017G mit Tapatalk

  • @ Max Rink

    Weisst du das aus erster Hand. Es kann ja nicht angehen das nur als Marketinggag zu verkaufen.


    [HTPC] Origen ae S16T | MSI Z87M-G43 Intel Z87 | i3 4330 | MSI GT1030 | SSD 512GB |8GB Ram

    [Server] Lian Li D8000B | Intel S2600CWR | 2x Intel(R) Xeon(R) CPU E5-2637 v3 @ 3.50GHz| 32GB ECC Ram | 8x WD 6TB Red | 10x WD 8TB Red | Adaptec Controller 72405 |

  • Die Kompression bei LTO ist mehr schein als sein.

    Es kommt dabei auf die zu Sichernden Daten an, z.B. Filme als .mkv oder .avi usw. werden 1zu1 gesichert da diese nicht weiter komprimierbar sind.
    Daten wie z.B. Word / Excel Dokumente usw. können komprimiert werden, pdf Dateien wiederum nicht.

    Haben bei uns in der Arbeit LTO6 Bänder für das Backup und bekommen trotz Komprimierung gerade mal ca. 2,8GB Daten pro Band drauf.

    HTPC: Lipreelec - Raspi2 mit Samsung 50", Libreelec - Raspi3- DVB-S2 - TVHeadend mit Toshiba 42"
    Server: NAS_1 - FreeNAS - i5 - 8TB ZFS-Pool RAIDZ-2 - 16GB RAM, NAS_2 - FreeNAS - i5 - 8TB ZFS-Pool RAIDZ-2 - 16GB RAM
    Desktop: 1x i7 - 16GB RAM - 250GB SSD - 3x 24"TFT, 3x i5 - 8GB RAM - 250GB SSD - 2x 24"TFT
    Laptop: 1x Lenovo T420, 1x Lenovo T400s, 1x Dell Inspiron i3
    Netzwerk: 2x Cisco/Linksys SRW2024, 1x Fritzbox 7270, 1x Sophos UTM

  • @xeno77

    Danke für die schnelle Info. LTO ist ja noch erschwinglich, im Gegensatz zu :
    "Wie uns IBM mitteilte, kostet ein einzelnes TS1150-Laufwerk laut Listenpreis 48.924,74 Euro."


    [HTPC] Origen ae S16T | MSI Z87M-G43 Intel Z87 | i3 4330 | MSI GT1030 | SSD 512GB |8GB Ram

    [Server] Lian Li D8000B | Intel S2600CWR | 2x Intel(R) Xeon(R) CPU E5-2637 v3 @ 3.50GHz| 32GB ECC Ram | 8x WD 6TB Red | 10x WD 8TB Red | Adaptec Controller 72405 |

  • >Liste
    >Ibm
    Wenn man den Preis zahlt macht man echt was falsch

    Gesendet von meinem ZTE A2017G mit Tapatalk

    Ich habe bisher nur den Preis gefunden, werde doch mal ein wenig konkreter wenn du andere Info hast.
    Soviel billiger kann es aber nicht werden das ich mir so einen Streamer zulegen würde.
    Ich persönlich würde dann eher zu einem LTO7 Laufwerk tendieren, wobei auch bei dem Preis für Privat der Kostennutzenfaktor schon recht hoch ist. Wie aber schon gesagt, ich verbinde ja zwei Hobbys, Filme und für mich neue Computertechnik kennen zu lernen um dann gegebenenfalls auch auf andere Software wie Server 2016 um zu steigen.
    Vielleicht kann mir der ein oder andere etwas leihenhaft erklären was es sich mit den anderen Dateisystemen wie btrfs, ZFS oder auch RefS auf sich hat. Brauch ich da andere Betriebssysteme oder kann ich die auch in in einer Umgebung von Win Server 2016 implementieren ?


    [HTPC] Origen ae S16T | MSI Z87M-G43 Intel Z87 | i3 4330 | MSI GT1030 | SSD 512GB |8GB Ram

    [Server] Lian Li D8000B | Intel S2600CWR | 2x Intel(R) Xeon(R) CPU E5-2637 v3 @ 3.50GHz| 32GB ECC Ram | 8x WD 6TB Red | 10x WD 8TB Red | Adaptec Controller 72405 |

    Einmal editiert, zuletzt von mr.daddy.cool (17. November 2016 um 12:27)

  • Vielleicht kann mir der ein oder andere etwas leihenhaft erklären was es sich mit den anderen Dateisystemen wie btrfs, ZFS oder auch RefS auf sich hat. Brauch ich da andere Betriebssysteme oder kann ich die auch in in einer Umgebung von Win Server 2016 implementieren ?

    Bei diesen handelt es sich um sogenannte Copy-on-Write-Dateisysteme. Diese schreiben neue Daten erst komplett auf einen anderen Bereich des Datenträgers und ändern dann nur noch den Eintrag im Dateisystem selbst. Was aber den besonderen Reiz ausmacht: Alle 3 Dateisysteme sind auf den Erhalt der Datenkonsistenz ausgelegt und verhindern durch verschiedene Features das Eintreten der Silent Data Corruption. Deine abgelegten Daten gehen also durch das Alter an sich kaputt, Hardware-Schäden oder menschliche Dummheit natürlich ausgenommen.
    ReFS lässt sich ausschließlich unter Windows Server ab 2012 einsetzen, btrfs ist im Linux-Kernel und ZFS gibt es primär unter FreeBSD und seinen Geschwistern (FreeNAS, NAS4Free). Es gibt auch einen Linux-Port für ZFS.
    Wenn du Windows Server 2016 hast, dann nimm ReFS. Es ist sehr genügsam und erhält dir deine Daten bis zum Untergang ... ;)

  • @Nepomuk

    Da muss ich McStarfighter recht geben, das was er geschrieben hat stimmt soweit, ist zwar nicht in Detail bzw. Ausführlich erklärt aber dafür gibt es ja wie schon genannt z.B. Wikipedia usw..

    @McStarfighter
    Bleib Cool, solange es nur einzelne sind, wirst du das auch überleben. Es greift dich ja nicht jeder an.


    Meiner Meinung nach gibt es kein "perfektes" Dateisystem, jedes hat seine vor und nachteile.
    Es kommt vielmehr darauf an was man will und braucht, und dann sollte man für sich selbst entscheiden was am besten passt.

    Ich selber verwende das ZFS Dateisystem auf meinem NAS, es ist verdammt gut, für das was ich mache.
    Auch wenn es nicht jeder war haben will, das ZFS Dateisystem hat auch manche tücken die man beachten sollte.

    ...

    HTPC: Lipreelec - Raspi2 mit Samsung 50", Libreelec - Raspi3- DVB-S2 - TVHeadend mit Toshiba 42"
    Server: NAS_1 - FreeNAS - i5 - 8TB ZFS-Pool RAIDZ-2 - 16GB RAM, NAS_2 - FreeNAS - i5 - 8TB ZFS-Pool RAIDZ-2 - 16GB RAM
    Desktop: 1x i7 - 16GB RAM - 250GB SSD - 3x 24"TFT, 3x i5 - 8GB RAM - 250GB SSD - 2x 24"TFT
    Laptop: 1x Lenovo T420, 1x Lenovo T400s, 1x Dell Inspiron i3
    Netzwerk: 2x Cisco/Linksys SRW2024, 1x Fritzbox 7270, 1x Sophos UTM

  • Wenn du Windows Server 2016 hast, dann nimm ReFS. Es ist sehr genügsam und erhält dir deine Daten bis zum Untergang ... ;)

    Johjoh. Bis zum Untergang ist schön. Bei mir gab es mit ReFS auch schon mal "großen Ärger. Auf meinem RAID gab es mal einen spontanen Doppelausfall zweier HDDs (RAID5). Keine Ahnung warum. Das führe dann zum Absturz des Servers. Soweit noch OK. Nach dem Neustart und Prüfung des RAIDs war das komplett wieder als optimal gemeldet und auch ein Verify und ein Verify mit Fix brachten keine Fehler. Die zwei als Ausfall gemeldeten HDDD waren OK, keine Fehler. Das ReFS selbst war aber komplett pfutsch. Kein Zugriff mehr auf die Daten. Chkdsk im Standard geht ja nicht mehr (weil nicht mehr notwendig - LOL) - da war dann Ende der Kunst - zumindest für mich. ReFS platt machen RAID neu aufgesetzt und Rücksicherung.
    Das war mit Windows 2012 R2. Evtl. ist 2016 ja besser...

  • @oli-r: Nun ja, wenn dir bei einem RAID5 2 Platten gleichzeitig ausfallen, dann ist dein RAID kaputt. So einfach ist die Definition! Und dann kann auch das Dateisystem nicht mehr wirklich viel machen!
    Auch wenn der Controller am Ende aus irgendwelchen Gründen ein OK gibt, das RAID selbst war ab einem bestimmten DEFEKT und die Konsistenz der Daten nicht mehr gewährleistet. Und das Dateisystem sind ja auch nur Daten.

    Wenn die Hardware nicht mehr kann, dann auch das Dateisystem nicht! Und solange deine Hardware in Ordnung ist, brauchts bei ReFS auch kein Chkdsk ...

  • Es mag etwas OT sein, aber ich hab mal ne Frage zum BTRFS.
    @McStarfighter Welches OS und RAID nutzt du, Hardware-Constroller oder Software?
    Hast du dann ganz normal auf dem RAID eine Partition mit BRFS erstellt?

    Ich plane mein Linux-RAID (mdadm) mit 3 Platten und ext4 zu erweitern. Dabei möchte ich auf BTRFS umstellen.
    Dazu wollte ich 2 neue Platten als RAID5 (unvollständig) erstellen und mit BTRFS formatieren. Daten rüberkopieren und anschließend die alten 3 mit ext4 zum neuen hinzufügen.
    Abschließend dann noch das Dateisystem (BTRFS) erweitern auf den gesamten Platz.
    Könnte das so klappen, hat jemand Erfahrung?

    Kodi-Basis: Intel® NUC7PJYH | 4GB DDR4 | 60GB Sandisk SSD | LibreElec 10 | Horizon V | Emby
    Sound: Sony HT-CT290 2.1 Soundbar
    TV: 55" Sony KD-55XE8577
    Server: Intel Core i5-4690 @ Asrock Z97 Anniversary | 8GB DDR3 | Xubuntu 18.04.4 LTS @ 256GB Samsung 840Pro | 5x 3TB WD-Red @ ZFS RAID 5 | Emby-Server | Monitorix

  • Es mag etwas OT sein, aber ich hab mal ne Frage zum BTRFS.
    @McStarfighter Welches OS und RAID nutzt du, Hardware-Constroller oder Software?
    Hast du dann ganz normal auf dem RAID eine Partition mit BRFS erstellt?

    Ich plane mein Linux-RAID (mdadm) mit 3 Platten und ext4 zu erweitern. Dabei möchte ich auf BTRFS umstellen.
    Dazu wollte ich 2 neue Platten als RAID5 (unvollständig) erstellen und mit BTRFS formatieren. Daten rüberkopieren und anschließend die alten 3 mit ext4 zum neuen hinzufügen.
    Abschließend dann noch das Dateisystem (BTRFS) erweitern auf den gesamten Platz.
    Könnte das so klappen, hat jemand Erfahrung?

    Ich arbeite mittlerweile mit Windows Server 2016 und darauf mit deren CoW-Dateisystem "ReFS". Grundsätzlich setze ich auf hardwarebasiertes RAID.
    Am Anfang wollte ich unbedingt ein RAID je Library in Emby (also eines für meine Filme in Englisch, eines für die anderen, eines für die Erwachsenenunterhaltung, eines für die Audiodateien, etc.). Und dachte auch nicht an Probleme, denn mein HW-RAID-Controller (Adaptec 78165) beherrscht RAID Level Migrations. Eine Erweiterung der bestehenden Storages sollte also kein Problem darstellen. Vor 6 Wochen hatte ich dann tatsächlich so eine Migration angestossen und musste feststellen, dass die mehrere Wochen brauchen würde. Das war für mich mittel- und langfristig keine Option. Also verwarf ich das alles, löste die einzelnen RAIDs auf und verband die 12 Platten zu einem einzigen RAID5. Ich fahre jetzt also das Konzept eines Gesamt-Storage.
    Aber auch dieses muss ja mal erweitert werden. Ich habe im Kodi Tower ja die HP MSA60-Shelves und in Zukunft werde ich es so machen: Aktuell habe ich ja ein solches Shelf voll mit 12x 8TB als RAID5. Dieses werde ich als nächsten Schritt mit weiteren 12 Platten zu einem RAID6 migrieren. Das wird mich wohl 3 Monate Zeit kosten. Künftige Vergrößerungen geschehen dann in Zukunft immer in: 1 Shelf mit 12x 8TB als RAID 5, dieses dann mit einem weiteren vollen Shelf auf RAID6 mit 24 Platten. Diese Packen werde ich dann im Betriebssystem zu einem einzigen "spanned Disk" verknüpfen.

    Mit Linux kann ich dir da aktuell leider nicht weiterhelfen!

  • 3 Monate, das ist mal ne Ansage :D
    Warum eig refs? Hat refs ntfs auf einem hw raid überhaupt etwas voraus?

    ReFS ist ein CoW-Dateisystem und zudem wie btrfs und ZFS auf den Erhalt der Datenkonsistenz ausgelegt. Mit NTFS ist das nicht gewährleistet und ich habe den Kodi Tower ja nun mal auf Lebenszeit erdacht.
    Im Grunde habe ich damit zwei Schutzschichten: Das HW-RAID sorgt für die Datensicherheit und damit auch auf unterer Ebene für Datenkonsistenz. Und ReFS macht das Ganze zusätzlich auf der Ebene des Betriebssystems.
    Ein HW-RAID kann die Datenkonsistenz ja nur auf seiner Ebene gewährleisten, also im Rahmen des Aufbaus seiner eigenen Struktur. Sind die Checksummen dort korrekt, ist das RAID "optimal". Auf OS-Ebene können aber auch Probleme entstehen, besonders wenn das Dateisystem nicht auf Datenkonsistenz nachhaltig ausgelegt ist.
    Oder als Kurzfassung: Ich habe einfach ein doppeltes Netz! ;)

  • [quote='SLiX','https://www.kodinerds.net/index.php/Thre…7809#post357809']
    Oder als Kurzfassung: Ich habe einfach ein doppeltes Netz! ;)


    Nein, leider nicht wirklich.
    ReFS ohne storagespaces ist von MS nicht empfohlen. Das hat unter anderem Folgende Gründe:
    -ReFS hat auf HWRAID schlicht beschissene writeperf
    - die Hauptzahl aller self-heal features braucht storagespaces damit die benötigen Metadaten geschrieben werden. Auf HW-RAID lässt sich z.b. schlicht keine bitrot protection in sw bauen, da du dafür die Rohdaten brauchst

    Gesendet von meinem ZTE A2017G mit Tapatalk
    Edit: und dein "doppeltes Netz" ist realistisch gesehen eher ein doppelter point oft failure

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!