[Fertig] Datengrab mit Mehrwert

  • Moin,
    dieses Thema gab es in den letzten Tagen ja verhäuft und dennoch hab ich das Bedürfnis noch einen eigenen Thread auf zu machen :rolleyes:

    Mein Vorhaben:
    Ich würde gerne meine alten 02 x Lian-Li EX-503 mit jew. 05 x 3TB WD Green im Raid 5 aufgrund von Platzmangel erweitern, habe aber keine Lust mir ein weiteres externes Case hier in die Ecke stellen zu müssen. Desshalb würde ich gerne auf eine All-in-One Lösung wechseln, welche gleichzeitig noch meinen Recording-Service aus meinem derzeitigen Wohnzimmer-HTPC beheimaten könnte, und hier kommen wir zum Knackpunkt. Bis dato habe ich immer mit Windows bzw. DVB-Viewer / Recording-Service gearbeitet und bin prinzipiell zufrieden, aber zum einen habe ich keine Lust mir eine teure Windows Server Lizenz zu kaufen und zum anderen macht mir das Thema der schleichenden Datenkorruption in Verbindung mit NTFS bei der nun beträchtlichen Menge an Daten sorgen und liebäugle mit dem Filesystem ZFS.
    Da entstehen jetzt zwangsläufig zwei Fragen die ich mir noch nicht beantworten konnte:
    1. Gibt es für Linux eine gute Alternative zum Recording Service die gut mit CCam zusammenarbeitet und gleichzeitig eine gute Integration in XBMC Frodo hat?
    2. Welches *Nix veträgt sich gut mit dieser Alternative und gibt es hier Erfahrungswerte zu dieser Kombination.

    Die Andere Möglichkeit ist natürlich ein auf Windows basierendes Datengrab, mit welchem ich den Recording Service in alter Manier einfach weiter betreiben und bei Windows Server 2012 auf ReFs setzen könnte. Ist nur die Frage ob man sich dieser 'Beta-Version' mit seinen Daten anvertrauen möchte ... Kurzer Gedankensprung: wie sind eure Erfahrungen mit NTFS bzw. 'schleichender Datenkorruption'?!

    Nächster Punkt Hardware:
    01 x Intel Xeon E3-1220LV2, 2x 2.30GHz, Sockel-1155, tray (CM8063701099001)
    02 x Kingston ValueRAM DIMM 8GB PC3-12800E ECC CL11 (DDR3-1600) (KVR16E11/8)
    02 x IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556)
    01 x Supermicro X9SCM-F bulk, C204 (Sockel-1155, dual PC3-10667E DDR3) (MBD-X9SCM-F-B )
    01 x Noctua NH-U9B SE2
    01 x Inter-Tech 4U-4324L, 4HE
    01 x be quiet! Dark Power Pro 10 550W ATX 2.3 (P10-550W/BN200)

    10 x Western Digital Caviar Green 3000GB, SATA 6Gb/s (WD30EZRX) (Bereits Vorhanden)
    06 x Toshiba DT01ACA Series 3000GB, SATA 6Gb/s (DT01ACA300)

    Das ist jetzt die Zusammenstellung für ein System auf Basis von ZFS, sollte sich das ganze mit Windows Server als besser / einfacher / sicherer im Zusammenhang mit dem Vorhaben das TV Signal über diesen Rechner zu Streamen erweisen, dann bräuchte ich natürlich noch einen empfehlenswerten HW Raid Controller, da stehe ich aber momentan zwischen den Seilen. Einen Adaptec oder LSI?

    Weitere Frage stellt sich mir bezüglich eines dritten Controller, der dann ja auf einen der PCIe 2.0 8x (elektrisch 4x) kommen müsste, reicht da die Geschwindigkeit bzw. der Adressraum aus?

    Ich bin gespannt auf eure Erfahrungen bzw. Tipps!

    LG

  • Zitat

    Die Andere Möglichkeit ist natürlich ein auf Windows basierendes Datengrab, mit welchem ich den Recording Service in alter Manier einfach weiter betreiben und bei Windows Server 2012 auf ReFs setzen könnte. Ist nur die Frage ob man sich dieser 'Beta-Version' mit seinen Daten anvertrauen möchte ... Kurzer Gedankensprung: wie sind eure Erfahrungen mit NTFS bzw. 'schleichender Datenkorruption'?!

    Ich selbst nutze Windows Server 2012 und einen Adaptec 71605 RAIDController. Hatte mir anfangs auch überlegt auf ReFs zu setzen. Allerdings wie du selbst schon sagtest wollte ich kein Betatester mit all meinen Daten sein und habe daher doch wieder auf NTFS gesetzt. Dort habe ich bisher noch keine schlechten Erfahrungen in alle den Jahren gemacht.

    Das ist jetzt die Zusammenstellung für ein System auf Basis von ZFS


    Soweit ich weiß darf/kann/soll man für ZFS keinen RAIDConroller nehmen sondern nur einen HBA Controller. Bei einigen RAIDControllern kann man über eine spezielle FW das RAID abschalten, ob das bei deinem ausgesuchtem Controller geht weiß ich nicht. Mehr zum Thema ZFS siehe am besten mal hier http://www.hardwareluxx.de/community/f101…sch-570052.html

    Ich selbst bin aber auch einfach ein Windows Kind und kenne mich zu wenig in den anderen OS Systemen aus. Da ich meine Daten auf jeden Fall dem System anvertrauen will bei dem ich mich am besten auskenne bleibe ich bei dem Server auf jeden Fall bis auf weiteres bei Windows.
    Wie gut du dich da selbst aus kennst bzw wie tief/lange/intensiv du dich einarbeiten willst/musst kannst nur du entscheiden.

    Zitat

    Weitere Frage stellt sich mir bezüglich eines dritten Controller, der dann ja auf einen der PCIe 2.0 8x (elektrisch 4x) kommen müsste, reicht da die Geschwindigkeit bzw. der Adressraum aus?

    PCIe 2.0 8x (elektrisch 4x) = PCIe 2.0 4x Es gibt meistens nur Controller bis zu 4 Festplatten für diesen Slot. Außerdem glaube ich nicht, dass der Adressraum deines Mainboards dafür ausreichen wird. Warum willst du drei Controller nehmen ? Warum nicht einfach einen richtig großen kaufen ?

    Bis auf den RAIDController finde ich die Hardware richtig gut. Hier solltest du dir nochmal überlegen ob du in Richtung ZFS oder Hardware RAID gehen willst. Danach würde ich einen Controller für alle Festplatten wählen und kein Stückwerk an Controllern bauen ... Wenn dann einen RAIDController und einen Expander den du an den RAIDController anschließen kannst.

    Amazon Fire TV 4k | KODI 17.X
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 10 64 bit | KODI 17.X
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !

  • Zitat

    Soweit ich weiß darf/kann/soll man für ZFS keinen RAIDConroller nehmen sondern nur einen HBA Controller. Bei einigen RAIDControllern kann man über eine spezielle FW das RAID abschalten, ob das bei deinem ausgesuchtem Controller geht weiß ich nicht. Mehr zum Thema ZFS siehe am besten mal hier http://www.hardwareluxx.de/community/f10…sch-570052.html

    Das ist, wenn ich es richtig verstanden habe mit diesem möglich: http://www.servethehome.com/ibm-serveraid-m1015-part-4/

    Zitat

    PCIe 2.0 8x (elektrisch 4x) = PCIe 2.0 4x Es gibt meistens nur Controller bis zu 4 Festplatten für diesen Slot. Außerdem glaube ich nicht, dass der Adressraum deines Mainboards dafür ausreichen wird. Warum willst du drei Controller nehmen ? Warum nicht einfach einen richtig großen kaufen ?

    Ich bin mit dem Gedanken der Redundanz an die Sache herangegangen, wenn ich den o.G. Controller als HBA einsetze, kann ich die Festplatten ja über die Controller beliebig verteilen. Das hätte den Vorteil, dass ich bei 3 Raid-Z3 Verbünden die Verbünde vor evtl. Korruptionen durch einen defekten Controller schützen könnte, oder habe ich jetzt einen Denkfehler?
    Bsp:
    Raid1: 8 x 3TB (R1) / Raid2 : 8 x 3TB (R2) / Raid 3: 8 x 3TB (R3)
    Controller 1: 3 x R1 / 2 x R2 / 3 x R3
    Controller 2: 2 x R1 / 3 x R2 / 3 x R3
    Controller 3: 3 x R1 / 3 x R2 / 2 x R3

    Damit hätte ich eine Netto Summe von insg. ~44TB und egal was ausfällt, ich könnte die Raidverbünde immer über ausreichend Parität bzw. einen Spare Controller wiederherstellen.

    Da ich jetzt kein Board gefunden habe, welches mehr als 2 x PCIe 8x liefert stellt sich mir die Frage ob meine Herangehensweise nicht übertrieben ist... - oder gibt's da welche?

    Zitat

    PCIe 2.0 8x (elektrisch 4x) = PCIe 2.0 4x Es gibt meistens nur Controller bis zu 4 Festplatten für diesen Slot. Außerdem glaube ich nicht, dass der Adressraum deines Mainboards dafür ausreichen wird. Warum willst du drei Controller nehmen ? Warum nicht einfach einen richtig großen kaufen ?

    Hälst du einen großen Controller für Klug? - Was ist wenn der auf einmal Spinnt und anfängt Müll auf die Platten zu schreiben bzw. das Raid zerlegt? Auch wenn das Szenario jetzt keine besonders hohe Warscheinlichkeit hat, möchte ich nicht vor der Aufgabe stehen meine > 1000 Stk. große Videothek neu zu digitalisieren :) - Allein der Zeitaufwand rechtfertigt eigentl. den Kauf eines redundanten Zweitsystems als Backup ^^

    Zitat

    Bis auf den RAIDController finde ich die Hardware richtig gut. Hier solltest du dir nochmal überlegen ob du in Richtung ZFS oder Hardware RAID gehen willst. Danach würde ich einen Controller für alle Festplatten wählen und kein Stückwerk an Controllern bauen ... Wenn dann einen RAIDController und einen Expander den du an den RAIDController anschließen kannst.

    Welchen würdest du denn Vorschlagen?

  • Da ich jetzt kein Board gefunden habe, welches mehr als 2 x PCIe 8x liefert stellt sich mir die Frage ob meine Herangehensweise nicht übertrieben ist... - oder gibt's da welche?

    Hälst du einen großen Controller für Klug? - Was ist wenn der auf einmal Spinnt und anfängt Müll auf die Platten zu schreiben bzw. das Raid zerlegt? Auch wenn das Szenario jetzt keine besonders hohe Warscheinlichkeit hat, möchte ich nicht vor der Aufgabe stehen meine > 1000 Stk. große Videothek neu zu digitalisieren - Allein der Zeitaufwand rechtfertigt eigentl. den Kauf eines redundanten Zweitsystems als Backup

    Halte ich für komplett übertrieben und absolut unwahrscheinlich. Außerdem ersetzt kein RAID und auch kein ZFS ein Backup. Es kann immer sein, dass die Daten durch unsachgemäße Bedienung oder z.B. ein Feuer komplett vernichtet werden. Wer wirklich auf Nummer sicher gehen will MUSS neben einem RAID nochmal ein externes Backup von allen Daten machen. Da helfen dir auch keine 3 oder mehr Controller. Daher komplett überflüssig, wenn du mich fragst.

    Welchen würdest du denn Vorschlagen?

    kommt eben darauf an wie viele Festplatten du genau anschließen willst. Für 16 Festplatten gibt es einen guten RAIDController von LSI und Adaptec. LSI hat auch einen HBA Controller für 16 Festplatten. Wobei es HBA Controller vor allem von HP und IBM geben soll, aber auf dem Gebiet kenne ich mich einfach zu wenig aus.

    Amazon Fire TV 4k | KODI 17.X
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 10 64 bit | KODI 17.X
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !

    Einmal editiert, zuletzt von keibertz (29. Dezember 2012 um 19:21)


  • kommt eben darauf an wie viele Festplatten du genau anschließen willst. Für 16 Festplatten gibt es einen guten von LSI und Adaptec. LSI hat auch einen HBA Controller für 16 Festplatten.

    Wie gesagt, längerfristig werde ich die verfügbaren 24 HotSwap Einschübe voll machen. Z.z habe ich 2 x Raid 5 mit jew. 5 x 3TB laufen, welche ich zunächst auf 2 x 8 x 3TB Verbünde umziehen werde. Das ganze dann entweder im Raid 6 (Raid-Z2) oder Raid-Z3 konfigurieren.

    [edit]Woah ... gucke grad nach den Preisen 8| :
    LSI SAS 9207-8i, low profile, PCIe 3.0 x8 (LSI00301) (~680,- €)
    Adaptec RAID 71605 bulk, low profile, PCIe 3.0 x8 (2274400-R) (~570,- €)

    und warum nutzt der Adaptec SFF-8643?!

    Wie schnell ist auf Windowsbasis ein Software-Raid mit entsprechendem Controller?[/edit]

  • Nochmal zum Betrieb eines TV-Backends auf dem Fileserver:
    Hat jemand Erfahrungen was Virtualisierungen angeht (ESXi, XEN) vor allem im Bezug auf den reibungslosen Passthrough des entsprechenden PCIe Slot?

  • und warum nutzt der Adaptec SFF-8643?!

    kein Plan warum ist eben das neue Kabel von denen. Macht ja auch keinen Unterschied welchen Formfaktor das Kabel genau hat.

    Zitat

    Wie schnell ist auf Windowsbasis ein Software-Raid mit entsprechendem Controller?

    Was meinst du damit ? Wie schnell das RAID ist liegt doch am RAIDController und nicht an Windows. Außer du machst wirklich ein SoftwareRAID unter Windows direkt. Was dir aber keiner empfehlen würde. Immer das RAID über den RAIDController anlegen.

    Mit meinem neuen HardwareRAIDController Adaptec 71605 komme ich beim kopieren von RAID6 1 auf RAID6 2 auf maximal knapp über 1000 MB/s.
    Mit meinen beiden alten SoftwareRAIDController HighPoint 2720 kam ich bei gleichem kopieren von RAID6 1 auf RAID6 2 auf maximal knapp über 700 MB/s. Siehe für Details zu beidem und warum ich genau auf den Adaptec gewechselt habe HomeServer um zweiten RAIDController erweitern

    Benchmarks des alten SoftwareRAIDControllers siehe hier Storage Server RAID5 & TrueCrypt

    PS: Ja HardwareRAIDController sind teuer, das hat mich auch knapp ein Jahrzehnt davon abgehalten mir einen solchen zu kaufen ...

    Amazon Fire TV 4k | KODI 17.X
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 10 64 bit | KODI 17.X
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !

  • So, mein Server ist fertig :D ;( :thumbup:

    Hier nochmal eine kleine Zusammefassung des Status-Quo:

    Hardware
    Case: Inter-Tech IPC 4U-4324L
    Lüfter: 3 x Be-Quiet Silent Wings 2 120mm / 2 x Be-Quiet Silent Wings 2 80mm
    Netzteil: Be-Quiet Dark-Power 10 - 550W
    Mainboard: Supermicro X9SCM-F
    CPU: Intel Xeon E3-1220L V2
    Kühler: Noctua NH-U9B SE2
    RAM: 4 x 8GB KVR16E11/8 Unbuffered
    TV-Karte: Digital Devices Cine2 V6 / Digital Devices DualFlex S2
    Controller: IBM ServeRaid M1015 @ IT-Mode
    Systemplatte: 1 x Kingston 8GB USB Stick / 1 x 120GB Corsair Neutron Series GTX
    Datenplatten: 11 x Toshiba DT01ACA300 3TB @ RaidZ3 / 6 x Western Digital Caviar Green 3TB @ RaidZ2 / 1 x Toshiba DT01ACA300 3TB @ HotSpare --> Netto Speicherplatz: 29,5TB
    OS: ESXi 5.1 mit 3 Guests (OmniOS @ napp-it - ZFS / Windows 7 - RecordingService / Debian 6.0.6 - MySQL, Apache, Mail, TeamSpeak)

    Verbrauch
    Muss ich nachreichen!
    Derzeit zeigt mein Messgerät ~410W an, es hängen aber auch eine Workstation, eine Synology DS212+, eine APC SUA750RMI2U, ein 10 Port TL-SG3210 Switch und eine Netio 230C an dem Messgerät. Der Server belastet beide Festplatten-Verbünde und meine Workstation berechnet gerade eine 3D Szene (Bild). Ich gehe mal von knapp 200W für Server und PSU aus, aber das messe ich nochmal nach, wenn das derzeitige Projekt fertig ist :)

    Leistung
    Sequenzielles Schreiben (40GB File):
    ~820MB/s (RaidZ3) | ~800MB/s (RaidZ2)
    Sequenzielles Lesen (40GB File):
    ~1720MB/s (RaidZ3) | ~1400MB/s (RaidZ2)

    Wenn ich kleinere Dateien auf den Verbünden verarbeite, dann greift der ARC und Lesend sind Raten von bis zu > 7000MB/s üblich.

    Netzwerk:
    Bis zu ~203MB/s (Lesen / Schreiben)

    Temperaturen
    Festplatten: 31 - 39°
    CPU: 37°
    Gehäuse: 30°

    Fazit
    Bis auf zwei wirklich kritische Momente während des Zusammenbaus an denen ich an mir selber zweifeln musste, war die Zusammenstellung und Konfiguration ein Genuss :thumbup:
    Beim einbau des Noctuas (CPU Kühler) stand die berechtigte Frage im Raume: Passt das?! (Siehe Bilder 006 / 007) und beim ersten Hochfahren musste ich feststellen, dass zwei Speicherbänke nicht funktionieren. Lag letzlich daran, dass ich beim Einsetzen der CPU geschlampt habe und einen Pin vom Sockel verbogen hatte :pinch:
    Ansonsten bin ich absolut begeistert von den ganzen Features von z.B. dem Server Mainboard: IPMI Ist einfach der Oberhammer :love:

    Bilder
    https://docs.google.com/folder/d/0B-7-…mo1N3BiZ3M/edit

  • Wow ist echt cool geworden. Zum einen die Hardware, aber auch was du an Software am laufen hast echt nice. War bestimmt einiges an Arbeit :D

    Danke auch für die Bilder, sowas sieht man immer wieder gerne
    Wenn ich mir irgendwann ein neues Gehäuse zulege wird es bestimmt auch eins von der Sorte.

    Amazon Fire TV 4k | KODI 17.X
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 10 64 bit | KODI 17.X
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !

  • Das Rack steht zur Zeit im Büro, soll aber in die Abstellkammer wenn ich eine gute Lösung für das Problem mit der benötigten Verkabelung gefunden habe (Loch in die Wand oder oberflächlich verlegen...)
    Zu den kosten kann ich grad nichts sagen, da ich grad auf einer Baustelle verweile und das nachschlagen zu mühsam ist.

    Habe übrigens heute morgen bei ausgeschalteter Workstation auf das Messgerät geschaut und erfreuliche 175W beim Kopiervorgang auf den RaidZ3 Verbund ablesen dürfen (inkl. USV und Switch)

    keibertz: wenn mir die Arbeit wieder etwas Luft gibt, dann schreib ich mal ein wenig ausführlicher über meinen Weg ZFS in meiner Umgebung zum laufen zu bekommen :)

    Gesendet von meinem Nexus 7 mit Tapatalk 2

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!