RAID Storage & TrueCrypt

  • Hallo zusammen...

    dies ist die Fortsetzung von Storage Server RAID5 & TrueCrypt

    nach dem regen Interesse und stetigen PNs von Usern mache ich hier mal noch einen neuen Thread auf mit meinen Erkentnissen zu diesem Thema, denn ich lese auch immer wieder dass die User es in ihrer "Bedarfs"- oder "Wunsch"-Liste stehen haben.

    Ich werde nicht zu tief in die Themen einsteigen, denn ich hoffe, dass man sich schon mit dem Thema RAID und etwas mit TrueCrypt auseinandergesetzt hat.
    Ich berichte hier von Erfahrungswerten und werde auch am Ende jedes Themas mein Szenario darstellen, also wofür ich mich entschieden habe (evtl. mit Begründung, falls mir eine Einfällt).
    Ich arbeite seit etwa 7 Jahren mit TrueCrypt und ich hatte nie auch nur ein Problem damit... zumindest keines das ich nicht selbst verursacht habe :) (Wenn TC frägt ob man sich sicher ist, sollte man es auch wirklich sein, ich habe mich in der Harddisk Nummer vertan und somit 1,5TB in den Wind geschossen)

    Meine Hardware: Intel Xeon E3 1220L, Adaptec 51645, TestHDDs (gemischt) 16x Seagate 3TB st3000dm001, TrueCrypt 7.0 TrueCrypt 7.1a (erforderlich, nicht 7.1+), extcv.exe 0.6 Quelle extcv.exe 0.7 (fuer TC 7.1a erforderlich)

    Ich möchte auf folgende Punkte eingehen:

    • TrueCrypt auf RAID-Volumen (Hardware)
    • Partiton Ja/Nein?
    • Erweiterbarkeit
    • Mounting
    • Sicherheitsaspekt
    • Performance
    • Troubleshooting
    • ToDo - Liste

    TrueCrypt auf RAID-Volumen (Hardware)

    Grundsätzlich ist es kein Problem, da es Windows egal ist was sich z.B. hinter "Harddisk2" verbirgt und ob es ein RAID0,1,5,6 ist ist Windows auch Jacke wie Hose.
    Ohnehin würde ich empfehlen auf eine CPU zu setzen die entsprechenden AES Befehlssatz bereits unterstützt, denn in einem RAID kommen hier gleich mal mehrere 100MB/s auf die CPU zu und da sollte sie nicht der Falschenhals sein, das aber nur als Empfehlung.

    Ich habe damals einen AMD HexaCore genutzt um dieses Problem in den Griff zu bekommen, dieser schafft etwa 800MB/s, jedoch ist es nichts im Vergleich zu 2,5GB/s von einem i5, i7 oder einer kleinen Xeon CPU.

    Es sollte eigentlich keine Rolle spielen (werde ich aber noch testen) ob nun Software-RAID (Windows) oder Hardware-RAID

    Mein Setup: Ensprechende Hardware wie oben

    Partition Ja/Nein?
    Ich würde nun sagen JA! ... damals hab ich das etwas anders gesehen, doch später wurde ich von meinem Kollegen G0bi überzeugt.
    Der Vorteil einer Partition: Man kann unten stehnde Mountscripts mittels mountvol basteln, was das Volumen eindeutig adressieren lässt.
    [daten]Wenn ihr euch für eine Partition entscheidet, Konvertiert diese zu einem GPT Datenträger, sonst bekommt ihr später Probleme beim Erweitern[/daten]
    Weiterer Vorteil, wenn man keine Partition auf der HDD hat, wird man von Windows gefragt ob man die Harddisk "initialisieren" bzw.

    Externer Inhalt i48.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    wer hier den falschen Datenträger auswählt ist hoffnungslos verloren :)

    Erweiterbarkeit

    Je nach Größe eures TrueCrypt Volumen solltet ihr euch entscheiden, ob ich ein Containerfile erstellen wollt oder die komplette HDD (inkl. Partition oder ohne) verschlüsseln möchtet.
    Da NTFS eine Dateigrößenbeschränkung hat von 17,2TB, sollte das im Vorfeld bedacht werden. Ich habe mich hier immer zu der kompletten HDD entschieden.

    Hier eine kurze Zusammenfassung für einen gemeinsamen Nenner:
    [expander]Also erstellen wir uns ein RAID Volumen:

    Externer Inhalt i47.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    Hierfür kommen 3x250GB HDDs zum Einsatz und die Logical Volume wird 25GB groß (für diese Tests hier unentscheident)

    In der Windows Datenträgerverwaltung bekommen wir nun folgendes

    Externer Inhalt i46.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.


    Also machen wir uns darauf ein Einfaches Volumen ohne Laufwerksbuchstaben (bzw. löschen diesen im Nachhinein) da dieser nur für Verwirrung sorgen würde und verschlüsseln das ganze mit TC

    Externer Inhalt i48.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    Ende vom Lied... wir haben ein TrueCryptVolumen auf einem RAID-Verbund

    Externer Inhalt i50.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    [/expander]

    [warnbox]Dieser Vorgang geht nur mit Volumen die mit einer TrueCrypt Version Pre-7.1 (empfohlen 7.0a) erstellt worden sind[/warnbox]
    Warum ? da das Programm extcv mit einem neueren TC Volumen nicht klar kommt, wurde eben nicht weiterentwickelt.

    Ich erweitere das Logical Volumen um 10GB und eine zusätzliche HDD via RAID Controller

    Externer Inhalt i46.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.


    anschließend die Datenträgerverwaltung von Windows aktualisieren.

    Externer Inhalt i49.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.


    mittels Rechtsklich "erweitern" den neuen Speicher der Parition zuweisen

    Externer Inhalt i49.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.


    Jetzt extcv starten und wie bei TrueCrypt entsprechende HDD auswählen

    Für den weiteren Vorgang darf das TC Volumen nicht gemountet sein, andernfalls gibts eben ne Fehlermeldung.

    Externer Inhalt i48.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    auf [Start] klicken, nun werden wir gefragt ob ein hidden volume existiert (hier habe ich noch keine Erfahrung), nun entsprechend das Kennwort eingeben für das TC-Volumen

    Externer Inhalt i47.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.


    Nun wird der neu hinzugekommene Speicherplatz verschlüsselt und dem Volumen hinzugefügt

    Ende vom Lied:

    Externer Inhalt i50.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    Selbstverständlich funktioniert es auch wenn Daten auf dem Volumen vorhanden sind...
    Habe diesen Vorgang nun etwa 20-25 mal getestet, in vielen Variationen und bin nie in einen Fehler gelaufen.

    Mein Setup:
    Ich werde dieses Szenario bis zum Exzess treiben, später mit 16x3TB HDDs... selbstverständlich werde ich euch Performancewerte liefern

    Mounting von TC-Volumen

    Hier bietet es sich an ein Script zu basteln mit z.B. einer Abhängigkeit.

    Man kann TrueCrypt Volumen auch mittels CMD mounten, hier wäre der einfachste Weg folgender
    Syntax: Pfad zur TC.exe /v $Volumen /l $Laufwerksbuchstabe /k $Pfad_zur_Keyfile
    /c ist um das Kennwort und Keyfile im Cache zu behalten, falls weitere Volumen folgen
    /q für quiet
    /w für wipe Cache... sollte am letzten Mountbefehl hängen damit Passwörter & Sicherheitsdateien aus dem Cache wieder entfernt werden
    weitere Parameter


    Code
    USB-Stick mit Sicherheitsdatei:
    "C:\Programme\TrueCrypt\TrueCrypt.exe" /v \Device\Harddisk0\Partition2 /l Z /k D:\Sicherheitsdatei /c /q
    
    
    oder im internen Speicher des Routers?
    
    
    "C:\Programme\TrueCrypt\TrueCrypt.exe" /v \Device\Harddisk0\Partition2 /l Z /k \\Fritz.nas\fritz.nas\USBMass-StorageDevice-01\Sicherheitsdatei /c /q

    Das Problem hier kann werden, dass wenn die Laufwerke nicht immer die selbe Harddisk# haben, können sie falschen Laufwerksbuchstaben zugewiesen werden.
    Hierfür kann man das Windows-tool "mountvol" verwenden:

    Ich mounte das Test-Volumen unter Z und tippe "mountvol" direkt in die CMD:

    Externer Inhalt i50.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.


    nun sehen wir eine Gemeinsamkeit (e840f206bee3)

    Externer Inhalt i49.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    was zur Verwirrung führt, man nimmt nicht den unteren Eintrag, sondern sucht sich den passenden von oben bei ***Keine bereistellungspunkte*** raus

    ergo geht auf Folgendes

    Code
    "C:\Programme\TrueCrypt\TrueCrypt.exe" /v \\?\Volume{3fe4f8f7-96b0-11e2-941f-e840f206bee3}\ /l Z

    Entsprechendes werde ich noch weiter prüfen bzgl. Hidden Volumes in Mountvol

    Anschließend kann auch z.B. das Volumen mittels Folgendem freigegeben werden:

    Code
    net share Serien=Z:


    [infobox]Wie man erkennt bietet es sich an, kein Kennwort sonder lediglich eine Datei als Kennwort zu verwenden, andernfalls muss bei jedem Mounting ein Kennwort eingegeben werden[/infobox]

    Mein Setup: Ich gebe bei jedem Starten des Servers ein Kennwort ein! (Noch), werde auf die Sicherheitsdatei umsteigen.

    [infobox]Kennwörter und Schlüsseldateien können im Nachhinein verändert werden, jedoch kann das Volumen nicht "entschlüsselt" werden[/infobox]
    [u][b]

    Rehctcshreifbehler düfren beahlten wedren

    Externer Inhalt www.speedtest.net
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    3 Mal editiert, zuletzt von Fanatic_Joker (12. Januar 2014 um 11:18)

  • Sicherheitsaspekt

    Was vielleicht noch ein Interessanter Punkt in der Geschichte ist, der Theorie nach könnte man auch einfach (je nach RAID) entsprechende Platten aus dem laufenden Betrieb rupfen, ala "Hier Hr. Wachtmeister, nehmen sie meine Daten"... und damit bleibt lediglich ein zerstörtes RAID mit ein paar verschlüsselten Platten übrig.

    Hier bin ich nicht tief genug in der Materie was mit den Meta-Daten des Controllers und der Header-Daten von TrueCrypt passiert, falls man irgendwas "wiederherstellen" möchte

    Performance
    Eine einfache Schulmädchen Rechnung reicht völlig aus... Ihr werded die Verschlüsselung nur in der CPU Last bemerken (die CPU auf dem Controller hilft hier leider nichts, denn das ist ja auch nicht ihr Job). Ergo wenn eure CPU 2,4GB/s schafft (gerechnet an i5 oder meiner CPU - zu erkennen am TrueCrypt Benchmark Tool) und ihr schaufelt 100MB/s aufs RAID z.B. von einer anderen HDD ist eure CPU zu etwa 5% mit der Verschlüsselung beschäftigt, ist in meinen Augen zu vernachlässigen.

    Da ich selbst keine Erfahurngen mit Software RAID habe, sollte jedoch hier noch etwas Puffer eingeplant werden
    UPDATE 10.05.13
    Leider unterstützt mein Adaptec 51645 nur SATA2 und ich habe SATA3 HDDs angeschlossen, daher sind die Werte etwas verfälscht. Mit 12x Seagate 3TB st3000dm001 komme ich auf 650MB/s schreibend. Das ist ein ziemlich niedriger Wert, aber leider die Wahrheit... Selbstverständlich ist es immernoch genug um eine einfach Gigabit Leitung zu überfluten, selbst mit Teaming. Jedoch hatte ich etwas mehr erwartet.
    Evtl. hätte man mehr rausholen können und die HDDs anders über die Kanäle des Adaptecs verteilen können aber das sind dann Feinabstimmungen die man treffen muss falls man mit den Werten nicht zufrieden sein sollte und noch das letzte bisschen rauskitzeln möchte.

    Troubleshooting

    AES Performance trotz AES-Befehlssatz deutlich zu langsam[expander]

    Kein Witz... setzt hier auf "Höchstleistung", macht einen Unterschied bis zu 50%!

    Externer Inhalt i46.tinypic.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.


    [/expander]

    ToDo-Liste

    • Performancewerte auslesen in größeren RAID-Array
    • 3TB Grenze bei Hiddenvolumes testen (thx inats)
    • ...

    Über Fragen und Anregungen bin ich immer offen, vielleicht auch lieber hier im Fred (statt PN) dann haben alle was davon...
    lg
    Joker

    Rehctcshreifbehler düfren beahlten wedren

    Externer Inhalt www.speedtest.net
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    2 Mal editiert, zuletzt von Fanatic_Joker (12. Januar 2014 um 11:19)

  • so ... mühsam ernährt sich das Eichhörnchen ...

    nachdem ich nun alle Filme gescrabbt hab... und auch von allem ein Backup erstellt habe, was nun in den Keller der Familie wandert... ist es endlich so weit...

    anschließend noch verschlüsseln, dann gebe ich eine Rückinfo :)

    Externer Inhalt img542.imageshack.us
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    Rehctcshreifbehler düfren beahlten wedren

    Externer Inhalt www.speedtest.net
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
  • Wow... habe ja wirklich lange nichts mehr zu dem Thema geschrieben :)

    Erfahrungen nach 6 Monaten:
    - RAID Performance immer noch super, das RAID ist nun zu 2/3 voll
    - Der Monatliche Fix&Verify dauert etwa 4 Tage
    - Ich habe von der Erweiterungsgeschichte bei der Größe des RAIDs abgesehen, da es mir ein zu großes Risiko darstellt, habe leider nur etwa 22TB an Backup und das wird mir bis zum Ende hin nicht reichen.

    Rehctcshreifbehler düfren beahlten wedren

    Externer Inhalt www.speedtest.net
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
  • Dieser Thread ist zwar schon etwas älter aber, wie ich finde, sehr gut gemacht und von der Thematik her aktueller denn je (Datenvorratsspeicherung ist ja nun beschlossene Sache).

    Da ich ebenfalls seit Jahren Truecrypt nutze möchte ich gerne mal einen kurzen Rückblick über meine Erfahrungen machen:

    - wie Du auch noch nie Fehler / Datenverlust / Schwierigkeiten mit TC gehabt, auch nicht bei "gefährlichen Szenarien wie Bluescreen, unsauber getrennte Laufwerke oder Stromausfall.
    - Geschwindigkeitseinbußen kann ich nicht feststellen, liegt aber an dem nativen AES Befehlssatz der CPU, darauf sollte man schon achten (klarer Pluspunkt meines kleinen AMD 5350 im HTPC gegenüber den sonst so beworbenen Celerons)
    - Truecrypt + Raid: ich nutze seit vielen Jahren verschiedene Raid-Strategien und migriere immer dann zu einem neueren system, wenn mehr Speicherplatz erforderlich ist.
    Bislang erfolgreich getestet: Software-Raid5 unter Windows, gefaktes Hardware-Raid5 am Promise 8-fach IDE Raidcontroller (gefaked da keine dedizierte XOR Engine -> die CPU hat die ganze Arbeit = günstig in der Anschaffung aber langsam), 12-fach SATA 3ware 9000S, 16-fach SATA Promise Fasttrak EX16350, Raid6 am 24-fach LSI 9650SE-24M8 (noch aktuell).

    Fix+Verify starte ich manuell, damit das NAS nicht unnötig aufwacht. Die Daten werden idR ja bloss 1x draufgeschrieben und von da an nur noch per Kodi gelesen, also sollte sich die Datenkonsistenz nicht großartig ändern, ein regelmäßiges Verify damit also überflüssig werden.

    Generell steht nächstes Jahr vermutlich wieder ein Upgrade an da die Speicherkapazität dann ausgeschöpft sein wird.
    Ich könnte zwar neue = größere Festplatten benutzen, aber da der Controller schon lange out of date ist gibt es keine Treiber für aktuelle Betriebssysteme mehr und ich werde auch hier aufrüsten müssen.

    Hier übrigens mal das aktuelle NAS:
    115W / Lian Li D8000 / AMD A8-7600 / 60GB SSD für Win XP64 / LSI 9650SE 24M8 / 24x WD 3TB

    Externer Inhalt alturl.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    Spielzeug

    Spoiler anzeigen
    HTPC & Downloader: 25W / Antec Fusion / AMD 5350 / 60GB SSD für Win 7 / 4TB für Downloads / DVBSky S952 / Pioneer BR Player / Logitech TK820 / Veris RM200
    Externer Inhalt alturl.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
    NAS: 115W / Lian Li D8000 / AMD A8-7600 / 60GB SSD für Win XP64 / LSI 9650SE 24M8 / 24x WD 3TB
    Externer Inhalt alturl.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
    Sound: Selbstbauprojekt 4-Wege Wohnzimmer-PA
    Externer Inhalt alturl.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
  • Hi, liest sich ja alles ganz gut, aber TrueCrypt wird doch nicht mehr entwickelt und ist sogar nicht mehr sicher.

    naja sie sagen die aktuellste Version sei nicht mehr sicher... die haben ja nochmal eine neuere rausgebracht und dann eingestampft...

    habe das ganze aber selbst nicht mehr verfolgt.

    Ich muss gestehen, ich fühle mich bei der Geschichte das TrueCrypt Volumen im Nachhinein zu erweitern doch etwas unwohl :) ... ich bin gerne jemand der da was handfestes hat, was man ggfls. noch mit GParted retten kann ...

    PS: Ja ich weiß der Post ist etwas älter, doch lieber spät als nie

    Rehctcshreifbehler düfren beahlten wedren

    Externer Inhalt www.speedtest.net
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    Einmal editiert, zuletzt von Fanatic_Joker (10. Januar 2017 um 08:29)

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!