RAID Storage & TrueCrypt

  • Hallo zusammen...

    dies ist die Fortsetzung von Storage Server RAID5 & TrueCrypt

    nach dem regen Interesse und stetigen PNs von Usern mache ich hier mal noch einen neuen Thread auf mit meinen Erkentnissen zu diesem Thema, denn ich lese auch immer wieder dass die User es in ihrer "Bedarfs"- oder "Wunsch"-Liste stehen haben.

    Ich werde nicht zu tief in die Themen einsteigen, denn ich hoffe, dass man sich schon mit dem Thema RAID und etwas mit TrueCrypt auseinandergesetzt hat.
    Ich berichte hier von Erfahrungswerten und werde auch am Ende jedes Themas mein Szenario darstellen, also wofür ich mich entschieden habe (evtl. mit Begründung, falls mir eine Einfällt).
    Ich arbeite seit etwa 7 Jahren mit TrueCrypt und ich hatte nie auch nur ein Problem damit... zumindest keines das ich nicht selbst verursacht habe :) (Wenn TC frägt ob man sich sicher ist, sollte man es auch wirklich sein, ich habe mich in der Harddisk Nummer vertan und somit 1,5TB in den Wind geschossen)

    Meine Hardware: Intel Xeon E3 1220L, Adaptec 51645, TestHDDs (gemischt) 16x Seagate 3TB st3000dm001, TrueCrypt 7.0 TrueCrypt 7.1a (erforderlich, nicht 7.1+), extcv.exe 0.6 Quelle extcv.exe 0.7 (fuer TC 7.1a erforderlich)

    Ich möchte auf folgende Punkte eingehen:

    • TrueCrypt auf RAID-Volumen (Hardware)
    • Partiton Ja/Nein?
    • Erweiterbarkeit
    • Mounting
    • Sicherheitsaspekt
    • Performance
    • Troubleshooting
    • ToDo - Liste

    TrueCrypt auf RAID-Volumen (Hardware)

    Grundsätzlich ist es kein Problem, da es Windows egal ist was sich z.B. hinter "Harddisk2" verbirgt und ob es ein RAID0,1,5,6 ist ist Windows auch Jacke wie Hose.
    Ohnehin würde ich empfehlen auf eine CPU zu setzen die entsprechenden AES Befehlssatz bereits unterstützt, denn in einem RAID kommen hier gleich mal mehrere 100MB/s auf die CPU zu und da sollte sie nicht der Falschenhals sein, das aber nur als Empfehlung.

    Ich habe damals einen AMD HexaCore genutzt um dieses Problem in den Griff zu bekommen, dieser schafft etwa 800MB/s, jedoch ist es nichts im Vergleich zu 2,5GB/s von einem i5, i7 oder einer kleinen Xeon CPU.

    Es sollte eigentlich keine Rolle spielen (werde ich aber noch testen) ob nun Software-RAID (Windows) oder Hardware-RAID

    Mein Setup: Ensprechende Hardware wie oben

    Partition Ja/Nein?
    Ich würde nun sagen JA! ... damals hab ich das etwas anders gesehen, doch später wurde ich von meinem Kollegen G0bi überzeugt.
    Der Vorteil einer Partition: Man kann unten stehnde Mountscripts mittels mountvol basteln, was das Volumen eindeutig adressieren lässt.

    [daten]Wenn ihr euch für eine Partition entscheidet, Konvertiert diese zu einem GPT Datenträger, sonst bekommt ihr später Probleme beim Erweitern[/daten]
    Weiterer Vorteil, wenn man keine Partition auf der HDD hat, wird man von Windows gefragt ob man die Harddisk "initialisieren" bzw.

    External Content i48.tinypic.com
    Content embedded from external sources will not be displayed without your consent.

    wer hier den falschen Datenträger auswählt ist hoffnungslos verloren :)

    Erweiterbarkeit

    Je nach Größe eures TrueCrypt Volumen solltet ihr euch entscheiden, ob ich ein Containerfile erstellen wollt oder die komplette HDD (inkl. Partition oder ohne) verschlüsseln möchtet.
    Da NTFS eine Dateigrößenbeschränkung hat von 17,2TB, sollte das im Vorfeld bedacht werden. Ich habe mich hier immer zu der kompletten HDD entschieden.

    Hier eine kurze Zusammenfassung für einen gemeinsamen Nenner:
    [expander]Also erstellen wir uns ein RAID Volumen:

    External Content i47.tinypic.com
    Content embedded from external sources will not be displayed without your consent.

    Hierfür kommen 3x250GB HDDs zum Einsatz und die Logical Volume wird 25GB groß (für diese Tests hier unentscheident)

    In der Windows Datenträgerverwaltung bekommen wir nun folgendes

    External Content i46.tinypic.com
    Content embedded from external sources will not be displayed without your consent.


    Also machen wir uns darauf ein Einfaches Volumen ohne Laufwerksbuchstaben (bzw. löschen diesen im Nachhinein) da dieser nur für Verwirrung sorgen würde und verschlüsseln das ganze mit TC

    External Content i48.tinypic.com
    Content embedded from external sources will not be displayed without your consent.

    Ende vom Lied... wir haben ein TrueCryptVolumen auf einem RAID-Verbund

    External Content i50.tinypic.com
    Content embedded from external sources will not be displayed without your consent.

    [/expander]

    [warnbox]Dieser Vorgang geht nur mit Volumen die mit einer TrueCrypt Version Pre-7.1 (empfohlen 7.0a) erstellt worden sind[/warnbox]
    Warum ? da das Programm extcv mit einem neueren TC Volumen nicht klar kommt, wurde eben nicht weiterentwickelt.

    Ich erweitere das Logical Volumen um 10GB und eine zusätzliche HDD via RAID Controller

    External Content i46.tinypic.com
    Content embedded from external sources will not be displayed without your consent.


    anschließend die Datenträgerverwaltung von Windows aktualisieren.

    External Content i49.tinypic.com
    Content embedded from external sources will not be displayed without your consent.


    mittels Rechtsklich "erweitern" den neuen Speicher der Parition zuweisen

    External Content i49.tinypic.com
    Content embedded from external sources will not be displayed without your consent.


    Jetzt extcv starten und wie bei TrueCrypt entsprechende HDD auswählen

    Für den weiteren Vorgang darf das TC Volumen nicht gemountet sein, andernfalls gibts eben ne Fehlermeldung.

    External Content i48.tinypic.com
    Content embedded from external sources will not be displayed without your consent.

    auf [Start] klicken, nun werden wir gefragt ob ein hidden volume existiert (hier habe ich noch keine Erfahrung), nun entsprechend das Kennwort eingeben für das TC-Volumen

    External Content i47.tinypic.com
    Content embedded from external sources will not be displayed without your consent.


    Nun wird der neu hinzugekommene Speicherplatz verschlüsselt und dem Volumen hinzugefügt

    Ende vom Lied:

    External Content i50.tinypic.com
    Content embedded from external sources will not be displayed without your consent.

    Selbstverständlich funktioniert es auch wenn Daten auf dem Volumen vorhanden sind...
    Habe diesen Vorgang nun etwa 20-25 mal getestet, in vielen Variationen und bin nie in einen Fehler gelaufen.

    Mein Setup:
    Ich werde dieses Szenario bis zum Exzess treiben, später mit 16x3TB HDDs... selbstverständlich werde ich euch Performancewerte liefern

    Mounting von TC-Volumen

    Hier bietet es sich an ein Script zu basteln mit z.B. einer Abhängigkeit.

    Man kann TrueCrypt Volumen auch mittels CMD mounten, hier wäre der einfachste Weg folgender
    Syntax: Pfad zur TC.exe /v $Volumen /l $Laufwerksbuchstabe /k $Pfad_zur_Keyfile
    /c ist um das Kennwort und Keyfile im Cache zu behalten, falls weitere Volumen folgen
    /q für quiet
    /w für wipe Cache... sollte am letzten Mountbefehl hängen damit Passwörter & Sicherheitsdateien aus dem Cache wieder entfernt werden
    weitere Parameter


    Code
    USB-Stick mit Sicherheitsdatei:
    "C:\Programme\TrueCrypt\TrueCrypt.exe" /v \Device\Harddisk0\Partition2 /l Z /k D:\Sicherheitsdatei /c /q
    
    
    oder im internen Speicher des Routers?
    
    
    "C:\Programme\TrueCrypt\TrueCrypt.exe" /v \Device\Harddisk0\Partition2 /l Z /k \\Fritz.nas\fritz.nas\USBMass-StorageDevice-01\Sicherheitsdatei /c /q

    Das Problem hier kann werden, dass wenn die Laufwerke nicht immer die selbe Harddisk# haben, können sie falschen Laufwerksbuchstaben zugewiesen werden.
    Hierfür kann man das Windows-tool "mountvol" verwenden:

    Ich mounte das Test-Volumen unter Z und tippe "mountvol" direkt in die CMD:

    External Content i50.tinypic.com
    Content embedded from external sources will not be displayed without your consent.


    nun sehen wir eine Gemeinsamkeit (e840f206bee3)

    External Content i49.tinypic.com
    Content embedded from external sources will not be displayed without your consent.

    was zur Verwirrung führt, man nimmt nicht den unteren Eintrag, sondern sucht sich den passenden von oben bei ***Keine bereistellungspunkte*** raus

    ergo geht auf Folgendes

    Code
    "C:\Programme\TrueCrypt\TrueCrypt.exe" /v \\?\Volume{3fe4f8f7-96b0-11e2-941f-e840f206bee3}\ /l Z

    Entsprechendes werde ich noch weiter prüfen bzgl. Hidden Volumes in Mountvol

    Anschließend kann auch z.B. das Volumen mittels Folgendem freigegeben werden:

    Code
    net share Serien=Z:


    [infobox]Wie man erkennt bietet es sich an, kein Kennwort sonder lediglich eine Datei als Kennwort zu verwenden, andernfalls muss bei jedem Mounting ein Kennwort eingegeben werden[/infobox]

    Mein Setup: Ich gebe bei jedem Starten des Servers ein Kennwort ein! (Noch), werde auf die Sicherheitsdatei umsteigen.

    [infobox]Kennwörter und Schlüsseldateien können im Nachhinein verändert werden, jedoch kann das Volumen nicht "entschlüsselt" werden[/infobox]
    [u][b]

    Rehctcshreifbehler düfren beahlten wedren

    External Content www.speedtest.net
    Content embedded from external sources will not be displayed without your consent.

    Edited 3 times, last by Fanatic_Joker (January 12, 2014 at 11:18 AM).

  • Sicherheitsaspekt

    Was vielleicht noch ein Interessanter Punkt in der Geschichte ist, der Theorie nach könnte man auch einfach (je nach RAID) entsprechende Platten aus dem laufenden Betrieb rupfen, ala "Hier Hr. Wachtmeister, nehmen sie meine Daten"... und damit bleibt lediglich ein zerstörtes RAID mit ein paar verschlüsselten Platten übrig.

    Hier bin ich nicht tief genug in der Materie was mit den Meta-Daten des Controllers und der Header-Daten von TrueCrypt passiert, falls man irgendwas "wiederherstellen" möchte

    Performance
    Eine einfache Schulmädchen Rechnung reicht völlig aus... Ihr werded die Verschlüsselung nur in der CPU Last bemerken (die CPU auf dem Controller hilft hier leider nichts, denn das ist ja auch nicht ihr Job). Ergo wenn eure CPU 2,4GB/s schafft (gerechnet an i5 oder meiner CPU - zu erkennen am TrueCrypt Benchmark Tool) und ihr schaufelt 100MB/s aufs RAID z.B. von einer anderen HDD ist eure CPU zu etwa 5% mit der Verschlüsselung beschäftigt, ist in meinen Augen zu vernachlässigen.

    Da ich selbst keine Erfahurngen mit Software RAID habe, sollte jedoch hier noch etwas Puffer eingeplant werden
    UPDATE 10.05.13
    Leider unterstützt mein Adaptec 51645 nur SATA2 und ich habe SATA3 HDDs angeschlossen, daher sind die Werte etwas verfälscht. Mit 12x Seagate 3TB st3000dm001 komme ich auf 650MB/s schreibend. Das ist ein ziemlich niedriger Wert, aber leider die Wahrheit... Selbstverständlich ist es immernoch genug um eine einfach Gigabit Leitung zu überfluten, selbst mit Teaming. Jedoch hatte ich etwas mehr erwartet.
    Evtl. hätte man mehr rausholen können und die HDDs anders über die Kanäle des Adaptecs verteilen können aber das sind dann Feinabstimmungen die man treffen muss falls man mit den Werten nicht zufrieden sein sollte und noch das letzte bisschen rauskitzeln möchte.

    Troubleshooting

    AES Performance trotz AES-Befehlssatz deutlich zu langsam[expander]

    Kein Witz... setzt hier auf "Höchstleistung", macht einen Unterschied bis zu 50%!

    External Content i46.tinypic.com
    Content embedded from external sources will not be displayed without your consent.


    [/expander]

    ToDo-Liste

    • Performancewerte auslesen in größeren RAID-Array
    • 3TB Grenze bei Hiddenvolumes testen (thx inats)
    • ...

    Über Fragen und Anregungen bin ich immer offen, vielleicht auch lieber hier im Fred (statt PN) dann haben alle was davon...
    lg
    Joker

    Rehctcshreifbehler düfren beahlten wedren

    External Content www.speedtest.net
    Content embedded from external sources will not be displayed without your consent.

    Edited 2 times, last by Fanatic_Joker (January 12, 2014 at 11:19 AM).

  • so ... mühsam ernährt sich das Eichhörnchen ...

    nachdem ich nun alle Filme gescrabbt hab... und auch von allem ein Backup erstellt habe, was nun in den Keller der Familie wandert... ist es endlich so weit...

    anschließend noch verschlüsseln, dann gebe ich eine Rückinfo :)

    External Content img542.imageshack.us
    Content embedded from external sources will not be displayed without your consent.

    Rehctcshreifbehler düfren beahlten wedren

    External Content www.speedtest.net
    Content embedded from external sources will not be displayed without your consent.
  • Wow... habe ja wirklich lange nichts mehr zu dem Thema geschrieben :)

    Erfahrungen nach 6 Monaten:
    - RAID Performance immer noch super, das RAID ist nun zu 2/3 voll
    - Der Monatliche Fix&Verify dauert etwa 4 Tage
    - Ich habe von der Erweiterungsgeschichte bei der Größe des RAIDs abgesehen, da es mir ein zu großes Risiko darstellt, habe leider nur etwa 22TB an Backup und das wird mir bis zum Ende hin nicht reichen.

    Rehctcshreifbehler düfren beahlten wedren

    External Content www.speedtest.net
    Content embedded from external sources will not be displayed without your consent.
  • Dieser Thread ist zwar schon etwas älter aber, wie ich finde, sehr gut gemacht und von der Thematik her aktueller denn je (Datenvorratsspeicherung ist ja nun beschlossene Sache).

    Da ich ebenfalls seit Jahren Truecrypt nutze möchte ich gerne mal einen kurzen Rückblick über meine Erfahrungen machen:

    - wie Du auch noch nie Fehler / Datenverlust / Schwierigkeiten mit TC gehabt, auch nicht bei "gefährlichen Szenarien wie Bluescreen, unsauber getrennte Laufwerke oder Stromausfall.
    - Geschwindigkeitseinbußen kann ich nicht feststellen, liegt aber an dem nativen AES Befehlssatz der CPU, darauf sollte man schon achten (klarer Pluspunkt meines kleinen AMD 5350 im HTPC gegenüber den sonst so beworbenen Celerons)
    - Truecrypt + Raid: ich nutze seit vielen Jahren verschiedene Raid-Strategien und migriere immer dann zu einem neueren system, wenn mehr Speicherplatz erforderlich ist.
    Bislang erfolgreich getestet: Software-Raid5 unter Windows, gefaktes Hardware-Raid5 am Promise 8-fach IDE Raidcontroller (gefaked da keine dedizierte XOR Engine -> die CPU hat die ganze Arbeit = günstig in der Anschaffung aber langsam), 12-fach SATA 3ware 9000S, 16-fach SATA Promise Fasttrak EX16350, Raid6 am 24-fach LSI 9650SE-24M8 (noch aktuell).

    Fix+Verify starte ich manuell, damit das NAS nicht unnötig aufwacht. Die Daten werden idR ja bloss 1x draufgeschrieben und von da an nur noch per Kodi gelesen, also sollte sich die Datenkonsistenz nicht großartig ändern, ein regelmäßiges Verify damit also überflüssig werden.

    Generell steht nächstes Jahr vermutlich wieder ein Upgrade an da die Speicherkapazität dann ausgeschöpft sein wird.
    Ich könnte zwar neue = größere Festplatten benutzen, aber da der Controller schon lange out of date ist gibt es keine Treiber für aktuelle Betriebssysteme mehr und ich werde auch hier aufrüsten müssen.

    Hier übrigens mal das aktuelle NAS:
    115W / Lian Li D8000 / AMD A8-7600 / 60GB SSD für Win XP64 / LSI 9650SE 24M8 / 24x WD 3TB

    External Content alturl.com
    Content embedded from external sources will not be displayed without your consent.

    Spielzeug

    Display Spoiler
    HTPC & Downloader: 25W / Antec Fusion / AMD 5350 / 60GB SSD für Win 7 / 4TB für Downloads / DVBSky S952 / Pioneer BR Player / Logitech TK820 / Veris RM200
    External Content alturl.com
    Content embedded from external sources will not be displayed without your consent.
    NAS: 115W / Lian Li D8000 / AMD A8-7600 / 60GB SSD für Win XP64 / LSI 9650SE 24M8 / 24x WD 3TB
    External Content alturl.com
    Content embedded from external sources will not be displayed without your consent.
    Sound: Selbstbauprojekt 4-Wege Wohnzimmer-PA
    External Content alturl.com
    Content embedded from external sources will not be displayed without your consent.
  • Hi, liest sich ja alles ganz gut, aber TrueCrypt wird doch nicht mehr entwickelt und ist sogar nicht mehr sicher.

    naja sie sagen die aktuellste Version sei nicht mehr sicher... die haben ja nochmal eine neuere rausgebracht und dann eingestampft...

    habe das ganze aber selbst nicht mehr verfolgt.

    Ich muss gestehen, ich fühle mich bei der Geschichte das TrueCrypt Volumen im Nachhinein zu erweitern doch etwas unwohl :) ... ich bin gerne jemand der da was handfestes hat, was man ggfls. noch mit GParted retten kann ...

    PS: Ja ich weiß der Post ist etwas älter, doch lieber spät als nie

    Rehctcshreifbehler düfren beahlten wedren

    External Content www.speedtest.net
    Content embedded from external sources will not be displayed without your consent.

    Edited once, last by Fanatic_Joker (January 10, 2017 at 8:29 AM).

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!