Kodi mit Medien in der Wolke

  • Hey,

    ich suche Andere die auch folgendes Setup fahren und vielleicht Interesse am Austausch von Erfahrungen haben.

    Vor einigen Jahren habe ich mir einen N54L mit 5 Festplatten geholt. 2015 stand dieses System auf dem Prüfstand und ich musste mich entscheiden -> Lasse ich die Hardware langsam kaputt gehen und tausche die Festplatten noch ggf. aus oder verkaufe ich den kleinen Server und wechsle das Konzept wie ich meine Daten vorhalte und auf welchen Clients ich setze.

    Fallen im alten System einzelne Komponenten aus, muss ich tlw. 100 € und mehr in die Hand nehmen. Fallen 2 Festplatten kurz hintereinander aus ist mein tolles Raid dahin. Die Daten sind mir zwar nicht soooo wichtig, aber es würde Zeit kosten die fehlenden Medien zu ersetzen. Die Geräte haben auch viel Strom verbraucht und den ganzen Tag kaum etwas gemacht. Die Clients liefen durch fehlendes /buggy Wake on USB meist 24/7 ;(

    Ich entschied mich für letzteres und verkaufte den Server und die Festplatten für gutes Geld :)

    Mein altes Konzept war

    Server ZFS Filesystem + Datenbank
    N54L 8GB Ram
    13 TB HDD im Raid
    120 GB SSD

    2x Client fürs Wohn- und Schlafzimmer
    Intel Haswell Celerons
    2GB Ram
    Antec HTPC Gehäuse
    60 GB SSD

    Stromverbrauch: ~100 Watt, ~13 TB Speicherplatz

    Dies sollte nun ausgetauscht werden durch ein neues System.

    Dies sollte:

    • kostengünstig sein und alle Teile sollen auch noch in Jahren zur Verfügung stehen. Festplatten sah ich hier immer als großes Problem.
    • Nur noch einen kleinen Teil an Daten lokal vorhalten können und die Mediendateien vollständig in der Cloud unterzubringen.
    • Alle Daten verschlüsseln können.
    • (eventuell auch HD Streams transcoden können.)


    Ich verkaufte also einen Client und den Server. Im anderen Client tauschte ich den CPU gegen einen I5 aus der Haswell Reihe mit 65 TDP. Dadurch erhielt ich AES Support und VT-D. Außerdem kaufte ich 16GB Ram ( 4 GB würden aber reichen habe ich festgestellt ). Mein Gehäuse kann max 65 W TDP CPU´s aufnehmen, sonst hätte ich einen normalen I5 genommen.

    Intel Haswell Intel Core i5-4590S
    16 GB Ram
    Asrock ITX Mainboard
    ITX Gehäuse
    60 gb SSD

    als Clients werden jetzt Raspberry Pi´s verwendet. Diese sind günstig, lautlos und zuverlässig.

    Software

    Für das neue Konzept brauchte ich eine Menge Software und einen externen Cloudspeicherdienst.

    Cloudspeicher 2016

    Amazon Unlimited Cloud aus den USA - 60$ im Jahr für unbegrenzten Speicherplatz.
    Hubic - langsamer Cloud Speicher aus Europa.
    Microsoft One Drive - guter Cloud Speicher, leider schlechte Linux Integration.
    der Rest war mir zu teuer.

    Ich habe alle getestet. Hubic fiel durch seine Geschwindigkeit raus, Microsoft OneDrive hatte leider keine Möglichkeit die Daten nur entfernt als FUSE Mount vorzuhalten aber Amazon ... hat da ein knaller Angebot. Ich teste seit 2 Monaten einen unlimited Cloud Speicher von Amazon.com. Dort erhalte ich unbegrenzten Speicherplatz und kann diesen mit meinem Unitymedia Anschluss in hoher Geschwindigkeit nutzen. Laut Reddit gibt es Nutzer mit 50TB und mehr. Sie laden tlw. mit mehreren hundert mBit Geschwindigkeit ihre Daten in die Cloud.

    Ich halte also alle Daten auf der Amazoncloud vor. In Kurzform habe ich einen Ordner /media/, dieser zeigt auf /data/enc.local und /data/enc.acd, welche wiederum entschlüsselte encfs Ordner der Verschlüsselten Versionen in /data/.enc.acd und /data/.enc.local sind. Das sind 3 Schichten. Die Schicht welche ich mir anschaue /media/. Diesen Ordner lasse ich von Kodi einscannen und lagere auch andere Daten dort. /data/enc.acd und /data/.enc.acd ist der Cloudteil des Ordners /media/. die Ordner mit dem Suffix .local sind lokale Versionen dieser Ordner. Dadurch kann ich auch einen lokalen Cache vorhalten und speichere / lese doch in der Cloud wenn ich das möchte.

    Hier ist der letzte Absatz in mehren Blogposts erklärt:

    https://amc.ovh/2015/08/14/mou…-encrypted.html

    Kodi

    Ab hier ist alles wie bisher. Ich erstelle Samba3 Freigaben, erstelle eine Datenbank mit Docker und einen Kodi Headless Server mit Docker. Lese die Daten in /media/Serien usw. ein.

    Wichtig war das ich das caching für "lokale" Dateien aktiviert habe.

  • Zuerst einmal gratuliere ich dir zu diesem zwar sehr ungewohnten aber dennoch sehr guten Konzept. Den gesamten Speicherplatz in die Cloud zu bekommen, und zwar stabil und langfristig, das hat echt Charme. Es fehlt eigentlich nur noch die Online-MySQL-DB, damit alle Clients stets auf den gleichen Bestand zugreifen inklusive Watchedstate ...
    Im Grunde ist dein Projekt so ziemlich das genaue Gegenteil zu meinem Kodi Tower-Projekt ... ;)

    Also: Weiter so! :thumbup:

    BTW: Kannst du eventuell nen Link zu dem Amazon-Angebot posten?

  • Ich würde mir das Angebot von amazon auch mal ansehen. Hört sich echt gut an

    Möchte hier auf gar keinen Fall eine Datenschutz Diskussion anfangen, nur ist das ein Punkt, der mich eben nachdenklich macht (aber möchte dir auf gar keinen Fall dein Konzept madigmachen)


    Finde User gut, die mal andere Wege gehen und neue Sachen ausprobieren, von daher finde ich dein Konzept echt gut!

    Ich selber habe teilw content auf Webdav Shares, aber an die Rechner kann ich eben dran und mal ne Platte dranhängen (meine Inet Leitung würde das im mom gar nicht mitmachen)

  • Da fällt mir ne Idee für eine neue Rubrik ein: Lösungen und Konzepte ...

    User, die sich dazu befähigt sehen, porträtieren ein Konzept mit konkreten Informationen, wie man eine spezielle Multimedia-Lösung auf die Beine stellt. Und hält diese auch aktuell, wenn z.B. bestimmte Dienstleistungen nicht mehr zur Verfügung stehen.

    Deine Lösung wäre für solch eine Konzept-Vorstellung sehr gut geeignet. Ich werde nach dem Aufbau des Kodi Towers aus den dann gemachten Aufzeichnungen auch so etwas erstellen ... Könnte ne gute Sache werden, und zwar generell ... ;)

    Könntest du dir vorstellen, dein Konzept mal ordentlich aufzubereiten und zu präsentieren? Eventuell sogar mit Online MySQL-DB für die ultimative Sync? :D

  • Interessant wäre es zu wissen, ob man simultan mit mehreren Clients zugreifen kann, die auch unterschiedliche IPs verwenden.
    Ich streame mir dann etwas ins Hotel (Musik) und zu Hause wird ein Film geschaut. So in der Art.

    Wenn ich nicht allzu falsch informiert bin, dann gibt es dort User Management. Man erstellt also entsprechende Accs und die haben eben ihre Berechtigungen. IP-basierte Sperren gibt es da auch nicht, zumindest hat Amazon sowas bei seinen Cloud-Sachen nie gemacht ...

  • Hey danke für den Zuspruch.

    Eine Online MYSQL Datenbank hatte ich mal, habe ich aber verworfen. Der Geschwindigkeitsverlust ist zu hoch, auch wenn er gering ist.

    Ich teste zur Zeit seperat noch Emby. Dies wäre dann die Möglichkeit von Unterwegs auf die Datenzuzugreifen. Leider kommt mir Emby so vor als würde es nicht vorladen oder ich mach noch was anderes Falsch.

    Das Angebot heißt Amazon Cloud Unlimited (ACD auch genannt) und ist auf amazon.com für US Kunden zu haben.
    60 $ nach 3 Monate Testphase. Ich bin noch in der Testphase : - )

    Die API hat ihre Limits. Ich bin mir noch nicht sicher wo diese sind. Lt. Amerikanischen Foren wird man gebannt wenn man an zu viele (ip-ADressen) den Account weiter gibt. Es gibt afaik kein Usermanagement und keinen Zugriff über die API auf geteilte Ordner.

  • Neue Ziele:

    Emby Medienserver
    Medienzentrum für alle relevanten Medientypen welche mit KODI angeschaut werden können. Perfekt für ein wachsendes Archiv.

    VPN Client mit offener Verbindung zu einem für mich gut angebundenen RZ. Damit darüber vielleicht die Verbindung nach Amerika stabiler ist.
    - wie leite ich allen Verkehr, wie leite ich nur den acd_cli Verkehr über eine VPN Verbindung?

    VPN Server
    Host für die Mediendaten aufsetzen.

    Autom. Backup von
    einer Dateiliste des Medienarchivs
    von emby / der MySQL Datenbank

  • Erstmal Hut ab dafür das du so etwas (meiner Meinung nach) mutiges ersonnen hast.

    Für mich gebe es da aber zu viele unbekannte.

    Erst einmal räumt sich Amazon doch garantiert so etwas wie eine "Fair Use"- Policy ein, um mit dem Angebot nicht auf die Nase zu fallen. Mir wäre die Gefahr zu groß das die Daten auf einmal weg sind weil Amazon denkt man verbraucht zu viel von Ihrem Speicher. Solch eine säuberung hat Microsoft ja auch vor einiger Zeit bei OneDrive durchgeführt.

    Dann wird mir bei EncFS immer ein wenig mulmig. Ich hatte das ganze auch über mehrere Jahre im Zusammenhang mit DropBox im Einsatz und stand auf einmal ohne meine Daten da. Zum Glück hatte ich ein Backup. Irgendwas hatte mir eine Config Datei im verschlüsselten Ordner zerschossen, das ganze war danach nicht mehr zu lesen.

    Dann habe ich selber auch einen Unitymedia Account. Downstream super, der Upstream ist aber leider begrenzt. Wenn ich also eine neue BluRay habe und die in "meine Cloud" Laden möchte dauert das schon.

    Ich werde mir das hier aber sehr interessiert anschauen, denn faszinierend ist dein Vorhaben auf jeden Fall.

    Noch kurz zu deinen Überlegungen die den Stein für dich ins Rollen gebracht haben.
    Auch ich Stand vor einigen Jahren vor der Entscheidung wie ich meine Datenflut am besten weggespeichert kriege.

    Zum Glück habe ich mich gegen Systeme entschieden wie eine NAS Box (Ersatzteilversorgung) oder ein Linux RAID 5 (unflexibel beim vergrößern).
    Ich habe mir ein unRaid System gebaut. Dem ist es egal welches Mainboard ich nutze oder wie groß die einzelnen HDD's sind, so lange die Parity die größte ist, oder zumindest genauso groß wie die größte Datendisk.
    Damit fahr ich nun seit 5 Jahren sehr gut mit inzwischen 18TB Speicher.

  • Hört sich sehr interessan an...

    Was mich mal interessieren würde:

    - Wie secure ist das Ganze?

    - Wie lange hast Du gebraucht, um Deine Daten hochzuladen?

    Bei UM dürftest Du ja auch nur max. 20 MBiT Upstream haben, oder?

    95% aller Computerfehler sitzen vor dem Bildschirm!

  • Wenn man EncFS nutzt sollte das ganze schon ziemlich sicher sein. Boxcryptor in der ersten Version hat das verfahren ja auch genutzt. Und man sollte nicht allzu Paranoid sein.

    Wie lang der Datenupload dauern kann man sich schön mit einem Bandbreiten Rechner wie dem hier: http://www.heise.de/netze/tools/bandbreitenrechner/
    ausrechnen. Vorausgesetzt die Übertragung wird nicht unterbrochen etc.

    20MBit ist korrekt, zumindest wenn man mind. das 200er Paket hat. Ansonsten lädt man nur mit 6MBit hoch.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!