Schreiben in ein mit MergerFS fusioniertes Verzeichnis

  • Ich hoffe, hier gibt es ein paar Experten in Sachen MergerFS ... ;)


    Bei mir gibt es zwei "roots", einmal "Heaven" und einmal "Hell". Die unteren Strukturen sind in beiden identisch. In Heaven speichere ich meine eigenen Remuxe, in Hell landen ergänzende Episoden, die ich bisher nicht käuflich erwerben konnte. Aktuell sind das die ganzen Tatort-Episoden, die ich aus den Mediatheken ziehe und die nicht als DVDs oder gar Blu Rays zu bekommen sind. Diese beiden roots mounte ich mittles MergerFS zu einem gemeinsamen "embydrive". Dieses mounte ich dann in automatisch ablaufenden Tools. Wenn diese nun eine weitere Tatort-Episode haben, sollen die aber explizit nur in "Hell" schreiben und "Heaven" nicht antasten.
    Ach ja, wir reden von einem Google Drive, da liegen dann beide roots drin! Mounten würde ich dieses dann mit rclone, einfach schon wegen dem Schreiben.

    Geht das, so wie ich mir das denke?
    Und wenn ja, wie?
    Und kann ich MergerFS sagen, dass bei "doppelten" Dateien Heaven Vorrang hat?

    Habe schon mehrere Stellen im Internet abgesucht, aber nichts brauchbares gefunden.


    Vielen Dank euch allen!


    P.S.: Betriebssystem ist Debian Unstable!

  • leider noch nicht dazu gekommen, mir mergerfs anzuschauen. steht auf der ewigen liste.

    Mach halt die mountpoints fuer heaven und hell auch so zugreifbar das du da direkt reinschreiben kann. Hast ja eh den workflow das da was entweder in eins oder das andere reingehen muss, aka: eine automatik worein was geschrieben werden soll waere wahrscheinlich eh komplizierter

  • Schreibt Sonarr denn auch wenn du neue episoden nlegen willst oder nimmst du dafuer ein anderes tool ?

    Wenn Sonarr nur liest, dann laeuft Sonar auf <union> verzeichnis, und die anderen tools die du verwendest laufen halt, je nachdem auf <heaven> oder <hell>. E.g: wenn du einen automatischen mediathekdownloader hast sagst du dem halt hell.

  • hab ich nicht durch lesen der doku auch nicht rausfinden koennen das sich das problem mit mergerfs hausmitteln loesen lassen koennte.

    Aber mal langsam zum nachmachen:

    wenn sonarr eine datei schreibt, und du erwartest das mergerfs da feststellen koennen soll in welche der unterliegenden mountpoints das gehen sollen (himmel/hoelle), dann muesste das sonarr ja irgendwie anhand des datei oder pfadnamens machen. d.h.: da muesstest du so ein paar regulaere ausdruecke definieren koennen muessen, alles was in himmel, alles in hoelle gehoert.

    Wenn mergerfs das nicht direkt kann, sondern alles neue in z.b. hoelle landet, dann kannst du aber natuerlich immer noch periodisch nachts auf dem server/NAS einen script schreiben, der solche neuen dateien kopiert/verschiebt.

  • Hallo, das was du vorhast ist nur mit MergerFS leider nicht möglich. MergerFS nutzt epmfs für die Dateierstellung. Bei der Dateierstellung verwendet epmfs nimmer den vollen Pfad als Ausgangspunkt. Wenn der Pfad auf mehreren Platten besteht, dann wir die Platte mit dem meisten freien Speicher genutzt.

    Ich sehe auch nur die Möglichkeit hier mit Skripten zum gewünschten Ergebnis zu kommen.

  • Naja, so schwierig ist so ein script nicht, und da weiss man was man hat. mergerfs selbst hat ja auch einen sack tools die solche sachen nachtraeglich machen, halt bloss nicht mit der policy die du willst. gibt aber z.b. einen script um balancing zu machen. Glabue die sind in python. Wenn Du also so script in python schreiben wolltest kannst du da sicher Anleihen bei den existierenden scripten machen.

    Einziges problem bei datenhaltungsscripts ist bloss die so zu schreiben, das man sich da nix an wichtigen daten zerkloppt/loescht ;)

  • Naja ganz so einfach ist so ein Skript nun auch nicht, vor allem, weil man wie du ja sagst, auch einigen Schaden anrichten kann. Zudem muss man viele Sachen wie Dateinamen etc. beachten, sonst hat man am Ende alles doppelt und dreifach.

    Ich denke daher ehrlich gesagt auch, dass es sinnvoller ist, die Struktur aufzugeben, aber so ganz verstehe ich auch die Struktur bzw. den Zweck nicht, wenn ich ehrlich bin. In Hell hast du Dateien, die, wenn ich es richtig verstehe, (noch) nicht deinen Anforderungen erfüllen, richtig? Welchen Zweck hat das denn? Vielleicht kann man helfen, wenn man das Konstrukt etwas besser versteht.

  • Ich wuerde so einen script halt so schreiben, das der erstmal auf der quellplatte einen hardlink als backup macht. Und diese hardlinks muss man erst mal ein jahr lang manuell loeschen. Quasi wie recycle-bin.

    Zu der himmel und hoelle policy hab ich keine persoehnliche meinung, mir fallen bloss genuegend aehnliche policies ein, die ich auch gerne haette um meine sammlung besser zu strukturieren, ist IMHO also schon ein generisches problem und wundert mich das mergerfs da kein datei-pattern-matching unterstuetzt um die zielplatte auszuwaehlen.

  • Naja eigentlich hat es das ja, ganz einfach über die Ordnerstruktur. Wenn man aber nun natürlich zwei mal dieselbe Struktur hat, wird's halt schwierig und genau den Punkt verstehe ich halt nicht so ganz.
    Ich nutze ja wie gesagt auch MergerFS und in meinem Filesystem habe ich dann halt Ordner wie Filme, Musik, usw. und kann damit ganz bequem strukturieren. Was man da jetzt noch mit Pattern-Matching will, verstehe ich nicht. Zudem ist es ja immer noch ein File System und kein Programm um Daten zu verschieben und zu strukturieren. Das sollte meiner Meinung nach eine Ebene höher durch Programme oder eben halt Skripts passieren.

  • Wie macht das eigentlich UnRaid ? So wie ich das gelesen habe hat es sich fuer mich angehoert, als ob das auch ein filesystem ueber mehrere Platten/Filesysteme macht. Odr ?

    Ich weiß es nicht zu 100%, aber ich glaube das ist optional und man kann UnionFS oder MergerFS nutzen.


    Du könntest auch das fusionierte Verz nur in sonarr einbinden, geschrieben wird dann halt explizit in eine der beiden Strukturen, oder habe ich nen Denkfehler?

    Das Problem ist ja, dass er dann nicht beeinflussen kann, wo die Dateien geschrieben werden. Die Dateien sollen ja explizit in Hell geschrieben werden.

  • So wie ich die anforderung vrestanden habe wuerde es sich nach dem dateinamen richten, wo es reingeschrieben wird. <title>.mediathek.mkv z.b. in hell, <title>.BD.mkv nach heaven.

    Was halt eigentlich beliebig einfach sein sollte direkt in mergerfs selbst zu machen, ausser das das natuerlich beliebig verschachtelt im source code sein koennte,und das reinhacken ja nur was bringen wuerde wenn die authoren das auch als change akzeptieren und weiterpflegen wuerden und das ist dann halt doch alles wieder viel aufwand.

  • Ja, ist viel Aufwand und ich denke, dass die Nachfrage einfach nicht da ist, denn wie schon gesagt, sehe ich diese Aufgabe definitiv nicht beim Filesystem.

    Was ich halt nicht verstehe ist, warum überhaupt die Aufteilung in Heaven und Hell. Wenn die beiden Ordner gemergt sind, dann hat man die Daten (BD und Mediathek) doch eh zusammen im jeweiligen Ordner. Ich nutze halt auch Sonarr (und andere Programme) und bei mir ist so ziemlich alles automatisiert, daher verstehe ich diesen Gedankengang nicht. Falls noch weitere Infos zum Vorhaben kommen, versuche ich aber gerne weiter zu helfen.

  • Ah ja, stimmt das soll automatisiert ablaufen. Ich würde dann wahrscheinlich eher die separierung in den Dateinamen machen, also beides in ein verz
    Emby supported ja auch zumindest bei Serien, bzw Episoden, mehrere files pro eintrag

  • Ok, nochmal in hoffentlich einfach: "Heaven" beinhaltet alles was ich durch meine eigenen Scheiben sowie Digital-Einkäufe "so richtig" habe. "Hell" beinhaltet alles, was eben nicht so in meinen Besitz kam, z.B. die ganzen Tatort-Episoden aus den Mediatheken (und manche auch durch Torrent). Die habe ich aber nun mal nach meinem eigenen Empfinden nicht korrekt erworben und wollte das bisher zumindst so trennen, zwecks eigener Übersicht. Trotzdem soll aber z.B. Sonarr über beide Inhalte Bescheid wissen, damit er nicht z.B. Tatort S1970E01 herunterlädt, welche ich durch die 1970er DVD-Box bereits habe.
    Am Ende soll Sonarr auch nur nach dem suchen, was ich in keinem der beiden habe, das Ergebnis aber ausschließlich in "Hell" speichern. Sonarr kann aber eine Serie immer nur einem einzigen Ordner zuordnen, daher der Gedanke der Fusion durch MergerFS.
    Nun würde Sonarr aber auch in das MergerFS-Verzeichnis schreiben, und soll am Ende nur in "Hell" landen.

    Ich hoffe, es ist jetzt einfacher!

  • Naja, Mediatheken sind ja nicht Hell. Maximal Purgatory (Fegefeuer). Hoffe, Du bist nicht Katholik sonst duerftest du das nicht so einfach verwechseln ;)

    Also so wie du das beschreibst muss ja sonarr nur in ein underlay, naemlich Hell schreiben. Das aber ist ja bei mergerfs kein Problem. Du muesstet dann halt bloss die neuen sachen, die nach Haeven geschreiben werden sollen manuell reinkopieren indem du da halt nochmal Heaven separat mountest. Und danach findet sonarr die dann ja auch im mergerfs.

    Haeschen sagt:

    Haddu 4 mount-points:

    Heaven
    Hell
    Mergefs-write-Heaven
    Mergefs-write-Hell

    Tust Du tools auf die passende(n) mount points konfigurieren, je nachdem was das Tool machen soll.
    Sonarr anscheinend auf Mergefs-write-Hell

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!