yahoo-pipes -> sabnzbd+ -> sickbeard -> xbmc

  • yahoo-pipes -> sabnzbd+ -> sickbeard -> xbmc

    Das Thema hat mich dann doch noch etwas länger aufgehalten.
    Aber jetzt läuft es wie es soll ... und noch etwas besser.


    Als erstes wollte ich die RSS-Feeds besser nutzen.
    Die klassischen Seiten wie nzbindex.nl bieten ja bereits einen RSS-Feed an.
    Durch die Filtereinstellungen kann man diesen auch so weit eingrenzen, dass man bekommt, was man will.
    Das ist zwar schon ganz gut, aber das muss besser gehen.


    Da kommen die Yahoo-Pipes ins Spiel.
    Das ist ein extrem wertvolles Werkzeug, mit dem man unter anderem RSS-Feeds "verbiegen" kann.
    Und alles im Baukastenprinzip.
    Man nimmt sich einfach den Vollen RSS-Feed der Seite als "Basis" und stellt dann über die Filter ein, was man will bzw nicht will. Für Serien in deutsch bietet sich nzbserien.org an.
    So habe ich zB "720p" als "Muss haben" eingesetzt. Danach dann in einem eigenem Feld die Artikelnamen.
    Wenn man alles eingetragen hat ein Klick auf "Ouput Pipes" und schon kann man das Ergebnis als RSS-Feed abonieren.
    Den trägt man dann in sabnzb+ ein.
    So ist ein weiteres hinzufügen von Serien ganz einfach von jedem PC aus möglich. Man muss sich nur in sein Pipe-Konto einloggen und den RSS speichern.

    Die entpackten Ergebnisse kann das XBMC dann aber nicht verarbeiten, da diese ja mit dem vollem NZB Namen geschrieben werden.
    Um das Problem zu lösen hilft leider auch die Umbenennungsfunktion nicht wirklich weiter.
    Denn woher soll sabnzbd+ wissen, was es da verarbeitet?
    Eben.



    Also ein Blick über den Teich und Sickbeard ausprobiert.
    Sickbeard ist für weit mehr gedacht, als es bei mir machen muss.
    Wenn man alle Serien in Englisch haben will, dann übernimmt Sickbeard absolut alles.
    Ein Eintrag der Serie genügt, und Sickbeard sucht Torrents und NZBs, gleicht die Ergebnisse mit der Datenbank und Thetvdb ab und generiert alles, was das XBMC benötigen könnte.
    Für unsere Breitengrade ist es also ein wenig zu unflexibel in der Suchoption. Aber alles andere ist durchaus sehr nützlich.
    Nachdem man Sickbeard alle Serien hat eintragen lassen (am besten manuell machen, damit sichergestellt ist, das das Programm nach deutschen Infos sucht), übernimmt es das komplette Postprocessing (nach dem Entpacken).
    Es sucht in den eingetragenen Serien nach Entsprechungen zu den entpackten Files, benennt diese nach Muster um (zB. "30 Rock - s01e01") und verschiebt diese in die entpsrechenden Ordner. Auf Wunsch wird auch ein Season-Ordner erstellt.
    Ist das erledigt, zieht er noch die Infos zur Folge und Staffel und speichert diese XBMC-gerecht im Ordner. Das Thumbnail wird ebenfalls direkt mitgezogen.

    Source Code

    1. Postprocessing results
    2. Processing folder /share/HDA_DATA/xbmc/complete/alf-s05e05-720p-sample.mkv
    3. Processing /share/HDA_DATA/xbmc/complete/alf-s05e05-720p-sample.mkv/alf-s05e05-720p.mkv (None)
    4. Parsed /share/HDA_DATA/xbmc/complete/alf-s05e05-720p-sample.mkv/alf-s05e05-720p.mkv into alf - S5E5 - 720p (sample.mkv) [ABD: False]
    5. Checking scene exceptions for a match on pantau
    6. Looking up alf in the DB
    7. Lookup successful, using tvdb id 78020
    8. Loading show object for tvdb_id 78020
    9. Retrieving episode object for 5x5
    10. Looking up quality for name alf-s05e05-720p-sample.mkv, got Unknown
    11. Looking up quality for name alf-s05e05-720p.mkv, got Unknown
    12. Guessing quality for name alf-s05e05-720p.mkv, got HD TV
    13. Is ep a priority download: False
    14. There is no existing file so there's no worries about replacing it
    15. Destination folder for this episode: /share/HDA_DATA/xbmc/Serien/alf/Season 05
    16. Season folder didn't exist, creating it
    17. Moving file from /share/HDA_DATA/xbmc/complete/alf-s05e05-720p-sample.mkv/alf-s05e05-720p.mkv to /share/HDA_DATA/xbmc/Serien/alf/Season 05/alf - s05e05.mkv
    18. Deleting folder /share/HDA_DATA/xbmc/complete/alf-s05e05-720p-sample.mkv
    19. Processing succeeded for /share/HDA_DATA/xbmc/complete/alf-s05e05-720p-sample.mkv/alf-s05e05-720p.mkv
    Display All


    Startet man dann irgendwann das XBMC, braucht dieses nur noch Offline-Daten einzulesen.

    Das ganze läuft bei mir auf NAS. Qnap TS-110.
    Alle Programme konnten als QPKG-Plug-ins installiert werden und benötigten keinerlei Linuxkenntnisse.
    Außer den Pakten mußten noch Python und Optware isntalliert werden.
    Alles nur Download->Entpacken->Installieren ...
    Die Kommunikation zwischen den Programmen wird bereits bei der Installation eingerichtet.
    Als Reihenfolge empfehle ich:
    - Optware
    - Python
    - sabnzb+ (0.6.0Beta3) -> erstmal komplett einrichten, ohne sich weitere Gedanken zu machen
    - Sickbeard (ändert automatisch die Konfiguration von SABnzbd+)

    Jetzt ist das gesamte Serien-Thema "Hands-Free".
    Sabnzb+ ließt den gefilterten RSS-Feed, trägt neue Artikel automatisch in die Warteschlange ein und macht dann Par2-Check und Unrar.
    Dann triggert es Sickbeard an "Ey, et gibbt was neues".
    Sickbeard übernimmt dann das Umbenennen und Verschieben und scraped alles notwendige.

    Und dank der "Kategorien" in sabnzbd+ kommt der restliche Content auch nicht mit Sickbear in Konflikte.

    --------

    Änderung Januar 2012
    Und es geht doch auf dem NAS auf Deutsch (SickBeard):

    Pipes->SickBeard->sabnzbd+

    Der Weg führt wieder über die Yahoo-Pipes.
    Erstmal das Modul "Fetch Feed" und dort dann einen RSS-Feed eintragen (zB. den von nzbserien.org )
    Als nächstes habe ich den Feed auf 720p beschränkt. Den Filter kann man nach Bedarf auch weglassen.
    Und nun das Regex-Modul, mit dem alle badwords gelöscht werden.
    Da der Filter Casesensitive arbeitet, muss GERMAN und German etc eingetragen werden. Ersetzen lasse ich die Wörter mit einem Bindestrich.
    Zusätzlich lasse ich noch den Doppelpunkt entfernen, da der bei Suchanfragen von Sickbeard bei mir zu Problemen geführt hat. Ist also evtl. nicht notwendig.


    Die Pipe speichern ... Run Pipe ... und dann den Feed als RSS kopieren.


    In Sickbeard muss man sich dann in den Provider-Settings einen neuen Provider anlegen. Ganz unten.
    Der Feed muss um das &-Symbol ergänzt werden.



    Dem Kind einen Namen geben und abspeichern (abspeichern muss man es zusätzlich oben bei der Auflistung der Provider)

    Das war es. Zum testen einfach bei einer Serie manuell die Suche starten (klick auf das Lupensymbol neben der Episode).

    ÄNDERUNGEN 13.April 2012

    ~~Wir bauen uns einen Kraken~~


    SickBeard kann von Haus aus mit mehreren Quellen gleichzeitig umgehen.
    Das Programm arbeitet jeden aktivierten Provider nacheinander ab.

    Um die Quellen für SB aufzubereiten (ohne SB selbst zu verändern) bietet sich der Umweg über die Yahoo-Pipes geradezu an.
    Die Schlüssel dazu sind Filter und Regexpressions. Letzten Endes wollen wir SickBeard ja möglichst aussagekräftige Ergebnisse liefern...

    Die erste Quelle:
    Fangen wir mit ein paar groben Überbegriffen bei nzbnidex.nl an.
    Die Seite bietet an sich schon ein paar sehr gute Filter.
    Geben wir als Suchbegriffe "german 720p -doku -subbed -complete" ein, erhalten wir schon ein paar interessante Ergebnisse:


    Unter "advanced search" jetzt noch die min. größe auf 250MB und einen Haken bei "Show complete releases only" (und auch direkt die Suchergebnisse auf max setzen:250)


    Schon etwas verfeinert:


    Das reicht aber leider noch nicht. Sickbeard kann je Provider/Quelle nur eine bestimmte Anzahl an Ergebnissen abarbeiten.
    Wo das genau liegt... keine Ahnung. Aber unsere Liste enthält noch immer 2500 Einträge (und der abgreifbare RSS-Feed 250 Einträge).

    Auffällig ist bei den Ergebnissen, das einige Releasenamen sehr identisch aussehen. Bedingt durch den Poster der NZB-Files.
    Das machen wir uns nun zu nutzen.
    Als nächsten Filter (der wird letzten Endes die Quelle an sich bezeichnen) wird der Poster eingesetzt, der uns im wahrsten Sinne des Wortes als "am treffensten" erscheint.
    Im ersten Anlauf nehmen wir hihi@kere.ws

    im Ergebnis sieht man, dass der Poster auch Film-NZBs postet .... die wollen wir nicht.

    Als eindeutiges Merkmal erscheint der Begriff "TV" oder "Filme".
    Setzen wir nun in unseren obersten Suchbegriff "german 720p -doku -subbed -complete" noch "-Filme" ein, so haben wir nur noch Serien in 720p.

    Nun ein rechter Mausklick auf das RSS-Symbol und den Feed kopieren.

    Der Feed selber ist für Sickbeard aber noch viel zu unsauber. Idealerweise sollte der Titel immer mit dem Seriennamen anfangen. Was er in diesem Fall nun nicht mehr macht.
    <kere.ws> - TV - 1334307328 - Al...


    Auf zu den Yahoo-Pipes:
    Wir brauchen einen Regexpression-Filter:

    Die ersten Einträge sind alles Begriffe, die bei SickBeard auf der "Bad-Word-List" stehen. Also rausfiltern und mit einem beliebigem Buchstaben ersetzen.
    Der Audruck, um den Header unserer Einträge zu bereinigen, lautet in diesem Fall:

    Source Code

    1. (- TV -)\s+\d{10}\s+\-\s+

    Das Ergebnis ist schon sehr gut:


    Jetzt müssen wir den Link noch verbiegen, da nzbindex sonst nur leer NZBs ausgiebt:


    Das Ergbnis kann nun gespeichert und als RSS abgegriffen werden.
    Die Änderung des Feeds um diesen als Provider in Sickbeard nutzen zu können muss wie oben erwähnt erfolgen "....render=RSS&/"

    Damit hätten wir den ersten Arm unseres Kraken fertig.
    Mit der gleichen Methode läßt sich der Poster "Lords of usenet" und "serientown" nutzen. (und noch ein paar weitere... einfach die Ergebnisse absuchen)
    Bei Fragen zu den passenden Regexpressions ... fragt mich.
    Schon hat unser Kraken drei Arme ;) ... bei nzbindex.nl

    Dann fügen wir noch die altbekannte Quelle nzbserien.org hinzu, um eine weitere Quelle außerhalb zu haben.
    Als letzte Quelle bieten sich noch newznab-grabber an. Es gibt ja das ein oder andere Forum mit einer solchen Schnittstelle.
    Wer diese intensiv nutzt, sollte aber auf jeden Fall die eigenen Serien alle eintragen und nur den dann abgreifbaren RSS-Feed nutzen.
    Der kompletten Feed (und wenn es auch "nur" der 720-p Serien-Feed ist) eines Trackers ist für SickBeard wieder zu viel Input.
    Ein verbiegen des Links, wie bei nzbindex, ist dabei nicht nötig.

    In SickBeard sollte man unbedingt jede Quelle als eigenen Provider eintragen. Dann schafft der kleine das auch.
    Und bei den Qualitätseinstellungen für die einzelnen Epsioden immer "any" auswählen.
    Die Qualität haben wir ja bereits mit den Filtern festgelegt.

    ---------------------

    Postprocessing:
    Jetzt haben wir ja so schön die Ergebnisse umbenannt und verbogen, und SickBeard holt auch die NZBs und gibt diese an sabnzbd+ weiter.
    Entpacken läuft ... aber das Postprocessing produziert bei einem Großteil der Einträge Fehler.
    Das entpackte Ergbnis ist ja auch unabhängig von unseren Regexpressions.
    Um SickBeard nun "schlauer" zu machen, gibt es die exceptions.txt
    Der Link zu dieser Datei ist in der "scene_exceptions.py" hinterlegt und kann dort in etwa in der Zeile 70 geändert werden.
    Dazu sollte SickBeard deaktiviert sein.
    In der verlinkten exceptions.txt kommen dann .... die Fehler rein, die sabnzbd+ unter Postprocessing ausgibt.
    Passend mit der richtigen Seriennummer.
    SickBeard neustarten .... 1x über "manuell Postprocessing" zum besagtem Ordner und schauen, ob es nun verarbeitet wird.
    Das muss man eine Zeit lang beobachten, wird aber von Tag zu Tag besser ;)

    exceptiosn.txt VS RegExpressions:
    Hin und wieder macht es Sinn, auch RegExpressions bei den Namen einer Serie einzusetzen.
    Ich lasse zB direkt in den Pipes den Begriff "CSI.Las.Vegas" mit "CSI Den Tätern auf der Spur" ersetzen.
    Denn in SickBeard ist der Eintrag nunmal "CSI Den Tätern auf der Spur". Und da SickBeard keine Sonderzeichen in der exceptions.txt lesen kann, scheint mir dies der einfachste Weg.

    New Stuff
    Ein kleiner Haken bei der Nutzung von SickBeard ist, dass man nicht mehr mitbekommt, wenn nagelneue Serien starten.
    Aber da kann man sich mit der RSS-Funktion von sabnzbd+ helfen.
    Als Suchbegriffe kann man bei nzbindex.nl zB "german s01e01 720 -doku -filme -fussball -wwe -deutschland -1080" eingeben.
    Als weitere Filter dann die Tage auf den kleinsten Wert beschränken und um Doppeleinträge zu verhindern, das Ergebnis dann auf einen Poster eurer Wahl beschränken.
    Das Ergebnis dann wieder als RSS abgreifen und dann kann es direkt in sabnzbd+ eingetragen werden.
    Bei Bedarf kann man diesen aber auch erst durch die Pipes jagen (um noch ein wenig weiter zu filtern).
    sabnzbd+ wird dann entsprechend ALLES eintragen, was s01e01 entspricht. Und Sickbeard wird das Postprocessing verweigern, bis man die neue Serie eingetragen hat.
    An sich eine zuverlässige Methode, um auf dem laufendem zu bleiben.
  • Die einzigen Mankos an meiner aktuellen Methode:

    • 1x im Monat habe ich eine Episode doppelt (irgendein Re-Up oder eine Cut/Uncut Folge)
    • 1x in der Woche kann eine entpackte Serie nicht von SickBeard weiterverarbeitet werden, weil die Namenskonvention nicht stimmt


    Die beiden "Probleme" könnten mit einer deutschen Version von SickBeard gelöst werden.
    Ist aber auch nur ein "nice2have".

    Neue Serien müssen ohnehin erstmal eingepflegt werden.
    In meinem Fall muss ich dass dann bei den Pipes eintragen und in Sickbeard.
    Gut, dass ließe sich auch noch mit einer deutschen Version verringern.
  • also ich würde mich echt über ein detaliertes howto freuen,falls du zeit für sowas hast,ich bekomme es net so richtig hin.
    Kriege zwar die RSS Feeds einigermassen gefiltert,aber habe halt noch viele doppelten einträge drinne.
    Wäre nen netter Zug wenn du bisschen genauer beschreiben könntest wie du da vorgehst.
    Danke !!!

    Edit:Also doppelte Einträge zb bei NZBIndex,bei NZBSerien.org da gehts ohne Probs.
  • Bei nzbindex. würde ich genauso doppelte Einträge bekommen. Da kann man bestenfalls noch im Suchfilter bei nzbindex.nl die Newsgroup mit auswählen.
    So habe ich "united states of tara" so weit filtern können, dass nur noch ein Eintrag übrig bleibt.

    Eine Anleitung mache ich dann noch (... wenn ich nicht mehr in der Hängematte im Garten liegen kann ;) )
  • Im Grunde funktioniert jetzt alles,man muss als Grundlage aber erstmal alle seine Serien soweit haben das man auf dem aktuellsten Stand ist,dann klappt es auch das man immer die aktuelle Folge aus dem Feed bekommt.
    Trotzdem bin noch an Sickbeard dran,laut Forum haben es einige für deutsche Episoden zum laufen bekommen,dann muss das hier auch klappen.
    Bei Erfolg gebe ich Bescheid.
  • Folge dem HIER Link im Post über deinem und du wirst das Vermisste finden :tree:
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 8 64 bit | XBMC 12 | Cirrus EV3
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Mein Blog über HTPC und XBMC
    HTPC Hardware Januar 2014
    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !
  • Gerade hat jemand bei GoogleCode im SickBeard-Issue-Zweig etwas sehr interssantes geschrieben:
    Hi !

    Yahoo Pipe work with sickbeard.

    At the end of rss feed, juste add "&" before "/".

    Bye.
    Sibun@


    Sickbeard-Issue 1368

    Getestet habe ich da noch nichts. Aber es ist auf jeden Fall ein Schritt in die richtige Richtung.
    Wenn man dann den Feed als Quelle angeben würde und "German" aus den Bad-Words rausnimmt, sollte es funktionieren.
    Klingt fast schon zu simpel.
  • So ich habe SickBeard jetzt mal eine Zeit lang getestet und bin sehr positiv überrascht! 8o
    Eine einzige Sache hätte ich da aber, kann ich SickBeard irgendwie beibringen, dass er eine Episode die er nur anhand des übergeordneten Ordnernamens erkannt hat durch den Ordnernamen umbenennt? Vielleicht ein bisschen komisch meine Frage, deswegen hier mal ein Beispiel:
    Ausgangspunkt:

    Source Code

    1. Serien/The.Big.Bang.Theory.S01E01.blablabla/TBBT.S01E01.nochmehrbla.mkv

    Jetzt wird ja bei thetvdb.com nach der Serie "TBBT" gesucht, gibt es natürlich nicht also wird nichts gefunden. Dann wird nach dem Ordnernamen gesucht also "The Big Bang Theory", diesmal wird die Serie korrekt erkannt.
    So jetzt hätte ich aber ganz gerne, dass die Datei automatisch von "TBBT.S01E01.nochmehrbla.mkv" zu "The.Big.Bang.Theory.S01E01.blablabla.mkv" umbenannt wird, geht das irgendwie? Schonmal vorweg, ja ich weiß, dass es "Episode Naming" gibt, aber ich möchte den korrekten Releasenamen haben und nicht "Staffel - SxxExx - Episode".
  • Hab ich doch glatt übersehen.
    Ausser über eine Renamingfunktion kommst du da nicht weiter.
    sabnzbd+ hat eine sehr gute Renamingfunktion

    Ich habe das Problem auch. Da schau ich dann hin und wieder in den Ordner und mache bei Bedarf ein manuelles Update.

    .......
    Auch da müsste wieder eine Renamingfunktion greifen.
    Frag mal Malexx. Der ist in sickbeard ziemlich tief drinn.
  • -BS- wrote:

    So ich habe SickBeard jetzt mal eine Zeit lang getestet und bin sehr positiv überrascht! 8o
    Eine einzige Sache hätte ich da aber, kann ich SickBeard irgendwie beibringen, dass er eine Episode die er nur anhand des übergeordneten Ordnernamens erkannt hat durch den Ordnernamen umbenennt? Vielleicht ein bisschen komisch meine Frage, deswegen hier mal ein Beispiel:
    Ausgangspunkt:

    Source Code

    1. Serien/The.Big.Bang.Theory.S01E01.blablabla/TBBT.S01E01.nochmehrbla.mkv

    Jetzt wird ja bei thetvdb.com nach der Serie "TBBT" gesucht, gibt es natürlich nicht also wird nichts gefunden. Dann wird nach dem Ordnernamen gesucht also "The Big Bang Theory", diesmal wird die Serie korrekt erkannt.
    So jetzt hätte ich aber ganz gerne, dass die Datei automatisch von "TBBT.S01E01.nochmehrbla.mkv" zu "The.Big.Bang.Theory.S01E01.blablabla.mkv" umbenannt wird, geht das irgendwie? Schonmal vorweg, ja ich weiß, dass es "Episode Naming" gibt, aber ich möchte den korrekten Releasenamen haben und nicht "Staffel - SxxExx - Episode".
    das sollte eigentlich automatisch funktionieren,so ist es jedenfalls bei mir.Sprich er sucht die Serie anhand des Datei oder Ordnernamens und erstellt den Dateinamen aufgrund der TVDB Infos, rauskommen tut dann zb Sons.of.Anarchy.1x01.Sam.Crowe.720p.BluRay, vorher hiess sie dann zb SOA.S01E01.LEETGROUP oder sowas.

    Ich schau nochmal ob das wirklich Original so funktionieren sollte,oder ob ich da was getweaked habe,ich verliere da langsam ein wenig den Überblick was Original ist und was nicht.

    Post was edited 2 times, last by Malexx ().