[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

  • @BJ1: Hast Du den Fehler gefunden? Habe gerade gesehen, dass ich das gleiche Problem habe. Die Mangenta Kanäle sind alle "weg", alle anderen de und uk werden lustig weiter gegrabbed. Bin auch in @dlueth's Docker unterwegs, allerdings unter OMV, nicht Unraid. Habe auch immer brav die bash benutzt, um auf den Docker zu kommen...

    Server: DIY NAS / Media Server w/ i3-8100, 32GB RAM, 4x6 TB WD Red in Raid5, DD Cine S2 + 3 x DuoFlex, OMV w/ Emby, TVheadend, Oscam fully dockered
    Living Room: NVIDIA Shield TV Pro 2019, Panasonic DP-UB9004, NAD 758v3, LG OLED 65 B7, L/R B&W CM10, B&W C S2, B&W ASW10 CM, SL/SR Elac WS 1445, HL/HR Dali Alteco C1
    Kids Room: Xbox One X w/ Kodi, Panasonic Viera TX-P50 Plasma

  • Nein, gestern war Magenta auch bei mir wieder komplett weg. Ich bin gestern auch erstmalig bei der (Neu-)Einrichtung aus Magenta rausgeflogen (der Aufruf der Kanalliste im Magenta-Grabber hat sich sofort wieder beendet) und musste erst ein paar Anläufe nehmen. Da ist noch irgendwo der Wurm drin.

    AZi (DEV): Nexus auf LibreElec | Asrock J4205 | 4 GB RAM | 128 GB Sandisk| Rii mini
    DEV: PC Ubuntu 20.04 | Matrix
    AZi: Tanix TX3 | Android/CoreElec Dualboot (EMMC), Nexus
    WoZi: Nexus auf LibreElec | Asrock J4205 | 4GB RAM | 128 GB Sandisk SSD | Atric IR | URC7960

    NAS: unRaid, 3x6TB, 2x12TB | TV-Server: Futro S550 mit Hauppauge QuadHD DVB-C
    PayPal: paypal.me/pvdbj1

  • Ich hab am TKM mal etwas gebastelt,
    Dockeruser bitte einfach den Container neu starten,
    Alle anderen Skript Update.

    Anmerkung für die Dockeruser, bitte denkt daran nach dem Modifizieren der Grabbersettings ect den Docker einmal neu zu starten (sonst kommt es zu berechtigungs Problemen bei der "Automatik")
    Das Liegt ganz einfach daran, da die Settings idr als root vorgenommen werden und der User im Anschluss diverse Files nicht mehr bearbeiten kann, ein Docker Neustart setzt alle Berechtigungen innerhalb des Containers wieder auf die korrekten werte.

    Ich hoffe TKM klappt jetzt besser.

  • @dlueth: Ich habe eine Kombi aus Magenta und Horizon. Nach einem Dockerupdate lässt sich die Magentaliste manchmal erst im zweiten Aufruf starten. Wenn man vorher "Modify XML-Files" startet, fehlt dort Magenta komplett. Wenn Magenta sich aufrufen lässt, sind manchmal die vorher selektierten Kanäle wieder da, ich hatte aber auch schon 1x eine komplett leere Liste, d.h. die Magenta-Liste ohne einen einzigen selektierten Eintrag. Im Combine-Skript sind dann natürlich sämtliche Magenta-Kanäle ebenfalls nicht selektiert, was dann nachgeholt werden muss.

    AZi (DEV): Nexus auf LibreElec | Asrock J4205 | 4 GB RAM | 128 GB Sandisk| Rii mini
    DEV: PC Ubuntu 20.04 | Matrix
    AZi: Tanix TX3 | Android/CoreElec Dualboot (EMMC), Nexus
    WoZi: Nexus auf LibreElec | Asrock J4205 | 4GB RAM | 128 GB Sandisk SSD | Atric IR | URC7960

    NAS: unRaid, 3x6TB, 2x12TB | TV-Server: Futro S550 mit Hauppauge QuadHD DVB-C
    PayPal: paypal.me/pvdbj1

  • Ich bin gestern mit ssh auf den Server gegangen und dann per CLI in den Container, so wie es auf @dlueth's github geschrieben steht. Habe dann das Script aktualisiert und gegrabbed. Alle Kanäle wieder da. Beim automatisierten Grabben heute morgen, wurde das EPG ebenfalls vollständig aktualisiert. Ist schon seltsam. Ich beobachte mal weiter...

    Server: DIY NAS / Media Server w/ i3-8100, 32GB RAM, 4x6 TB WD Red in Raid5, DD Cine S2 + 3 x DuoFlex, OMV w/ Emby, TVheadend, Oscam fully dockered
    Living Room: NVIDIA Shield TV Pro 2019, Panasonic DP-UB9004, NAD 758v3, LG OLED 65 B7, L/R B&W CM10, B&W C S2, B&W ASW10 CM, SL/SR Elac WS 1445, HL/HR Dali Alteco C1
    Kids Room: Xbox One X w/ Kodi, Panasonic Viera TX-P50 Plasma

  • Hm, irgendwie ist das komisch... Ich meine neulich auch mal den Fall gehabt zu haben, dass die Kanalliste bei "Modify Channel List" in den "Grabber Settings" leer war wenn ich das setup über den easyepg.admin container gestartet habe (deswegen hatte ich diesbezüglich bei Euch nochmal nachgehakt). Trotzdem erstellt er bei mir das EPG seit Monaten stabil und völlig korrekt.

    Ich hab's jetzt gerade nochmal wie eben beschrieben aufgerufen und die Channel-Liste ist da und vollständig, alle Einstellungen sind da und korrekt.

    So, ich hab gerade auch nochmal ein Update auf den Container gemacht, ihn in easyepg.admin gestartet und die Einstellungen kontrolliert: Alles fein

    Was bei mir sicherlich ein wenig anders ist als bei Euch:
    Ich starte den Container mit einem dedizierten Nutzer, sowohl für das Update des Containers ansich als auch für den normalen EPG-Durchlauf. Ergo dürfte ich eigentlich nie irgendwelche Probleme mit Rechten bekommen.

    Könntet Ihr da vielleicht nochmal schauen ob das bei Euch alles passt?

    Randnotiz: Ein Update auf easyepg macht der Container übrigens selbständig bei jedem Start des Containers und auch bei jedem Lauf des Cronjobs, sofern Ihr das aktiviert habt.

  • Hi@all,

    ich bin gerade dabei TVH und easyepg via Docker auf meiner Syno DS418Play einzurichten.
    Docker läuft. TVH als Docker ebenfalls. Und noch zwei andere Docker Anwendungen laufen ohne Probleme.

    Ich kann auch easyepg starten, Grabber Instanz wählen, Sender aussuchen usw. Am Ende wird auch gescrapt. Aber ich erhalte nirgends eine XML Datei, obwohl diese laut easyepg am Ende erstellt.
    Meine Container Links:

    Meine restlichen Docker Einstsellungen zu easyepg:

    Nutze aktuell diesen Docker https://registry.hub.docker.com/r/qoopido/easy…-openmediavault
    Dürfte ja der von @dlueth sein, wenn ich das richtig sehe.

    Ich selber beschäftige mich nun erst seit zwei Tagen intensiver mit Docker.
    Aber an der Stelle komm ich so nicht weiter.
    Nach dem EPG Update stürzt der Docker easyepg auch immer ab bzw. schaltet sich aus.
    Wie mach ich denn tägliche RPG Updates dann automatisch?

    Erstellt wurde mir nach dem Download und Start nur eine Instanz.

    Was mach ich denn verkehrt?

    Danke schon mal für die Hilfe.

  • Hi, aus welcher Anleitung hast du denn diese Phantasie Pfade her welche du herausgeführt hast ?!

    - /easyepg musst du nach /easyepg-persistent herausführen
    - /easyepg/xml musst du nach tvhdocker-persistent/data herausführen.

    Dein Docker beendet sich vermutlich nach dem Ausführen von alleine da @dlueth 3 "verschiedene" hat, hast wohl den falschen installiert (run), du brauchst nur Cron.

  • Hi,

    und Danke für die Hinweise.
    Versteh ich aber nicht wirklich.

    Hab mich an die Angaben gehalten, die im Docker so stehen.

    EASYEPG_STORAGE - no - The directory to persist easyepg to
    XML_STORAGE - yes - The directory to store the finished XML files in
    XMLTV_SOCKET - yes - The socket to automatically write finished XMLs to

    Weitere Docker wie CRON oder so find ich nicht dazu.

    Also ich hab immer noch keine Ahnung welche Daten wohin sollen.
    Wie gesagt, das Docker Zeug ist relativ neu für mich.

    Vielleicht gibt es etwas für Anfänger. Ich versteh das leider so nicht. Und mein Verständnis dafür lässt mich wohl eher damit scheitern.

    Ich dachte halt, easyepg braucht einen INTERNEN Platz zum grabben und erzeugen einer XML. Und dann soll diese aber gleich an korrekter Stelle bei TVH abgelegt werden.
    Und einen Ordner data hab ich bei TVH erst gar nicht. Laut EPG muss das XML/socket wohl hier hin: /config/epggrab/xmltv.sock

    Soweit bin ich. Aber es klappt eben nicht.
    Das es wohl an meinen Pfaden liegt ist mir fast klar.
    Dewegen ja die Frage, was falsch ist.

    Aber die Angaben die ich jetzt bekommen habe kann ich erst recht nicht umsetzen.
    Sorry dafür.... :(

    NACHTRAG:
    Ich hab das ganze jetzt mal händisch via SSH auf dem NAS installiert.
    Jetzt sind auch DREI Instanzen vorhanden!
    Soweit so gut. Hab das alles editiert (PUID, GPID usw.).
    Als Pfad konnte ich beim installieren den für xmltv.sock setzen.
    Und es tauchen nach dem grabben auch die ersten EPG Daten auf!!

    ABER:
    Ich kann den Sendern das EPG zuweisen, aber es werden nicht alle angezeigt?

    Wenn ich den Docker RUN starte sehe ich am Ende folgene Zeile:

    Code
    Stopping Proxy Serverproxy.sh stopped!Writing to xmltv.sock...> /easyepg/xml/magentatv_de.xml2020/07/05 19:05:50 socat[1019] E connect(5, AF=1 "/xmltv.sock", 13): Connection refused> /easyepg/xml/magentatv_de.xml

    Das dauert dann gefühlt 5 - 10 Minuten, anschliessend beendet sich der Docker.Also irgendwo hab ich noch einen kleinen Fehler.Aber wo weiss ich im Moment noch nicht.Könnte mir jemand nen Tip geben?

  • Bei mir kommt diese Meldung.

    Code
    tv-spielfilm.xml:227917: parser error : StartTag: invalid element name


    Das ganze lief eine ganze Zeit ohne zicken und plötzlich kommt der Fehler und die xml wird nicht aktueller.
    Also es wird zwar gegrabbt aber die EPG Daten bleiben die gleichen. Es wird eine tv-spielfilm_ERROR.xml erstellt.


  • @JackON

    Lass uns mal ganz der Reihe nach versuchen uns durch Deinen Stand durchzuarbeiten ;) Also, Du lässt sowohl easyepg als auch TVH auf Deiner Syno als einzelne Docker-Container laufen. Das bedeutet dann (so weit ich das weiß), dass der XMLTV_SOCKET bei Dir nicht benutzt werden kann, da der vom TVH-Docker nicht nach außen freigegeben wird so das man ihn verwenden könnte. Dein Log-Ouput oben sagt mir, dass Du die Verwendung von Socket freigegeben hast - was Du aber nicht brauchst bzw, was bei Dir nicht funktionieren wird.

    Das EASYEPG_STORAGE ist das Daten-Verzeichnis, in dem easyepg als "Programm" inkl. seiner Konfiguration abgelegt wird und dient der Persistierung (denn Docker-Container sind ja ansich "flüchtig"). Das solltest Du aber setzen können wie Du willst, es darf nur keine Probleme mit zugriffsrechten geben.

    XML_STORAGE ist das, was Du richtig setzen musst. denn dort legt der easyepg-Container am Ende die generierten EPX-XML Dateien ab die Du dann aus dem TVH-Container heraus importieren willst. Letzterer muss das Verzeichnis also auch übergeben bekommen.

    Was die TVH-Konfiguration angeht können Dir sicherlich andere hier besser helfen wie das auf ner Syno dann genau funktioniert und was in TVH eingestellt werden muss.

  • @dlueth

    Das mit den TVH Container stimmt. TVH und easyepg laufen auf der selben Syno NAS.
    Aktuell kann ich das EPG auch absolut problemlos im TVH verwerten.

    Das Admintool muss ich aber via SSH ausführen. Das bleibt in der DOCKER Oberfläche von Syno im Terminal wohl hängen.
    Keine Ahnung warum. Via SSH geht alles.

    Der RUN Container scheint auch zu laufen.

    CRON macht wohl auch was er soll. Jedoch zwei Stunden zu früh ^^
    Aber das kann ich regeln.

    Was mich derzeit stutzig macht ist, egal welches Verzeichnis ich auch EASYEPG_STORAGE wähle, da ist nichts vorhanden.
    Im TVH selbst seh ich die EPG Daten und kann diese auch den Sendern zuordnen usw. Das klappt riesig.

    Ich werde noch ein bisschen testen und berichten.

    Eine Frage noch.

    Müssen die Laufwerke XML_STORAGE und EASYEPG_STORAGE im Docker heissen, oder anders?
    An diesen Punkt steig ich nicht wirklich durch.

    Danke schon mal.

  • Zitat von JackOn

    Das Admintool muss ich aber via SSH ausführen. Das bleibt in der DOCKER Oberfläche von Syno im Terminal wohl hängen.
    Keine Ahnung warum. Via SSH geht alles.

    Ich vermute das die Syno das nicht im interaktiven Modus startet (bzw. starten kann), den brauchst Du aber (logischerweise) um das Setup überhaupt machen zu können. Insofern ergibt das für mich Sinn.


    Zitat von JackOn


    Müssen die Laufwerke XML_STORAGE und EASYEPG_STORAGE im Docker heissen, oder anders?
    An diesen Punkt steig ich nicht wirklich durch.

    Das sind nur die Namen der Parameter wie sie an Docker übergeben werden müssen, die Werte müssen absolute Dateisystempfade zu Verzeichnissen auf dem Hostsystem (also Deiner Syno) sein die auch existieren müssen(!). Docker mappt das dann intern um, so das das, was Du außen als EASYEPG_STORAGE definiert hast intern (also innerhalb des Containers) immer unter /easyepg erreichbar ist und das was Du als XML_STORAGE angibst unter /easyepg/xml. Das nennt sich dann bei Docker "Volumes". Wenn Du ein Volume nicht übergibst (oder das Zielverzeichnis nicht existiert, oder die Rechte nicht passen), dann wird Docker das Vermutlich in ein "eigenes" Volume-File packen und persistieren. Heißt: Es würde (wie es bei Dir scheinbar auch geschieht) funktionieren, aber der eigentliche Ordner den Du haben wolltest bleibt halt leer.


    XML_STORAGE ist übrigens deswegen optional, weil der Zielordner (innerhalb) /easyepg/xml ja schon Bestandteil des EASYEPG_STORAGE ist. Allerdings ist es wohl bei diversen (NAS)-Konstellationen so, dass es nötig ist XML-STORAGE extra zu setzen auf einen Ordner der in den TVH-Container reingegeben wird.


    @JackON

  • @JackON vielleicht hilft folgender Thread noch weiter: Howto: Syno: Im Docker: Tvheadend, Telerising, Easyepg

    Der bezieht sich zwar auf den Container von DeBaschdi, der ist aber imho nur ein Fork von meinem

  • Mein Docker ist abgespeckter und im Grunde genommen für Unraid optimiert mit Template, es gibt nur einen Cron Modus, einfach simpel gehalten, ein automatisches beschreiben in das tvh socket fehlt auch, da würde nur File Mode gehen.

  • Und wieder ist nach dem wöchentlichen Docker-Update nicht ein einziger Kanal von TKM mehr selektiert. Dafür steht was in der errors.txt und im errorlog. Ich habe mal das komplette tkm/de hier angehangen...

    Dateien

    AZi (DEV): Nexus auf LibreElec | Asrock J4205 | 4 GB RAM | 128 GB Sandisk| Rii mini
    DEV: PC Ubuntu 20.04 | Matrix
    AZi: Tanix TX3 | Android/CoreElec Dualboot (EMMC), Nexus
    WoZi: Nexus auf LibreElec | Asrock J4205 | 4GB RAM | 128 GB Sandisk SSD | Atric IR | URC7960

    NAS: unRaid, 3x6TB, 2x12TB | TV-Server: Futro S550 mit Hauppauge QuadHD DVB-C
    PayPal: paypal.me/pvdbj1

  • Hm, vieleicht mag @DeBaschdi da auch nochmal reinschauen. Den Bezug zu den nicht selektierten Channels kann ich damit herstellen, denn die errors.txt sagt

    Code
    malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at url_printer.pl line 56.


    und ein Blick in die url_printer.pl, Zeile 56, ergibt dann passend zur leeren Channel-Liste

    Code
    my $channels_data  = decode_json($channels);

    $channels wiederum kommt aus /tmp/compare.json.

    Gibt es evtl. irgendeinen Grund, warum die leer oder invalide sein könnte? Rechte? @DeBaschdi


    @BJ1
    Du musst die Kanäle dann jedes Mal neu selektieren und dann geht es wieder bis zum nächsten Update des Containers? oder musst Du nichts fixen und beimm nächsten Durchlauf ist alles wieder i.O.?

  • @BJ1 Noch ne ergänzende Frage:
    Wie genau startest Du den Container nochmal? Hast Du mein Init-Script benutzt?

    Einzige "Spezialität" meinerseits in Bezug auf /tmp ist eigentlich folgende Zeile im init-Script:
    https://github.com/dlueth/easyepg…6de30/init#L186

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!