Howto Docker Webgrab+ für TVHeadend

este

Zitat von DeBaschdi

ja, leider akzeptiert silentbueto nicht meine pull requests, ich habs aufgegeben....
(die wollen das ganze streng geheim halten, um donators zu bekommen, diese wiederrum bekommen aktuelle siteinis)
bleibt wohl nur die community

und genau da ist das Problem. Donator bekommen gar nichts mehr. im Forum ist alles gelöscht weil sich die ersteller der meisten ini's mit den Entwicklern zerstritten haben. …
ich habe 10 euro gespendet und es gab eine asiatische ini zum download. das Geld ist besser in andere Projekte wie hier investiert

DeBaschdi

@este
schon heftig, kennst du ne opensource alternative zu webgrab+ vllt etwas auf das man sein "pferd" setzen kann ?
Ich denke webgrab wird auf kurz oder lang versinken

este

leider kenne ich da nichts.
man kann nur hoffen dass die sich ausprechen. allerdings ist es da ziemlich hoch hergegangen im Forum ...

SPYER

Kanne es sein das Comedy Central keine Infos mehr liefert? Der Sender wurde auf 24h ausgeweitet seit dem 1.1

DeBaschdi

füg das ein deine config ein :
<channel update="i" site="horizon.tv" site_id="DE/deu_29438502952__https://wp26-images-de-dynamic.horizon.tv/ChannelLogos/02/comedy_central.png" xmltv_id="Comedy Central">Comedy Central</channel>

DeBaschdi

Hallo zusammen,
während der Arbeit an meinem Fertiges-DE-AT-CH-XML-EPG-zum-Download Projekt für euch, entstand daraus eine neue Horizon.tv.ini
Zusätzlich, als Alternativlösung erarbeitete ich eine "aufgepimpte" tvtoday.de.ini, welche Horizon in nichts nachsteht (außer Kanalvielfalt + star-rating)

Beide ermöglichen es nun in Kodi die anzeige der Staffel + Episodennummer.

Natürlich halte ich euch diese + aktuelle kanalliste nicht vor.
Hier zum Download für alle "Selbstgrabber"

Änderungen an tvtoday

Änderungen an Horizon

Nirvana777

@DeBaschdi
3 Dinge sind mir aufgefallen:
- dein script heißt generemapper.pl Also ein e zu viel.
- 'Liebesfilm' scheint eine unmanaged category zu sein
- man kann ein einmal gemapptes guide.xml nicht noch einmal mappen, weil das Script die Eit Kategorien nicht kennt.

DeBaschdi

Danke, das 2te e ist mir nicht aufgefallen, dann musst du liebesfilm hinzufügen
Ein erneuter durchlauf ist auch obsolet. immer <old.xml >new.xml

hier immer aktuell : (mit liebesfilm)
https://github.com/DeBaschdi/EPGScripts

Nirvana777

@DeBaschdi
Thx!

Im imdbmapper ist auch noch ein Bug. Er produziert bei mir so etwas:

Code

</country>
  <rating system="FSK">
  <value>Could not open input file: /apps/epgloader/imdbmapper/age.php
</value>

Das Verzeichnis epgloader gibt es bei mir nicht. Es muss also hardcodiert sein. Analog passiert das gleiche auch bei den anderen Links (icon,etc.)

DeBaschdi

Das ist kein Bug,
du musst in Zeile 17 den Pfad zu den Hilfs-Skripten eingeben.
(Und ich eine Warnung/Vorabcheck implementieren)

Bin noch nicht zu einer Dokumentation gekommen
Sry...

Lg

Nirvana777

Alles klar. Danke.

Edit:
Aber könntest du nicht im default einfach "." Für das aktuelle Verzeichnis setzen. Das würde denke ich einigen helfen.

DeBaschdi

Das ganze ist noch nicht ausgegoren, da kommt Zukünftig ein ordendlicher installer dazu:)
Ich hab das erstmal ins git, so dass jeder den Code begutachten / verbesserungen miteinbringen kann.

++
Da das Script früher oder später über Cron läuft, muss der komplette Pfad zu den Hilfsskripten angegeben werden.

Nirvana777

https://hub.docker.com/r/nirvana777/webgrabger

Hier mal ein Container mit allen Scripts und inis von DeBaschdi. Bitte unterstützt ihn mit Bierspenden.
Grundsätzlich ein Fork von webgrabplus. Status: erster Test - kann Fehler enthalten. Natürlich nur mit den Channels die mich interessieren.
Am besten einer baut noch ein WebFrontend mit dem man die Channels anklicken kann die man braucht.

DeBaschdi

im imdbmapper muss erst der ein oder andere bug raus, insbesondere muss die cache dauer festgelegt werden, da sonst die festplatte nach und nach voller wird:)
Ich arbeite gerade an einer lösung.

DeBaschdi

Ich hab das mal gefixt,
absofort ist es möglich im Script die "Cache-Verweildauer" einzustellen (Cache wird benötigt um eine schnellere Abfrage lokal zu ermöglichen bei bereits gescrapten Titlen)
Standarteinstellung = 5 Tage.
Zusätzlich ist nun eine Warnung/Abbruch eingebaut, falls der Pfad zu den Hilfsskripten in Zeile 17 nicht stimmt.

Nirvana777

Kann es sein dass ein inkrementelles Update nicht funktioniert wenn sich nur die ausführliche Deskription geändert hat. Das fällt insbesondere bei den Sport Sendern auf. Da steht dann nur ein rudimentärer Text drin obwohl bei Horizon mehr steht.
Kennt jemand die Regeln was geprüft wird? Zeiten und Name schätze ich.

DeBaschdi

das funktioniert leider nicht, zumindest wüsste ich nicht wie... genau aus diesem grund mach ich nur fullupdate

DeBaschdi

Hallo Zusammen,
wie in diesem Thread angemerkt, (wo ihr übrigens eine Fertige XML beziehen könnt) hab ich eine magentatv.ini für euch

Resultat nach dem Grabben :

Code

<programme start="20190325110500 +0000" stop="20190325115000 +0000" channel="Syfy">
    <title lang="de">Knight Rider</title>
    <sub-title lang="de">Keine Auszeit für Michael Knight!</sub-title>
    <desc lang="de">Als Mike (Justin Bruening) Zeuge eines Banküberfalls wird, versucht er ihn zu stoppen, wird aber als Geisel genommen. Die Räuber scheinen jedoch nicht an Geld interessiert zu sein. Sie haben vielmehr einen Plan, der mit den Bankschließfächern und dem Ehemann einer der Geiseln zu tun hat. Michael hat keine Möglichkeit, zu K.I.T.T. oder seinem Team Verbindung aufzunehmen, und versucht daher mit Unterstützung der anderen Geiseln, die Bankräuber aufzuhalten.</desc>
    <credits>
      <actor>Justin Bruening</actor>
      <actor>Deanna Russo</actor>
      <actor>Sydney Tamiia Poitier</actor>
      <actor>Paul Campbell</actor>
      <actor>Yancey Arias</actor>
      <producer>David Bartis</producer>
      <producer>Doug Liman</producer>
    </credits>
    <date>2009</date>
    <category lang="de">Krimi</category>
    <category lang="de">Fantasy</category>
    <icon src="http://programm-manager.telekom.de/media/gracenote/p3440577_e_h9_ab.jpg" />
    <country lang="de">US</country>
    <episode-num system="xmltv_ns">0.12.</episode-num>
    <rating system="FSK">
      <value>16</value>
    </rating>
  </programme>


 <programme start="20190325000000 +0000" stop="20190325020000 +0000" channel="Sky Sport Bundesliga 1">
    <title lang="de">2. BL: Arminia Bielefeld - VfL Bochum, 26. Spieltag</title>
    <desc lang="de">Endlich wieder ein Dreier: Nach der Sieglos-Serie von fünf Spielen gewann Bochum gegen Heidenheim mit 1:0. Bielefeld kam gegen Köln unter die Räder (1:5). Kommentar: Michael Born.</desc>
    <date>2019</date>
    <category lang="de">Fußball</category>
    <icon src="http://programm-manager.telekom.de/media/gracenote/p9223191_i_h9_aa.jpg" />


<programme start="20190325034000 +0000" stop="20190325051500 +0000" channel="Sky Sport 1">
    <title lang="de">DKB HBL: VfL Gummersbach - Bergischer HC, 25. Spieltag</title>
    <desc lang="de">Es bleibt brenzlig: Gummersbach steht nach der jüngsten 20:25-Pleite gegen Minden weiterhin am Abgrund. Der Bergische HC holte zwei Punkte in Göppingen. Kommentar: Markus Götz, Experte: Martin Schwalb.</desc>
    <date>2019</date>
    <category lang="de">Sport</category>
    <icon src="http://programm-manager.telekom.de/media/gracenote/p9500736_i_h9_aa.jpg" />

Alles anzeigen

Download : [xattach=33979]web.magentatv.de[/xattach]

Wie ihr seht mit Sport Feeds! + HD-Postern

Allerdings wird für diese ini ein eigener Webserver benötigt.
Grund ist folgender : Um web.magentatv.de scrapen zu können, wird ein "request Token" benötigt, dieser kann von Webgrab nicht bezogen werden.
Abhilfe schaft ein eigener kleiner Proxy Server

Anleitung :
-Die Datei web.magentatv.de.ini ins siteini.user Verzeichniss kopieren.
-Die Datei web_magentatv_de.php ins Webroot eures (Apache/Nginx ect) Servers kopieren. (curl Module müssen installiert+ aktiviert sein)
-Die Datei web.magentatv.de.ini editieren, kontrollieren ob der voreingestellte Webroot ({url|http://127.0.0.1/web_magentatv_de.php) stimmt.

-Kanäle aus der web.magentatv.de.channels.xml aussuchen, und per Copy+Paste in die Datei Webgrab++.confix.xml hineinkompieren.

-Zusätzlich muss <retry time-out="10">4</retry> genau so, in der Webgrab++.confix.xml angepasst werden. (beim ersten scrape kann es bis zu 10 Sekunden dauern bis alle benötigten Cookies+Tokens über den "Proxyserver" bezogen wurden.

Es lassen sich bis zu 14 (15)Tage Scrapen!

Testdownload 300 Kanäle, 14Tage, gerade einmal 3,5h (für Webgrab Toll)

mirko3107

Da würde sich doch ein anderer Docker-Container mit einem Webserver anbieten, oder?

DeBaschdi

jap, das sollte gehen.
Oder @Nirvana777 bastelt einen docker mit nginx + webgrab

Jetzt mitmachen!