[RELEASE] Takealug EPG Grabber

Hallo Zusammen
Nicht wundern, ich hab meinen EPG Thread umbenannt.

Ab sofort steht im Kodinerds Repository ein Kodi Service-Addon zu Verfügung mit dem es möglich ist von verschiedenen Providern ein EPG im XMLTV Format (guide.xml) zu erstellen.

Features :

1. High Speed Download + XML Creation (Multithreading Support currently for Linux Only)
2. Channel Selector
3. Enable / Disable EIT Genre Format
4. Enable / Disable Rytec Channel Format
5. Episodeformat onscreen / xmltv_ns
6. Adjustable days for EPG Grabbing
7. Build in Cron Feature, up to 3x Daily
8. Adjustable save location for the EPG, also over the network
9. Write Guide directly in Tvheandend's xmltv.sock (only works if tvheadend is running on the same machine as kodi)
10. Addon Feature
    
    
    • Rating Mapper

Provider List :

1. Magenta TV (DE)
2. TV Spielfilm (DE)
3. Swisscom (CH)
4. Horizon (DE,AT,CH,NL,PL,IE,GB,SK,CZ,HU,RO)
5. Zattoo (DE,CH,1und1TV,Quickline Mobil-TV,M-net TVplus,WALY.TV,Meine Welt unterwegs,BBV TV,VTX TV,myVision mobile TV,Glattvision+,SAK TV,Net TV,EWE TV App,Quantum TV,Salt TV,SWB TV App,eir TV)

Ihr Wollt mehr Provider ? Stimmt hier ab :Umfrage

Kurzanleitung :

1. Windows Only : Windows Defender Echtzeitscan Ausnahme hinzufügen für *.xml, *.json *.txt
2. Kodi --> Einstellungen(Experten Ansicht) ---> Medien ---> Allgemein " Löschen und umbenennen von Dateien erlauben"
3. Addon installieren.
4. Speicherpfad für die guide.xml auswählen
5. Provider Aktivieren.
6. Kanäle auswählen.
7. Epg einmal manuell grabben (Schaun ob alles klappt)
8. Automatisches grabben Aktivieren.

Ps,
Es lassen sich selbstverständlich die Kanäle der einzelnen Provider mischen, am Ende kommt immer alles in eine guide.xml.

Das Addon kann auch auf einem, oder mehreren Clients installiert werden und Kopiert die guide.xml automatisch per smb zu einem tv-server, oder speichert sie für lokale Anbindung ab.
Ist der Client während der eingestellten Wunsch grab-zeit aus, holt das Addon diesen grab Vorgang beim nächsten Boot nach.

Der Grabvorgang dauert idr nicht länger als 1 bis 2 Minuten. Wer unter Windows mit dem Windowsdefender Probleme hat (lange Grab Dauer) bekommt hier ein Lösungsvorschlag:
[RELEASE] Takealug EPG Grabber

Die Konfigurationsdateien von @easy4me (easyepg) https://github.com/sunsettrack4/config_files sind zu dem Addon kompatibel.
Das Bedeutet, dass neue Mappingvariablen (EIT Genre + Rytec Chid´s) als Pullrequest dort hin gesendet werden können.
Das kommt automatisch auch easyepg zugute (natürlich dem Addon auch)

Have Fun.

Anleitung um die guide.xml direkt in das Tvheadend xmltv.sock zu schreiben:
(only works if tvheadend is running on the same machine as kodi)

1. Tvheadend WEB UI --> Konfiguration -->Kanal/EPG ---> EPG Grabber Module
   
   
   • In der Linken Spalte External:XMLTV auswählen und einen Haken bei enabled setzen
   • Habt ihr den Punkt "Scrape credits and extra information:" , auch hier einen Haken setzen.(tvh>=4.3)
   • Den Pfad bei Path "merken", brauchen wir später.
   • Speichern!
2. Tvheanden neu starten.
3. Kodi ---> Einstellungen --->Addons ---> Optionen (Sidemenü)---> Nach aktuallisierungen suchen
4. Kodi ---> Einstellungen --->Medien ---Allgemein ----> Versteckte Ordner und Dateien Anzeigen aktivieren
5. Takealug EPG-Grabber 0.1.6--> Global Settings -->Enable local TVH xmltv.sock
   
   
   • Aktivieren
   • Unten drunter den "gemerkte xmltv.sock auswählen"
6. Takealug EPG-Grabber 0.1.6--> Misc Settings --> Run Grabber Manual (im Anschluss sollte das Socked gefüllt werden)
7. Tvheadend Webui ---> Konfiguration ---> Kanal EPG --> EPG Grabber Kanäle
   
   
   • In der Spalte Modul XMLTV sollten nun alle EPG Daten auftauchen. (freuen)
8. Tvheadend Webui ---> Konfiguration ---> Kanal EPG ---> Kanäle
   
   
   • In der Spalte "EPG Quelle" nun für jeden deiner Kanäle das passende EPG auswählen
   • Speichern!
9. Takealug EPG-Grabber 0.1.6--> Misc Settings --> Write EPG in xmltv.sock
   
   
   • Durchführen
10. EPG sollte ab jetzt in Tvheadend vorhanden sein (freuen)
11. Ab jetzt funktioniert alles automatisch, nach jedem Grabvorgang wird das .sock file gefüllt und das tvheadend EPG wird "sofort" aktuallisiert, ohne weiteres zutun.

**edit
Kodinerds Addon Repo :
https://repo.kodinerds.net/

Diskussionen zum neuen Thema ab hier :
[RELEASE] Takealug EPG Grabber

fehler im script behoben ++

sehr komisch, kannst du mal den kompletten output posten wenn du das script startest ?

**edit
hab das script bei mir nochmal getestet, funktioniert...
wie gesagt zeig mir mal dein output

sollte so ausschaun :

root@bastian-nb:~/test# ./epglaoder.sh 
<!DOCTYPE html>
        <!--[if IE 8]>
                <html xmlns="http://www.w3.org/1999/xhtml" class="ie8" lang="de-DE">
        <![endif]-->
        <!--[if !(IE 8) ]><!-->
                <html xmlns="http://www.w3.org/1999/xhtml" lang="de-DE">
        <!--<![endif]-->
        <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
        <title>Anmelden &lsaquo; Take a look at — WordPress</title>
        <link rel='dns-prefetch' href='//s.w.org' />
<link rel='stylesheet' id='dashicons-css'  href='https://takealug.de/wordpress/wp-includes/css/dashicons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='buttons-css'  href='https://takealug.de/wordpress/wp-includes/css/buttons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='forms-css'  href='https://takealug.de/wordpress/wp-admin/css/forms.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='l10n-css'  href='https://takealug.de/wordpress/wp-admin/css/l10n.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='login-css'  href='https://takealug.de/wordpress/wp-admin/css/login.min.css?ver=5.0.3' type='text/css' media='all' />
        <meta name='robots' content='noindex,noarchive' />
        <meta name='referrer' content='strict-origin-when-cross-origin' />
                <meta name="viewport" content="width=device-width" />
                </head>
        <body class="login login-action-login wp-core-ui  locale-de-de">
                <div id="login">
                <h1><a href="https://de.wordpress.org/" title="Powered by WordPress" tabindex="-1">Powered by WordPress</a></h1>


<form name="loginform" id="loginform" action="https://takealug.de/wordpress/wp-login.php" method="post">
        <p>
                <label for="user_login">Benutzername oder E-Mail-Adresse<br />
                <input type="text" name="[definition='1','0']log[/definition]" id="user_login" class="input" value="" size="20" /></label>
        </p>
        <p>
                <label for="user_pass">Passwort<br />
                <input type="password" name="pwd" id="user_pass" class="input" value="" size="20" /></label>
        </p>
                <p class="forgetmenot"><label for="rememberme"><input name="rememberme" type="checkbox" id="rememberme" value="forever"  /> Angemeldet bleiben</label></p>
        <p class="submit">
                <input type="submit" name="wp-submit" id="wp-submit" class="button button-primary button-large" value="Anmelden" />
                <input type="hidden" name="redirect_to" value="https://takealug.de/wordpress/wp-admin/" />
                <input type="hidden" name="testcookie" value="1" />
        </p>
</form>


<p id="nav">
<a rel="nofollow" href="https://takealug.de/wordpress/wp-login.php?action=register">Registrieren</a> |  <a href="https://takealug.de/wordpress/wp-login.php?action=lostpassword">Passwort vergessen?</a>
</p>


<script type="text/javascript">
function wp_attempt_focus(){
setTimeout( function(){ try{
d = document.getElementById('user_login');
d.focus();
d.select();
} catch(e){}
}, 200);
}


wp_attempt_focus();
if(typeof wpOnload=='function')wpOnload();
</script>


        <p id="backtoblog"><a href="https://takealug.de/wordpress/">&larr; Zurück zu Take a look at</a></p>
        <div class="privacy-policy-page-link"><a class="privacy-policy-link" href="https://takealug.de/wordpress/datenschutzerklaerung/">Datenschutzerklärung</a></div>
        </div>




                <div class="clear"></div>
        </body>
        </html>
          % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100   990    0   990    0     0    656      0 --:--:--  0:00:01 --:--:--  2506
100 2349k  100 2349k    0     0   994k      0  0:00:02  0:00:02 --:--:-- 9998k
guide-mapped.xml

du hast bestimmt in path einen / zuviel

du hast bestimmt
path=/home/bla/blub/
stimmts ?

muss aber so ausschaun :
path=/home/bla/blub

poste mal dein script ohne passwort
das ./ in path muss weg

und direkt in / kannst du nicht speichern

mach /home/blub/epg (vorher erstellen)

path=/home/XXX/tmp/

ist falsch

mach

path=/home/XXX/tmp

draus

hast du dein path angepasst, und existiert der pfad auch ?

vllt sind deine zeilenumbrüche durch das copy+paste durcheinander geraten...

aaaah super

besteht bedarf für windows user?
dann schreibe ich noch ein batch script (.bat)

Quote from Roby

gzip: stdin: not in gzip format
/bin/tar: Child returned status 1
/bin/tar: Error is not recoverable: exiting now
root@zbox-id91:/home/roby#

Per PN geklärt.

Trotzdem mal als Fehlerursache kurze Stellungsnahme :
Wer nach Registrierung bei der Passwort Auswahl ein $ einbaut, wird Probleme bekommen, denn ein $ im Passwort bringt mein Script durcheinander.
Also : Passwort bitte ohne $ (){] ect

ja, webgrab++ erstellt die datei, anschließend wird sie von meinem genremapper noch aufbereitet
Das fertige produkt wird 2x am tag aktuallisiert, und vollautomatisch für euch zur Verfügung gestellt.

ich kümmere mich um meine horizon.ini selbst

https://github.com/DeBaschdi/webgrabplus-siteinipack

(Die arbeit liegt also bei mir, an dem script ändert sich nichts und der user bekommt nichts davon mit)
Deshalb sind Bierspenden gerne gesehen...
Leider hat es gestern abend bisher noch nicht für eines gereicht

Übrigens ist horizon nicht meine einzigste quelle... dort vermiss ich z.b sky arts und eurosport2 xtra.

@easy4me ich sehe du hast ein ähnliches projekt am start, wo kommen denn deine daten her?

der läd jeden output als .tar.gz (ist aber keine), jedenfalls dann keine, wenn es vorher einen weiterleitungsfehler gab.
(Wie in deinem fall gerade)

Zeigst du mir mal dein kompletten output?
Es kann eigentlich nur 3 (4) möglichkeiten geben

1: username / pw falsch, oder Sonderzeichen
2: der pfad existiert nicht, oder endet mit "/" oder keine schreibrechte.
3: zeilen formatierungsfehler

Oder du bist auf was individuell, systembedingtes, neues gestoßen