Beiträge von forrester

    Bei Punkt 2 würde ich den ersten Satz nur so umformulieren:
    Addons können verschiedene python-libraries nutzen, ohne diese Proxy Konfiguration beachten zu müssen.
    Bei Punkt 3 würde ich "durch python korrekt verarbeitet" ersetzen durch "durch Kodi korrekt verarbeitet" (Grund: Kodi nutzt C++-Quellen).

    Mir fallen jetzt noch die Downloads ein: die nutzen urllib.urlretrieve für Python2 + 3, sollten nach unseren bisherigen Ergebnissen auch funktionieren.
    /R

    Deine Korrekturvorschläge habe ich gerne übernommen.

    Ich habe unterschiedliche Downloads ausprobiert, wie du erwartet hast, haben sie ohne Probleme funktioniert, sowohl mit inputstream.adaptive-Addon als auch ohne.

    Das und auch das Ergebnis bei den Einzelauflösungen passt zu meiner Vermutung, dass Kodi beim Zugriff auf die HLS-Substreams am Proxy scheitert. Bei "Sofortstart aus" ermittelt das Addon die Streamadressen der einzelnen Auflösungen und übergibt nur die ausgewählte Adresse an Kodi. Beim MP4-Format entfallen Substreams - dort wird nur die Adresse des MP4-Streams übergeben, womit Kodi direkt den Player füttern kann.

    Das passt zu den weiteren Tests, die ich mit "Sofortstart-Aus" mal tabellarisch zusammengefasst habe.

    SenderSofortstartFormatinputstream offinputstream on
    ArteLiveAusHLS-ok
    ARD LivestreamAus?-ok
    ZDF Jetzt-LiveAusHLS-auto-ok
    ZDF Spielfilm Highlights
    - Men in Black bzw. Kängeru oder ...AusHLS-auto--
    Hbbtv – mp4okok
    Mp4 – mp4okok

    Zeit für mich mal zusammenzufassen, was ich bisher verstanden habe.


    1. Die Proxy Konfiguration im Kodi-Menü gilt zunächst mal nur für Kodi selbst.

    2. Addons können verschiedene python-libraries nutzen, ohne diese Proxy Konfiguration beachten zu müssen.
      Die Auswahl der Library spielt bei korrekter Benutzung keine entscheidene Rolle bezüglich des Problems.
      Grundsätzlich funktioniert damit ein url-Aufruf über ein in Kodi definierten http-Proxy.

    3. Es gibt aber bestimmte Situationen, bei denen die Proxy Konfiguration nicht korrekt verarbeitet wird.
      Diese könnten durch http-redirects verursacht sein, sollten aber eigentlich auch durch Kodi korrekt verarbeitet werden können.
      vgl. https://proxiesapi.com/articles/the-r…python-requests

    4. Viele dieser "Problem-Aufrufe" lassen sich dennoch durch Aktivierung des "inputstream.adaptive Addons" erfolgreich durchführen, bei sonst identischer Konfiguration.
      Konkret auch mit: "Sofortstart-Ein HLS-auto". Die Unterschiede in der Verarbeitung sind uns im einzelnen nicht bekannt.

    5. Aber auch mit aktivem "inputstream.adaptive Addon" gibt es spez. in der ZDF-Mediathek noch einige Aufrufe z.B. in der Rubrik "Unsere Spielfim Highlights", die mit der Einstellung "Sofortstart-Ein HLS-auto" eine direkte Kommunikation am Proxy vorbei initiieren und damit scheitern.
      In diesen Fällen kann aber nach Umschaltung auf "Sofortstart-Aus" und Einzelauflösung noch eine mp4-Datei (wenn angeboten) abgespielt werden.

    6. Bei allen funktionierenden Aufrufen unter Punkt 4 gibt es offensichtlich Unterschiede zu denen unter Punkt 5. Hier liegt wahrscheinlich der entscheidende Knackpunkt. Die genaue Ursache ist nicht erkennbar.


    Bisheriges Fazit:

    • Ist das "inputstream.adaptive Addon" deaktiviert und "Sofortstart-Ein", gibt es ein generelles Abspielproblem, da die Proxyfunktion mit dem HLS-auto nicht richtig funktioniert.
    • Ist das "inputstream.adaptive Addon" aktiviert und "Sofortstart-Ein", funktionieren die meisten Filme korrekt, nur einige Filme aus der ZDF-Mediathek machen noch Probleme.
      Diese lassen sich aber durch "Sofortstart-Aus" beheben, sofern eine mp4-Datei angeboten wird.
    • Gleichgültig ob das "inputstream.adaptive Addon" aktiviert ist oder nicht, kann man mit "Sofortstart-Aus" den Film abspielen, oder auch einen Download durchführen, sofern eine mp4-Datei angeboten wird.

    auch wieder akamei, ev. betrifft es die Substreams. Wie sieht es mit MP4 aus (Kontextmenü: Sofortstart AUS)?

    Anbei nochmal ein tcpdump-logfile. Aufgerufen wird: ZDF-Mediathek-Startseite-Filme-"Unsere Spielfilm Highlights"-Kaengeruh-Film.

    Erster Abschnitt mit "Sofortstart EIn" zeigt wieder das bekannte Verhalten, direkter IP-Zugriffsversuch nach dem Serverwechsel von "zdfvod.akamaized.net" zu "a1948.dscw4.akamai.net" mit DNS Abfrage.

    Zweiter Abschnitt nach Umschaltung per Kontextmenü auf "Sofortstart aus". In den Zeilen 1891-1893 und 1930-1932 sieht man, dass die http-connects ohne neue DNS-Anfrage korrekt über den Proxy laufen.

    Ausgewählt habe ich eine niedrige Auflösung einer mp4 Datei, die auch abgespielt wurde.


    Ich hatte vorher noch vergeblich versucht die vorherige Version des inputstream.adaptive-Addon zu installieren. Geht das überhaupt, das man eine ältere Version instaliieren kann? Bei meinen Versuchen wurde weiterhin die aktuelle Versionsnr angezeigt, obwohl gleichzeitig eine Aktualisierung angeboten wurde. Habe dann mit aktuellen Version getestet.

    Zitat

    Dann sollte das Addon mit dem Proxy auch ohne inputstream.adaptive-Addon zurechtkommen können

    Das probiere ich dann gerne aus.

    Zitat

    ich mache es kurz: Glückwunsch - das war doch (für uns beide) eine ziemlich harte Nuss. Für mich hat es auch etwas gebracht

    Ich habe dabei ebenfalls viel über Libreelec, kodi und osmc gelernt. An dieser Stelle nochmals vielen Dank für deinen Support!

    Aber es gibt wohl noch weitere Problemstellen.

    Den Fehler beim ZDF-Film habe ich auch unter Librelec bekommen, sowohl mit der Testversion, als auch jetzt mit der aktuellen Version aus dem Repo. Bei fast allen Filmen die ich in der Rubrik "Unsere Spielfilm Hightlights" ausgewählt habe, gibt es Fehlermeldungen beim abspielen.

    Die folgenden Logs und Aussagen beziehen sich auf:

    - libreelec 12.0

    - ardzdf 5.0.8 aus Repo mit aktualisiertem Einzelupdate vom 01.08.24

    - aktualisiertem inputstream.adaptive-Addon Version 21.5.0.1

    kodi.log mit debug=on zeigt:

    Zeitgleich zeigen die FW-Logs wieder geblockte Zugriffe auf : 23.2.13.218:443.

    Edit: das hätte ich beinahe vergessen: hat sich denn nach Umstellung auf requests überhaupt etwas verbessert?
    /R

    Eigentlich nicht.

    Die unteren Menüebenen konnte ich auch vorher schon aufrufen und der Fehler taucht auch nach der Umstellung direkt beim Aufruf der Filme auf. Ich glaube auch nicht mehr das die Auswahl der requests-Bibliothek einen Unterschied macht. Meine Vermutung ist vielmehr die, das die Mediatheken von ARD und ZDF beim Filmaufruf einen http-redirect durchführen, um auf die jeweiligen Filmserver zu verweisen. Diese redirects (neue DNS-Abfrage) werden dann nicht korrekt von der python- proxy Bibliothek verarbeitet, vgl. z.B. https://proxiesapi.com/articles/the-r…python-requests

    Zitat

    Was man noch zum Abgleich ausprobieren könnte (ohne tcpdump):
    - für Livestream-Tests: inputstream.adaptive-Addon installieren + in ARDundZDF freischalten. Ich kenne zwar nicht die Server-/client-Kommunikation bei der Initialisierung der Verbindung, aber insgesamt kommt inputstream.adaptive besser mit dem Streaming zurecht
    - für Videotest: umschalten auf Einzelauflösungen statt Sofortstart (im Kontextmenü) und eine der mp4-Links starten. Beim ct-uplink-Addon ist mir aufgefallen, dass nur mp4-Videos verwendet werden.

    Jetzt zum Positiven!

    Das inputstream.adaptive-Addon war noch nicht installiert, die Freischaltung war bereits aktiviert. Videoformat bei Sofortstart ist "HLS", qualität ist "auto". Beides habe ich so belassen.

    Ergebnis:

    Im tcpdump-log sieht man, das nach den Stellen (DNS-Query : A mcdn.br.de CNAME br-stream.trafficmanager.net CNAME mcdn-br.akamaized.net CNAME a1897.dscw4.akamai.net A 23.2.13.200 A 23.2.13.202) kein direkter IP-Aufruf mehr am Proxy vorbei versucht wird, sondern die Kommunikation (Abspielen des Films) weiter über den Proxy läuft.

    Ich habe in den Tests unter allen von mir gewählten Menüpunkten einen Film abspielen können!

    Um verifizieren zu können, dass es keine Abhängigkeiten von der python-proxy-Methode gibt habe ich deine "normale" 5.0.8er Repo-Version auch unter einem aktuellen "osmc" ausprobiert. Hier sind ja noch deine "alten" Proxy-Bibliotheks-Aufrufe aktiv. Gut, "osmc" hat eine kodi Version 20.5 glaube ich und ein bereits integriertes inputstream.adaptive-Addon.

    Aber auch hier konnte ich mit den gleichen EInstellungen keine Proxy Probleme feststellen! Alle Test liefen durch.

    Bei der Auswahl eines ZDF-Films habe ich nochmal eine Fehlermeldung bekommen, die aber wohl nichts mit der Proxykonfiguration zu tun hat. Hier der entsprechende Auszug aus dem kodi.log von osmc:

    Den Aufruf könnte man zum Vergleich noch mal unter Libreelec durchführen.

    Mein vorläufiges Fazit:

    Egal welche Proxy Bibliothek verwendet wird, bei der Form der ARD-ZDF-redirects gibt es die gleichen Probleme, die offensichtlich vom inputstream.adaptive-Addon korrekt verarbeitet werden.

    Mich würde mal interessieren, was das inputstream.adaptive-Addon in der Funktionsweise anders macht.

    forrester :
    pardon, für LibreElec war noch eine Ergänzung notwendig, damit die requests-Bibliothek überhaupt zur Verfügung steht. Das neue Testadon habe ich soeben mit LibreElec 12.0.0 getestet. Neues Testaddon auf gmx - ich drücke die Daumen..
    /R

    Mit dem aktuellen Test-Addon kommt man wieder in die Untermenüs und kann einzelne Filme auswählen.
    Dann folgt wieder der bekannte Zugriffsfehler.


    Ich habe mal einen tcpdump mitlaufen lassen und gleichzeitig das Proxy-Logfile betrachtet.
    Sehr viel läuft korrekt über den Proxy, aber an den Problem-Stellen wird z.B. nach einer erneuten DNS-Abfrage versucht eine direkte Verbindung dorthin aufzubauen. Das passierte beim Aufruf eines Films aus der ARD-/ZDF-Mediathek und beim TVLivestream, hier z.B BR-Sued.

    Anmerkung: Proxy-IP ist bei mir = DNS-Server-IP (Resolver)


    Das Einzelupdate funktionierte übrigens einwandfrei, war aber alles bereits aktuell. :)

    Anbei Ausschnitte aus dem tcpdump-log (uploadsnippets.txt). Ich habe die IP-Adressen von kodi und proxy mit Namen überschrieben.
    Die Abschnitte sind mit einem Kommentar markiert.

    Hier noch eine Liste der von kodi angefragten URL's, die der Proxy während des Testlaufes geloggt hat.

    Hilft uns das weiter?

    Zunächst mal Danke für die Mühe!

    Ich habe die zip-Datei heruntergeladen und nach Deinstallation der bisherigen Version neu installiert. Ich kann noch die erste Menüebene auswählen, also ARD-,ZDF-,Arte-Mediathek usw.. In der zweiten Ebene passiert dann nach der Auswahl eines Menüpunktes nur eine kurze Pause und dann wird der gleiche Bildschirm wieder angezeigt. Das passiert in allen von mir ausgewählten Mediatheken. Die Firewall zeigt während dessen keine geblockten Zugriffe!

    Ein Test, ob Einzelupdates funktionieren erbrachte das Gleiche Verhalten.

    Nur ein Test unter "TV-Livestream-Regional-BR-Süd" hat wieder die Fehlermeldung gezeigt und entsprechende Logeinträge in der FW erzeugt. In diesem Fall wurde 23.53.40.202:443 geblockt.

    Gedanken:

    Ich bin kein python Programmierer. Aber in der bisherigen Variante haben einige Internetzugriffe korrekt funktioniert, also muss diese Form des Zugriffs den Proxyaufruf korrekt benutzt haben. Die geblockten Aufrufe müssten demnach die URL's auf eine andere Art aufgerufen haben. Gibt es denn unterschiedliche Formen der URL-Aufrufe in deinem Code?

    Danke für die Tests. Im Moment kann ich mir noch keinen Reim darauf machen. Bist du in der Lage, auf dem LE-Gerät ein paar Abrufversuche mit Curl zu machen? Ein einfacher Test wäre der Abruf der master.m3u8-Datei für den DasErste-Livestream:
    curl -v https://daserste-live.ard-mcdn.de/daserste/live/hls/de/master.m3u8
    Wenn er durchkommt und die Datei mit den #Ext-X-Zeilen ausgibt, wäre die Client-Server-Kommunikation interessant. Die gibt Curl oberhalb der Datei (oder der Fehlermeldung) aus.
    /R

    ssh root@libreelec um curl im Terminal aufrufen zukönnen:

    Code
    LibreELEC:~ # curl -v https://daserste-live.ard-mcdn.de/daserste/live/hls/de/master.m3u8
    * Host daserste-live.ard-mcdn.de:443 was resolved.
    * IPv6: (none)
    * IPv4: xx.yyy.zzz.ww
    *   Trying 92.223.124.62:443...

    Da curl keine Infos zur Proxy Benutzung hat, wird der direkte Zugriffsversuch ebenfalls blockiert. Die env-Variable von root weist keinen Proxy auf.

    curl müsste mit dem Environment von kodi gestartet werden, um eine Aussage zu bekommen. Enen User "kodi" kann ich aber unter Libreelec nicht finden.

    Code
    LibreELEC:~ # pstree |grep kodi
            |-kodi.sh---kodi.bin-+-{AESink}
            |                    |-{kodi.bi:disk$0}
            |                    |-2*[{kodi.bin}]
    
    LibreELEC:~ # ps ax |grep kodi
    1086 root      0:00 {kodi.sh} /bin/sh /usr/lib/kodi/kodi.sh --standalone -fs --audio-backend=alsa+pulseaudio
    1101 root      3:12 /usr/lib/kodi/kodi.bin --standalone -fs --audio-backend=alsa+pulseaudio

    OK, dann bitte nochmal zwei Versuch mit arte. Ich meine nicht den Stream in TV-Livestreams, sondern das LIVE-Menü im Modul arte (ev. noch in den Settings Allgemein freischalten), s. erstes Bild:
    nach dem ersten Versuch den Sofortstart umschalten und das LIVE-Menü erneut anwählen. Bei ausgeschaltetem Sofortstart sollte der Button für den HLS-Stream erscheinen, s. 2. Bild.

    Hintergrund: bei der zweiten Variante wird der Stream über xbmcplugin.setResolvedUrl() an Kodi übergeben. Wenn meine Vermutung stimmt, sollten dabei die gesetzten Proxy-Parameter greifen und das Abspielen klappen.
    /R

    Leider ist das Ergebnis bei beiden Varianten gleich.

    Bei ausgeschaltetem Sofortstart bekomme ich zwar den Button für den HLS-Stream, aber wenn ich diesen auswähle wird ebenfalls ein Direktzugriff vorgenommen mit der gleichen Fehlermeldung.

    die beiden Adressen gehören zu 1&1, vermutlich deren DNS-Server.

    Die Anfragen an die beiden IP-Adressen kommen drekt von LibreElec.

    Auch nach Deaktivierung aller Addons werden die Anfragen direkt nach dem Start von LE gesendet und dienen wohl einem online status check.

    In der Datei /etc/connman/main.conf steht:

    # Urls (IPv4 and IPv6 respectively) used during the online status check.
    # Please refer to the README for more detailed information.
    # Default values are http://ipv4.connman.net/online/status.html and
    # http://ipv6.connman.net/online/status.html respectively.
    # OnlineCheckIPv4URL= http://ipv4.connman.net/online/status.html
    # OnlineCheckIPv6URL= http://ipv6.connman.net/online/status.html

    Kann man auch abschalten:


    # Enable use of http get as on online status check.
    # When a service is in a READY state, and is selected as default,
    # ConnMan will issue an HTTP GET request to verify that end-to-end
    # connectivity is successful. Only then the service will be
    # transitioned to ONLINE state.
    # If this setting is false, the default service will remain in READY state.
    # Default value is true.
    # EnableOnlineCheck = false

    Die Anfragen an die beiden IP-Adresen haben also nix mit Addon-Proxyproblem zu tun.

    Ja, dass die beiden Adressen zu 1&1 gehören habe ich auch festgestellt. Allerdings wird Port 80 angesprochen und nicht 53.
    Ausserdem habe ich weder 1&1 noch irgendwo deren Nameserver konfiguriert.
    Sollten diese Adressen in einem der Addons bzw. in Kodi/Librelec fest einprogammiert sein?

    Wenn ich aus der arte bzw. 3sat-Mediathek einen Livestream auswähle, erhalte ich die gleiche Fehlermeldung und der Zugriff auf Port 443 folgender Ip-Adressen wird direkt versucht:

    3sat
    104.83.4.139:443
    104.83.4.144:443

    arte
    23.38.123.201.443
    23.38.123.231.443

    Bevor ich mir Unterschiede zu den genannten anderen Addons ansehe: funktioniert kein einziger Zugriff oder sind nur einzelne Module oder nur Livestreams betroffen?
    /R

    1.

    Nach dem Start von Libreelec/Kodi werden direkt Syn-Anfragen an folgende Adressen gesendet:
    82.165.8.211:80
    212.227.81.55:80

    Welches Addon diese Verbindungen aufbauen möchte kann ich nicht erkennen. Die beiden Adressen werden aber immer wieder während des (passiven) Betriebes von Kodi angesprochen.

    2.

    Das Addon lässt sich starten, die Auswahl eines Menüpunktes z.B ZDF... oder TagesschauXL ist möglich und deren Unterpunkte werden ebenfalls angezeigt und sind auch auswählbar.
    Erst wenn eine Sendung zum Abspielen ausgewählt wird, erscheint die Fehlermeldung:
    "Wiedergabe nicht möglich. Allgemeiner Fehler bei der Wiedergabe".
    Zeitgleich wird versucht eine direkte IP-Verbindung z.B. nach:
    23.50.131.31:443
    23.53.41.81:443
    aufzubauen .

    3.

    Interessant ist, dass ein Einzelupdate des Addons ohne Probleme funktionierte.

    Hallo rols1,

    Ich benutze LibreElec 12.0 mit Kodi 21.
    Ich habe das Kodi-Addon-ARDundZDF Version 5.0.8 installiert.

    Ausserdem sind auch folgende offiziellen Kodi-Video-Addons installiert: c't uplink, Media.ccc.de und ARDAktuell.

    Die Firewall Regeln des Routers lassen nur authentifizierten Traffic über den Proxy ins Internet.

    In den Kodi-Einstellungen ist die Benutzung eines authentifizierenden HTTP-Proxy's aktiviert:
    - Use Proxy Server
    - http-proxy
    - IP-Adresse des Proxies
    - Port des Proxies
    - Username
    - Password

    Die oben genannten offiziellen Addons funktionieren damit einwandfrei, ohne dass in deren Einstellungen explizit auf einen Proxy verwiesen wird. Hier werden offensichtlich die Kodi-Einstellungen implizit übernommen.


    Leider funktioniert die Proxy-Einstellung nicht mit dem ARDundZDF-Addon, dieses versucht eine direkte Verbindung zu den jeweilgen IP-Adressen auf Ports 80 bzw. 443 und wird von der Firewall geblockt.
    Die Folge ist dann eine Meldung "Videoquelle nicht verfügbar".

    Ist es möglich, wie bei den obigen Addons, die Kodi-Proxy Einstellungen zu berücksichtigen, oder eine Proxy-Einstellmöglichkeit im Addon bereitzustellen?