UnicodeEncodeError auf Linux

rols1

Zwischenergebnis3: wider Erwarten klappte der Test auch mit einem via smb eingebundenen Music-Verzeichnis auf Windows10 in einer VM. Player + Testscript-Addon liefen wie beim ersten Zwischenergebnis auf OS Linux Leap 15.3, Kodi Matrix 19.4.
Log-Auszug:

Code

2022-09-08 15:14:43.881 T:16148 WARNING <general>: CGUIWindowManager - HandleAction - ignoring action 107, because topmost modal dialog closing animation is running
2022-09-08 15:14:47.166 T:16350    INFO <general>: Skipped 6 duplicate messages..
2022-09-08 15:14:47.166 T:16350    INFO <general>: CServiceAddonManager: failed to stop service.cron.autobiblio (may have ended)
2022-09-08 15:15:01.669 T:16383    INFO <general>: initializing python engine.
2022-09-08 15:15:01.745 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: writing m3u tracks started
2022-09-08 15:15:01.771 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #EXTINF:0,äöüüäDiviners feat. Contacreast - Tropic Love [NCS Release].mp3
2022-09-08 15:15:01.812 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: smb://192.168.0.132/users/xxxxxx/Music/äöüüäDiviners feat. Contacreast - Tropic Love [NCS Release].mp3
2022-09-08 15:15:01.853 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #EXTINF:0,Disfigure - Blank [NCS Release].mp3
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: smb://192.168.0.132/users/xxxxxx/Music/Disfigure - Blank [NCS Release].mp3
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #EXTINF:0,Lensko - Let_s Go! [NCS Release].mp3
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: smb://192.168.0.132/users/xxxxxx/Music/Lensko - Let_s Go! [NCS Release].mp3
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: writing m3u tracks finished
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: writing extra tags started
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #MEDIA::audio
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #TIME::109.36200714111328
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #PLPOS::0
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #PLSIZE::3
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #PLAYING::smb://192.168.0.132/users/xxxxxx/Music/äöüüäDiviners feat. Contacreast - Tropic Love [NCS Release].mp3
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #WINDOW::10000
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: #STORE::DONE
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: DEBUG: writing extra tags finished
2022-09-08 15:15:01.894 T:16383    INFO <general>: plugin.script.test: SRV: NOTIFICATION: "script fishied fine"
2022-09-08 15:15:01.894 T:16383    INFO <general>: CPythonInvoker(8, /home/xxxxxx/.kodi/addons/plugin.script.test/testscript.py): script successfully run

Alles anzeigen

Ich versuche noch die umgekehrte Fallkonstellation..
/R

harryberlin

OK, ich setze noch mal ein Raspberry 3 Libreelec auf und teste es erneut.
Bin grad echt überrascht, dass du kee Probleme hast.

harryberlin

Wie schaut dein Script mittlerweile aus?
Bei mir mit Libreelec 10.0.2 auf dem Rasp3 kommt der fehler. (Pfad der tracks im /storage/music)
ist doch echt zum verzweifeln...

edit:
habe die tracks jetzt mal noch im Pfad /flash abgelegt und auf meinen fritz nas.
im Pfad flash werden die sonderzeichen nur als Fragezeichen dargestellt.
im Pfad des NAS wird alles richtig dargestellt.
in beiden Fällen funktioniert das Speichern und Abspielen.
Also ein Dateisystemproblem.

rols1

Zitat von harryberlin

Wie schaut dein Script mittlerweile aus?

lediglich diese beiden Stellen sind verändert (Anpassung an die Quelldatei und das encoding in Funktion [definition='1','0']log[/definition] auskommentiert:

Code

...
#ADDON_M3UFILE = os.path.join('home', 'osmc', 'Music', 'testscript.m3u')
ADDON_M3UFILE = os.path.join('/tmp', 'testscript.m3u')


...


def [definition='1','0']log[/definition](msg):
#    msg = msg.encode('utf-8', 'surrogateescape').decode('ISO-8859-1')
    xbmc.[definition='1','0']log[/definition](u'%s: SRV: %s' % (ADDON_ID, msg), XBMC_LOG_LEVEL)

Alles anzeigen

Noch eine interessante Beobachtung: bei einem ersten Test (bevor dein Testaddon eintraf) versuchte ich, in der Funktion PlayAudio meines ARDundZDF-Addon die Umlaute-Datei direkt zu laden. Das schlug fehl - wie im Post 21 mitgeteilt mit "Error surrogates not allowed". Mit zulässigen Dateinamen klappte dein Testscript dann auch in dieser Funktion.
Sieht so aus, als ob der Player intern die erforderlichen Korrekturen vornimmt. Den C-Code habe ich mir allerdings nicht angesehen - will ich mir auch nicht antun.
/R

harryberlin

hatte die daten bisher mit winscp rüber auf den rasp kopiert.
jetzt mal in kodi vom NAS auf /storage/music
dann läuft es auch.
oh man, das is echt verflixt.

rols1

Zitat von harryberlin

hatte die daten bisher mit winscp rüber auf den rasp kopiert.
jetzt mal in kodi vom NAS auf /storage/music
dann läuft es auch.

super - dann wäre auch die Quelle der unverdaulichen Codierung endlich geklärt. Allmächtig scheint dann der Player in Sachen Encodierung nicht zu sein..
/R

harryberlin

du meint, das problem liegt am kodi-player?

rols1

nein - im Gegenteil. Ich war selbst überrascht, dass der Player mit den Sonderzeichen im Dateinamen klarkommt. Grundsätzlich haben Sonderzeichen in Dateinamen nichts zu suchen. Erst recht dann nicht, wenn man für verschiedene OS + Dateisysteme programmiert.
/R

harryberlin

naja ich sag mal so, jetzt fürs Beispiel waren es die äöü. Einen Frazosen kann ich das ’ übern e, einen Chinesen seine Schriftzeichen oder einen Russen seine kyrillischen Buchstaben nicht verbieten.

rols1

na ist doch klar. Auf dem eigenen System funktioniert es ja häufig. Und dein Addon wird ja lokal ebenfalls prima funktionieren (Edit: auch in China). Nur kann man eben nicht erwarten, dass die erzeugten m3u's OS-übergreifend funktionieren. Ich kann mir nicht vorstellen, wie man einen Encoding-Mechanismus integriert, der alle möglichen Codetabellen abdeckt.
/R

DeBaschdi

Zitat von DeBaschdi

Ich kenne die Spielchen auch nur zugut.
Unter Libre oder Coreelec funktioniert mMn nur ascii Dateinamen zu schreiben / einzulesen, liegt wohl am locale, bzw am verwendetem Charmap ANSI_X3.4-1968.
Teste das doch mal aus.

Ich zitier mich mal selbst, sorry dafür das ich selbst nich nicht zum testen kam, macht doch mal ein encode des filenamens auf ascii.

harryberlin

DeBaschdi:
Darauf hatte ich gefragt wie ich das mache.

rols1:
sorry für mein Unverständnis. Dennoch Check ich nicht, warum es es trotzdem bei mir, also auch lokal, zu den Problem kommt.

harryberlin

hab jetzt mal noch etwas herumgetestet.
da liegt das problem wohl beim kopieren mit winscp, was die dateinamen fürs zielsystem nicht richtig codiert.

werde jetzt mal das addon relaible resum entsprechend aufbereiten, testen und auf github bereitstellen.

rols1

Zitat von harryberlin

da liegt das problem wohl beim kopieren mit winscp, was die dateinamen fürs zielsystem nicht richtig codiert.

das ist auch meine Vermutung, nachdem ich diese FAQ-Seite von WinSCP gelesen habe (mit Link auf die WinSCP-Seite UTF-8 Encoding for Filenames). Ansonsten hatte ich ebenfalls eigene leidvolle Erfahrungen mit Encoding bei python. Von daher kann ich deinen Frust nachvollziehen. Allerdings hat die Sprache auch ihre Vorzüge..
/R

harryberlin

Das Settings was da für WinSCP beschrieben ist, kann ich gar nicht finden.

Habe das Addon jetzt auf Win10 in Kodi 18, Kodi 19 und Rasp 3 mit Libreelec Kodi 19 getestet. Sollte laufen.
Weitere Systeme in Arbeit.

Link hier auf github:
https://github.com/harryberlin/script.reliableresume

Kann es ja im Urpsrungs-Thread noch ergänzen.

rols1

Zitat von harryberlin

Habe das Addon jetzt auf Win10 in Kodi 18, Kodi 19 und Rasp 3 mit Libreelec Kodi 19 getestet. Sollte laufen.

installiert + ausprobiert - gefällt mir
/R

Jetzt mitmachen!