Datenbank aktualisieren ->Nur Filme dauert Stunden

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Datenbank aktualisieren ->Nur Filme dauert Stunden

    Hallo,
    ich benutze Ember 1.4.8. Fast alles funktioniert prima.
    Einzig, wenn ich auf den Knopf "Datenbank aktualisieren-> Filme ->Nur Video aktualisieren" klicke braucht Ember fast eine Stunde.
    Wohlgemerkt, ist das nur die Funktion, um neue File auf der Platte zu entdecken und nicht um sie zu scrapen.
    Es funktioniert zwar, und er kommt auch zum Ende und findet neue Filme, die er einzeln in der Statuszeile am unteren Fensterrand auflistet, aber das dauerte bein den vorigen Versionen 1.3.x nicht so lange.
    Interessanter Weise geht es bei den Serien schnell. Da findet Ember neue Teile oder ganze Serien bereits nach wenigen Sekunden.
    Ember nutzt die eigene Datenbank, die ich bereits auch schon mal gelöscht und neu erstellt habe, aber das ändert nichts. (Datenbank neu erstellen dauert ungefähr genau so lange, wie das anschließende aktualisieren.)
    Das Scrapen der neu gefundenen Filme geht auch sehr schnell (Sekunden, Bilder auswählen und ein paar Sekunden, bis danach die Datenbank aktualisiert ist).

    Die Einstellungen habe ich anhand des Tutorial durchgeführt. Evtl. muß ich etwas korrigieren? Dazu habe ich Screenshots der Einstellungen als als zip angefügt. und die Versionsnummern als txt
    Hat jemand einen Tipp für mich?
    Gruß
    tklein
    Dateien
    • Einstellungen.zip

      (1,89 MB, 4 mal heruntergeladen, zuletzt: )
    • Versionen.txt

      (1,63 kB, 4 mal heruntergeladen, zuletzt: )
  • Nicht böse gemeint..... Aber glaubst du jemand lädt bei einem neuen User eine zip Datei runter?!? ;)
    Client1: ML03B|GA-A75M-UD2H|MSI R5450|A4-3400 2x2.70GHz|8GB DDR3-1600|LE 7.0.2
    Client2:RPI2|LE 7.0.2
    NAS 1: DS211J
    NAS 2: Define Nano S|ASRock H110M|G4560 2x 3.50GHz|8GB|OMV 3.x|Emby Server 3.x
    SKIN: Estuary.Refresh
    Display: Samsung 55 Zoll
    PVR: VU Duo 2|3TB
    FB: Harmony 600
    Amp: OnkyoTX626
    Center VOKAL
    Front: ZENZOR5
    Surround: ZENZOR1
  • Ja das stimmt schon.... Aber es gibt mit Sicherheit nicht wenige die es so haben.

    Aber danke für das Testen.
    Client1: ML03B|GA-A75M-UD2H|MSI R5450|A4-3400 2x2.70GHz|8GB DDR3-1600|LE 7.0.2
    Client2:RPI2|LE 7.0.2
    NAS 1: DS211J
    NAS 2: Define Nano S|ASRock H110M|G4560 2x 3.50GHz|8GB|OMV 3.x|Emby Server 3.x
    SKIN: Estuary.Refresh
    Display: Samsung 55 Zoll
    PVR: VU Duo 2|3TB
    FB: Harmony 600
    Amp: OnkyoTX626
    Center VOKAL
    Front: ZENZOR5
    Surround: ZENZOR1
  • Nur das einlesen, also Daten vorhanden bzw.initial scan dauert bei mir bei 1500 Filmen 10 - 15 Minuten. Alle Filme scrapen dauert in etwa 2 Stunden mit Trailern etc.
    Client1: ML03B|GA-A75M-UD2H|MSI R5450|A4-3400 2x2.70GHz|8GB DDR3-1600|LE 7.0.2
    Client2:RPI2|LE 7.0.2
    NAS 1: DS211J
    NAS 2: Define Nano S|ASRock H110M|G4560 2x 3.50GHz|8GB|OMV 3.x|Emby Server 3.x
    SKIN: Estuary.Refresh
    Display: Samsung 55 Zoll
    PVR: VU Duo 2|3TB
    FB: Harmony 600
    Amp: OnkyoTX626
    Center VOKAL
    Front: ZENZOR5
    Surround: ZENZOR1
  • Hallo,
    Ich habe das neu aufbauen der Datenbank (File löschen, Config einstellen, Quell Laufwerk angeben, go) nicht exakt gemessen. Dies kann bei mit auch 2-3 stunden dauern.
    Aber das Problem, das ich habe ist: Wenn ich bei fertig gefüllter Filmliste in der Datenbank einen Film hinzufüge und dann auf den Knopf drücke "Datenbank aktualisieren", sollte er auf der Platte nur nach neuen Filmen in den Unterverzeichnissen schauen und diese in die Filmliste aufnehmen - noch nicht scrapen.
    Dies dauert bei mir seit Version 1.4 aber mehr als eine Stunde nur für die Filme. Wenn ich die Funktion für die Serien auswähle, dauert es nur ein paar Sekunden.
    Filme(1622)
    Sets (68)
    Serien:(136/3638)
    Serien und Filme liegen auf dem gleichen Netzlaufwerk, jedoch in getrennten Unterverzeichnissen. Ember und auch die Datenbank ist auf einer SSD installiert und dürfte keine grundsätzlichen Performance Probleme haben.
    Gegen ein paar Minuten Wartezeit hätte ich nichts einzuwenden. Aber mehr als eine Stunde ist schon etwas einschränkend.
    Ha, habe gerade entdeckt, dass ich die Ember Version 1.3 auch noch auf meiner Platte habe. Dies nutzt den gleichen Quell Pfad und wenn ich dort den "Datenbank aktualisieren" dauert es bei den Filmen nur 17 Sekunden und bereinigt sogar noch die Datenbank innerhalb dieser Zeit.
    Hat jemand eine Idee?
    Ich danke sehr.
    Gruß
    tklein
  • Wenn der Scanner Metainformationen aus den Filmen extrahiert, könnte das die sehr lange Scanzeit erklären. Schalte das mal aus (Einstellungen -> Filme -> Scraper-Daten, Metadaten). Dort steht z. B. auch "Benutze Spielzeit als Länge" - auch das könnte der Grund.
    Außerdem könntest Du den Frame Extractor deaktivieren (Module), denn der Scraper müsste dort hin seeken. Der Index eines Filmes steht typischerweise am Ende der Datei. Wenn der fehlt, weil die Datei unvollständig kopiert wurde, dann braucht das Seeken zur gewünschten Stelle sehr sehr lange. Das sollte aber eigentlich erst beim Scrapen passieren, noch nicht beim Scan.
  • Hallo macxs,
    vielen Dank für die Tipps. Ich habe alle drei Einstellungen geändert, trotzdem braucht der Datenbank aktualisieren immer noch 1,5h. (heute um 6:13 gestartet. Ende um 7:47).
    Gibt es noch etwas, das ich ausprobieren könnte?
    Im Log taucht oft die Meldung
    [Sanner] [IsValidDir] [NotValidDirIs] Path "\\micro\data\Video\Filmname (Jahr)\.actors" has been skipped (path name is ".actors")
    oder
    [Sanner] [IsValidDir] [NotValidDirIs] Path "\\micro\data\Video\Filmname (Jahr)\extrathumbs" has been skipped (path name is "extrathumbs")
    auf. Diese Unterverzeichnisse existieren dann auch tatsächlich nicht. Braucht die Version 1.4. von Ember diese Unterverzeichnisse vielleicht unbedingt und sucht sie daher immer bis zu einem Timeout?
    Gruß
    tklein
  • macxs schrieb:

    Wenn der Scanner Metainformationen aus den Filmen extrahiert, könnte das die sehr lange Scanzeit erklären.
    Der wird grundsätzlich nur beim Scrapen ausgeführt.

    macxs schrieb:

    Außerdem könntest Du den Frame Extractor deaktivieren (Module), denn der Scraper müsste dort hin seeken. Der Index eines Filmes steht typischerweise am Ende der Datei. Wenn der fehlt, weil die Datei unvollständig kopiert wurde, dann braucht das Seeken zur gewünschten Stelle sehr sehr lange. Das sollte aber eigentlich erst beim Scrapen passieren, noch nicht beim Scan.
    Genau, das wird auch nur beim Scrapen ausgeführt.

    tklein schrieb:

    [Sanner] [IsValidDir] [NotValidDirIs] Path "\\micro\data\Video\Filmname (Jahr)\extrathumbs" has been skipped (path name is "extrathumbs")
    auf. Diese Unterverzeichnisse existieren dann auch tatsächlich nicht.
    Doch, die Verzeichnisse existieren, der Scanner hat die ja wie beschrieben gefunden. Er überspringt sie aber, da in diesen Ordnern keine Videodateien zu erwarten sind.

    Da du ja eigentlich schon alle Filme mehr oder weniger in der DB hast kann es nicht am einlesen selbst liegen. Das einzige, was beim DB-Update eine Zeitersparnis bringt ist das weblassen der anschliessenden DB-Bereinigung. Diese scheinst du aber bereits deaktiviert zu haben.

    Wenn ich mir dein Log ansehe fällt auf, da der "Durchsatz" beim Scannen bei nur etwa 6 Ordnern pro Minute liegt, was natürlich viel zu wenig ist. Hast du irgendeine Software am laufen, die den Netzwerktraffic reguliert? Gibt ja bei neuen Mainboards so tolle Programme für Netzwerkkarten, die z.B. Netflix oder Games vor anderen Programmen priorisieren. Hatte letzthin das selbe Problem beim JDownloader bei einem Freund.
    Ember latest Version - Ember | SPENDEN für Ember | Patreon
  • Hallo DanCooper,
    richtig. Die Verzeichnisse existieren. Durch den Punkt am Anfang zeigt Linux die bei einem normalen ls nicht an.
    Nein, ich habe keine Software für TrafficShaping o.ä. am Laufen. Ich habe auch nur den Windows10 Virenschutz Defender drauf. Und gegen diese Vermutung spricht, dass Ember bei den Serien rasend schnell ist. Bei den Serien findet es nicht nur neue Teile sehr schnell, neue Seasons incl. Episoden werden bei "Datenbank aktualisieren"->Nur Serien schon fertig gescraped -- Innerhalb von 20 Sekunden alles zusammen.
    Auch wenn es vielleicht mit 136 Serien und 3644 Episoden nicht die allergrößte Sammlung ist, ist der Zeitunterschied 20 Sekunden zu 1,5h nicht plausibel.
    Auch spricht dagegen, dass ich auf dem gleichen Rechner, der gleichen SSD noch die Version 1.3 habe, die für die Filme (die gleichen Filme auf dem gleichen Netzwerkshare) auch nur 20 Sekunden braucht.
    Ich bin sehr angetan von den neuen Funktionen der 1.4.8er Version, daher könnte es vielleicht helfen, wenn ich noch weitere Informationen liefere?
    Anbei nochmal ein Log. heute Morgen das Suchen nach neuen Filmen um 6:13 bis 7:47 und gerade der klick auf Serien um 19:02.
    Gruß tklein
    Dateien
    • 2018-01-09.csv

      (519,75 kB, 1 mal heruntergeladen, zuletzt: )
  • Im Installationsordner gibts die Datei NLog.config. Bitte mal mit Notepad++ öffnen und ganz unten im Bereich <rules> den Logger so umstellen, dass er nur noch Fehler loggt. Dazu müssen alle minlevel="Trace" in minlevel"Error" geändert werden. Somit können wir mal ausschliessen, dass das Loggen zu einem Problem führt... ist aber eh höchst unwarscheinlich. Bitte die Datei vorher irgendwo sichern!

    Quellcode

    1. <rules>
    2. <!-- final="true" means that the other loggers will not be invoked. Used to avoid to log all strings to debugger-->
    3. <logger name="LanguageString" minlevel="Error" writeTo="AWf_lang" final="true" />
    4. <logger name="HelpString" minlevel="Error" writeTo="AWf_help" final="true"/>
    5. <!-- all non-error LanguageString and HelpString will be ignored-->
    6. <logger name="LanguageString" minlevel="Error" final="true" />
    7. <logger name="HelpString" minlevel="Error" final="true"/>
    8. <!-- Removed as we use VSDebugger
    9. <logger name="*" minlevel="Error" writeTo="ImmediateWindow" />
    10. -->
    11. <logger name="*" minlevel="Error" writeTo="AWf" />
    12. <logger name="*" minlevel="Error" writeTo="VSDebugger" />
    13. </rules>
    14. </nlog>
    Alles anzeigen
    Ember latest Version - Ember | SPENDEN für Ember | Patreon
  • Hallo DanCooper,
    an der Dauer hat sich nichts geändert und im Log steht nur noch ein Eintrag, der anscheinend direkt zu Beginn eingetragen wurde.

    [SENDToTrakt] Error during Request!

    Kann ich persönlich nicht deuten.

    Mmmm, ob es etwas damit zu tun hat, dass ich Ember in meinem Documents Ordner abgelegt habe? Windows sollte es doch egal sein, wenn der Prozess die Rechte in diesem Unterverzeichnis hat.
    C:\Users\tklein\Documents\Ember\Ember Media Manager BETA\
    Die Version 1.3 habe ich zumindest damals dort abgelegt:
    C:\Program Files (x86)\Ember_1.3.0.20\
    Ich könnte es heute Nachmittag einmal im c:\progamm files (x86) testen?
    Gruß tklein
    Dateien
    • 2018-01-10.csv

      (177 Byte, 1 mal heruntergeladen, zuletzt: )
  • Es wurde in der Vergangenheit immer empfohlen Ember nicht in Windows Verzeichnissen zu nutzen. Das könnte ein Hinweis sein, erklärt aber nicht, warum die Serien normal schnell eingelesen werden.

    Ich schätze mal, der Fehler ist vom Trakt Modul, das mit der Trakt.tv Webseite deine Sammlung abgleichen kann, auch um in Kodi den "Gesehen Status" zu synchronisieren. Evtl. hast du da ne Einstellung die nicht korrekt arbeitet.
  • nadkp schrieb:

    Ich schätze mal, der Fehler ist vom Trakt Modul
    Der Fehler taucht immer auf beim Start, wenn man keinen Login angegeben hat oder aktuell, weil das Trakt Modul defekt ist. Daran liegt es nicht.
    Du hast aber betreffend "geschützer" Verzeichnisse wie Programme usw. recht, diese sollte man nicht benutzen. Grund dafür ist, dass Ember aktuell alle Einstellungen im Installationsordner speichert, was bei C:\Programme nur im Admin-Modul möglich ist.
    Ember latest Version - Ember | SPENDEN für Ember | Patreon
  • Hallo,
    hatte Ember im Documents Ordner testweise als Administrator ausführen gestartet: Kein Unterschied.
    Danach habe ich mal Ember in C:\temp\Ember abgelegt, die Einstellungen wie oben in den zip-Files gemacht und den Erst Scan laufen lassen. Überraschend hat dies schon mal nur ziemlich genau eine Stunde gedauert. (18:14 bis 19:14)
    Das anschließende "Datenbank aktualisieren" läuft jetzt auch schon wieder 7 Minuten und scheint nicht schneller als zuvor. "Bereite vor (Sammle Daten)..." Werde abwarten müssen und später berichten.
    Evtl. probiere ich auch noch die x86er Ember Version aus. Hatte, glaube ich, bisher immer die 64Bit Version genommen. (Habe Windows10 64Bit mit 16GB Ram)
    Gruß tklein