Scrapen dauert sehr lange - falsche Einstellungen?

  • Ember hat ca. 52 Filme gescrapt in ungefähr 2 bis 3 Stunden, das scheint mir sehr langee zu sein. Können da falsche Einstellungen ursächlich für sein? Falls ja, was müßte ich ändern?

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel

  • Nei, eigentlich nicht.
    Das Downloaden der Trailer dauert je nach Quelle etwas länger. Öfters ist auch der TMDB-Server überlastet. Ich überprüfe den Status jeweils hier: http://www.isitdownrightnow.com/themoviedb.org.html

    Ich würde mal den Benutzerdefinierten Scraper benutzen, da das Trailer-Scrapen deaktivieren und vergleichen. Den Benutzerdefinierten Scraper findest du unter Medien Scrapen in der Hauptansicht.

  • Vielen Dank DanCooper,

    glaube, das Laden der Trailer habe ich abgestellt.

    Dankesehr für den Link.

    Zitat

    Ich würde mal den Benutzerdefinierten Scraper benutzen, da das Trailer-Scrapen deaktivieren und vergleichen. Den Benutzerdefinierten Scraper findest du unter Medien Scrapen in der Hauptansicht.


    Gut, werde ich mal ausprobieren.

    Vielen Dank

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel

  • Ember hat ca. 52 Filme gescrapt in ungefähr 2 bis 3 Stunden, das scheint mir sehr langee zu sein. Können da falsche Einstellungen ursächlich für sein? Falls ja, was müßte ich ändern?

    Hast du im Hintergrund noch Downlaods /Downloadmanager laufen? Wenn neben Ember parallel noch gedownloadet wird, dann dauert das Scrapen bei mir auch sehhhhr lange :)

    Externer Inhalt freezerslair.de
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
  • Ja, habe ich immer, aber so lange wie bei diesen Filmen hat es glaube ich noch nie gedauert. Glaube, die Downloads haben auch nicht die volle Brandbreite genutzt, so daß für Ember noch genug hätte da sein müssen.

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel

  • Gibt es da nicht noch irgendeine Möglichkeit, es zu beschleunigen? In einer Stunde sind vielleicht gerade mal 20 Filme gescrapt. Das heißt, bei vielleicht 3500 Filmen würde ich dann ja vielleicht über eine Woche brauchen (vorausgesetzt der Scraper liefe 24 Stunden täglich, ohne Unterbrechung), das wäre also nicht (sinnvoll) machbar.

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel

  • Mir ist in letzter Zeit aufgefallen, dass die TMDB oder Fanart.tv API Server zwischendurch extrem langsam waren. Da lässt sich in Ember leider nichts ändern.
    Was etwas bringen würde, wäre die anderen Bilder-Scraper zu deaktivieren... falls Du die überhaupt aktiviert hast. Denn nur TMDB und Fanart.tv haben eine API, bei allen anderen werden die Links und Infos von den Websiten geparst, was mehr Zeit benötigt.

    Ich habe in den Datenscrapern Moviepilot und OFDB für das nächste Release einiges angepasst, die sind dann auch deutlich schneller. Die scheinen bei dir aber eh nicht in Verwendung zu sein.

  • Gut, verstehe. Vielen Dank.

    Bei mir sieht es momentan so aus: http://i.imgur.com/vMXA75a.png
    Dann habe ich das jetzt so geändert, daß es schneller gehen können sollte: http://i.imgur.com/eH3ucuQ.png

    Kann ich eigentlich ablesen - anhand etwa einer Zahl - wieviel Filme schon korrekt gesrapt sind?

    Läßt sich eigentlich vermeiden, daß das / die Fenster bei jedem neuen Öffnen mit den Schaltflächen unter die System Tray kommen: http://i.imgur.com/pgfrqXt.png

    Und, wenn ich nur die ungesprapten Filme spcrapen will, wie mache ich das? "Unvollständige Dat.-Sätze" wohl nicht. "Neue Filme" vielleicht klicken? Nein, das scheint nicht zu funktionieren. "Alle markierten" zu scrapen, kriege ich auch nicht zum Funktionieren, es erscheint ganz kurz der Hinweis "Scrapen abbrechen", dann passiert nichts, obwohl über 2000 Filme markiert sind.

    Vielen Dank nochmals.

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel

    3 Mal editiert, zuletzt von Biff (20. November 2014 um 14:29)

  • Bilder sieht gut aus.
    Was ich jedoch nixht verstehe, und sicher auch zur längeren Scraptdauer beiträgt, warum du alle Datenscraper aktiviert hast. Nutzt du da überhaupt Felder, die nicht beriets vom ersten Scraper gefüllt werden?
    Vielleicht hast du das nicht richtig verstanden, aber das ganze funktioniert folgendermassen:
    Der oberste Scraper hat höchste Priorität, die nachfolgenden werden als Fallback genutzt, falls ein Feld nicht von einem vorherigen Scraper gefüllt wird. Die einzigen Scraper, die Filme suchen können sind TMDB und IMDB. Da TMDB eine API hat werden Suchergebnisse schneller gefunden als bei IMDB. Bei IMDB muss die Seite geparst werden, was länger dauert. Deshalb würde ich TMDB an erste Stelle verschieben. OFDB würde ich komplett deaktivieren, da erstens die Plots nicht gerade sehr gut sind und dich die Website blockiert, wenn zu viele Abfragen innerhalb zu kurzer Zeit (nach ca. 80 Filmen mit dem automatischen Scraper) getätigt werden. Bei IMDB würde ich nur die Bewertung und Stimmen holen, da diese meiner Meinung nach repräsentativer sind als jene von TMDB, ausserdem sind die restlichen Inhalte von IMDB alle englisch. Bei Moviepilot hole ich nur die Freigaben, falls diese bei TMDB nicht vorhanden sind.

    Wenn du die Scraper auf das nötigste reduzierst wird der Vorgang sicher um einiges schneller gehen. MPAA kannst du übrigens in den globalen Einstellungen komplett deaktivieren wenn Du FSK verwenden willst. Dazu musst du nur die Altersfreigabe auf Germany setzen, die Option Verwende Altersfreigabe für MPAA" aktivieren und bei mindestens einem Scraper auch die Altersfreigaben aktiviert haben.

  • Zitat

    Was ich jedoch nixht verstehe, und sicher auch zur längeren Scraptdauer beiträgt, warum du alle Datenscraper aktiviert hast. Nutzt du da überhaupt Felder, die nicht beriets vom ersten Scraper gefüllt werden?


    Ja, bestimmt, aber ich dachte, wenn es für bestimmte Felder keine Informationen gibt, werden die Felder automatisch vom nächsten Scraper erfaßt.

    Zitat

    Der oberste Scraper hat höchste Priorität, die nachfolgenden werden als Fallback genutzt, falls ein Feld nicht von einem vorherigen Scraper gefüllt wird.


    Ah ja, das meinte ich. Wird auch auf andere Scraper zurückgegriffen, wenn keine Daten beim Ersten gefunden werden, wenn bei den Folgescrapern nichts aktiviert ist, also keine Kästchen angekreuzt sind?

    Zitat

    Bei IMDB muss die Seite geparst werden, was länger dauert.


    Also, die ganze Seite muß durchsucht werden von Ember.

    Zitat

    Deshalb würde ich TMDB an erste Stelle verschieben.


    Aber wie mache ich das? Ach da, Pfeile, hatte ich nicht gesehen.

    Dann müßte das so in Ordnung sein, oder:
    http://i.imgur.com/gX0SwmR.png?
    http://i.imgur.com/nKjZQOG.png
    http://i.imgur.com/ZvAWlbY.png
    http://i.imgur.com/RWhfUy4.png und so geändert: http://i.imgur.com/2OCK64y.png

    Das hatte ich auch nocht geschrieben:
    Kann ich eigentlich ablesen - anhand etwa einer Zahl - wieviel Filme schon korrekt gesrapt sind?

    Und, wenn ich nur die ungesprapten Filme spcrapen will, wie mache ich das? "Unvollständige Dat.-Sätze" wohl nicht. "Neue Filme" vielleicht klicken? Nein, das scheint nicht zu funktionieren. "Alle markierten" zu scrapen, kriege ich auch nicht zum Funktionieren, es erscheint ganz kurz der Hinweis "Scrapen abbrechen", dann passiert nichts, obwohl über 2000 Filme markiert sind.

    Herzlichen Dank.

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel

    Einmal editiert, zuletzt von Biff (20. November 2014 um 15:11)

  • Ja, natürlich.

    Ach ja, die Sprache. Danke. Sollte ich "Auf Englisch zurückgreifen" ankreuzen? Bedeutet wohl, daß wenn eine Informaiton nicht in deutsch vorhanden ist, wird die englische dafür genommen. Oder würde damit unterbunden werden, daß die Information vom IMDB nicht geholt wird?

    Zitat

    bei den globalen Einstellungen noch "Original Titel" und "Benutze Altersfreigabe für MPAA (XBMC)" aktivieren


    Habe ich gemacht.

    Herzlichen Dank.

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel

  • Ja, parsen bedeutet die Webseite aufrufen wie im Browser, HTML auslesen und benötigte Daten rausfiltern.

    "Auf Englisch zurückgreifen" bei TMDB bedeutet, dass die englischen Infos verwendet werden, falls ein im aktiviertes Feld auf TMDB nicht übersetzt worden ist. Da dies eine Scraper Einstellung ist, wirkt sie auch nur bei diesem Scraper, d.h. die Info wird nicht von IMDB oder einem nachfolgenden Scraper verwendet, sonder die Info wird bei TMDB auf englisch abgefragt. Ich verwende das nicht, denn so lässt sich per Filter überprüfen, ob bei einem Film ein Inhalt beim scrapen noch nicht verfügbar war. Ich will ja nicht deutsche und englische Inhalte mischen.

    Hier noch ein paar Infos zur Funktionsweise der Scraper:

    • Ein Scraper wird nur verwendet, wenn er aktiviert ist (aktivierte Scraper haben einen grünen Hacken). Das ist unabhängig davon, ob beim Scraper einzelne Felder aktiviert sind oder nicht.
    • Felder, die in den globalen Einstellungen deaktiviert sind, werden nicht gescraped, unabhängig davon, ob sie bei einzelnen Scrapern aktiviert sind oder nicht.
    • Die Scraper werden von oben nach unten durchgearbeitet. Wenn ein Feld bei mehreren Scrapern aktiviert ist wird die Info von dem Scraper benutzt, der das Feld als erstes füllen kann. Es macht also keinen Sinn, bei allen Scrapern alle Felder zu aktivieren. Im Gegenteil, das würde den Scrapevorgang erheblich verlängern, da bei Scrapern ohne API jedes Feld geparst werden würde, egal ob es später verwendet wird oder nicht. Es werden nämlich erst alle Scraper ausgeführt, erst danach wird das "Scrapeergebnis" aus den Ergebnissen der einzelnen Scrapern erstellt.
      Alle Felder zu aktivieren würde nur Sinn machen, wenn man die Option "Zeige Scrape-Resultate in detailierter Ansicht" aktiviert und wirklich von Hand (also nicht mit Autoscraper) die Ergebnisse der einzelnen Scraper aussuchen will.

    Zu deinen anderen Fragen:
    Nein, man sieht zur Zeit noch nicht, welche Filme bereits korrekt gescrapt sind. Es stellt sich natürlich die Frage, was "korrekt" gescraped beudeuten soll (?). Es gibt in der Datenbank aber bereits ein Feld, in dem der letzte Scrape-Zeitpunkt gespeichert wird. Dieses Feld wird zur zeit aber noch nicht in GUI für irgendwelche Funktionen genutzt. Ich hab da ein paar Ideen wie z.B. die Wiederaufnahme eines abgebrochenen Scrape-Vorgangs nach einem Absturz von Ember osä...

    "Unvollständige Datensätze" bedeutet:
    Es werden z.B. alle Filme gescrapt, bei denen noch kein Poster vorhanden ist (grüner Hacken in der Filmliste fehlt).
    Jenachdem, was Du im Menü auswählst, wird das bei den Filmen gescrapt, bei denen der Content fehlt. Es gibt da zwar ein Menüpunkt "Nur NFO", damit werden aber nur die Filme gescrapt, die noch GAR KEINE NFO haben. Deshalb war warscheinlich bei Dir der Vorgang nach wenigen Sekunden abgeschlossen.

    "Neue Filme" bedeutet:
    Neue Filme sind die, welche einen grünen Text haben. Die Filme sind nur nach einem DB-Update neu. Sobald Du ein weiteres Mal die DB aktualisierst, werden alle zuvor als "Neu" markierte Filme erstmal "demarkiert". Falls Du möchtest, dass die Filme markiert bleiben, kannst Du in den "Einstellungen -> Filme -> Allgemein -> Neue Filme fest markieren" aktivieren. Damit werden neue Filme rot markiert, was dem normalen Markieren mit CTRL+M bzw. "rechter Maustaste -> Markieren" oder dem Button "Alle markieren" entspricht. Diese Filme reagieren dann auf das Autoscrape-Menü "Markierte Filme".
    Rot markierte Filme müssen manuell "demarkiert" werden.


    Ab dem nächsten Relese wird es dann übrigens wieder getrennte Einstellungen für MPAA und Altersfreigaben geben. Die jetzige Lösung mit der Kombinierten Einstellung verwirrt zu sehr. Denn MPAA sind nur die amerikanischen Altersfreigaben, und nur der IMDB Scraper kann diese ermitteln. Alle anderen Scraper liefern nur Certifications (Altersfreigaben).


    Ich hoffe das schafft ein wenig Klarheit, ansonsten nochmals melden.

  • Ah, schon zurück. Vielen Dank.

    Gut, das habe ich alles verstanden, glaube ich, ist ja super erklärt, vielen Dank.

    Also, völlig ungesprapte Filme, für die noch überhaupt keine Informationen geladen worden sind, können nicht einfach so in einem Vorgang automatisch gescrapt werden, die müßten dann eben einfach markiert werden, wohl am besten, indem man auf die nfo-Spalte klickt, so daß die Filme geordnet werden in der Liste und sich dann alle Filme einfach markieren lassen, die ohne nfo sind.

    Was ich noch nicht verstehe, ist, warum so die markierten Filme nicht gescapt werden: http://i.imgur.com/dES5PPT.png
    Aber so geht es: http://i.imgur.com/MFVmzPY.png

    Aber das Scrapen dauert immer noch lange wie zuvor, obwohl es das ja eigentlich wohl gar nicht mehr kann, da ich ja die Einstellungen geändert habe, komisch.

    Herzlichen Dank nochmals.

    Windows 10 Home, 64bit | aktuelles, stabiles Kodi, portabel


  • Das ist ganz einfach - die Filme hast Du nur ausgewählt und nicht markiert. Markiert sind die Filme nur, wenn sie in der Liste rot sind.
    Deswegen klappt es im ersten Fall bei Dir nicht und im zweiten Fall klappt es.


    Genau.
    Das eine ist "selektiert" bzw. "ausgewählt", das andere ist "markiert" (CTRL+M oder über Context-Menü).
    Selektiert bzw. ausgewählt geht nur über das Context-Menü.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!