Scrape-Dauer: Standrechner vs. Pi ... bin ich zu blöd, oder gehört das so?

  • Hallo Welt!

    Nachdem ich am Wochenende etwas Zeit hatte und noch ein Pi gefunden habe, dachte ich mir "ok, probieren wir halt mal xbian aus".
    Soweit so gut, hat nach ein wenig Orientierungszeit auch alles gut funktioniert, konfiguriert auch, deutsches Tastaturlayout usw.

    Etwas desillusioniert hat mich dann das erstmalige Scrapen. Meine Sammlung ist nicht besonders groß, ich habe derzeit auf meinem Synology 140 Filme in 1080p und knapp 600 Folgen von 5 Serien. Das erstmalige Scrapen dauert mit meinem Pi (B,256MB,WiFi) STUNDEN. Am Anfang dachte ich noch, das Ding sei einfach eingefroren, aber nein, das dauert einfach. Getestet mit und ohne Übertaktung, mit WLAN oder Kabel, kein Unterschied.

    (edit: Als Scraper sind xbian-Standarcscraper eingestellt, MovieDB und TVDB eingstellt)

    Um den Prozess zu beschleunigen (> 4 Stunden), habe ich dann wieder ein bisschen gelesen und mit Filebot mal meine Files alle korrekt nach moviedb und tvdb benannt, die Filme in eigene Ordner sortiert usw. Dann mit Ember Media Manager die NFO-Files erstellt und Banner, Poster etc. runtergeladen. In der Hoffnung auf gehörigen Geschwindigkeitzuwachs das xbian-image auf die SD-Karte kopiert, gestartet, Netzwerkfreigabe hinzugefügt, aktualisieren gedrückt und... business as usual... langsam. Sehr.

    Zum Vergleich habe ich mir jetzt XBMC (12.2) für Windows auf meinen Standrechner (i7-3770K) installiert. Das Scrapen hat exakt 30 Sekunden (!) gedauert, dann war alles genau da, wo es sein soll. Da hats mich dann erst mal auf den Arsch gesetzt. Mir ist natürlich klar, dass der Leistungsvergleich zwischen einem Pi und einem i7-3770K, aber... wtf?

    Ich bin eigentlich davon ausgegangen, dass das ordentliche Aufbereiten der Metadaten (nfo,Bilderchen) zu den Filmen und Folgen dazu führen würde, dass auch das Pi sich ein wenig leichter tut beim scrapen... aber irgendwas ist mir hier entweder entgangen, oder ich habs falsch verstanden.

    Auf jeden Fall bin ich mit meinem Arbeitsprozess derzeit unzufrieden. Testweise habe ich auf dem Standrechner die Videobibliothek exportiert, auf die SC-Karte kopiert und versucht das Teil dann auf dem Pi zu importieren. Ebenso langsam :/


    Kann mich vielleicht jemand aufklären:
    Sind diese extremen Wartezeiten beim Scrapen mit einem Pi denn normal?
    Welchen Grund kann es geben, dass das xbian auf dem Pi trotz bereits vorhandener nfo und IMHO allen benötigten Covers etc. dennoch so langsam ist?
    Was tut das Dings denn? Oder sitzt das Problem vor dem Keyboard?

    (edit: [HowTo] Video-, Film- und Serien-Scraper einstellen -> XBMC Datenbank füllen habe ich mir natürlich durchgelesen.)

    Für sachdienliche Hinweise bin ich äußerst dankbar! :)

  • Mit dem Pi ist das einlesen der DB sehr langsam. Ich kam bei meinen Tests selbst mit allen NFOs, Images usw lokal in den Ordner nicht unter ca. 100 Filme pro Stunde. Serien hatte ich nicht getestet würde aber erwarten das du hier für ca. 200 Episoden eine Stunde brauchst ... Über WLAN wird das wohl nochmal etwas langsamer sein ... Mehr kann der Pi einfach nicht leisten ... aber das Einlesen der kompletten Datenbank ist ja ein einmaliger Vorgang.

    Amazon Fire TV 4k | KODI 17.X
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 10 64 bit | KODI 17.X
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !

  • Mit dem Pi ist das einlesen der DB sehr langsam. Ich kam bei meinen Tests selbst mit allen NFOs, Images usw lokal in den Ordner nicht unter ca. 100 Filme pro Stunde. Serien hatte ich nicht getestet würde aber erwarten das du hier für ca. 200 Episoden eine Stunde brauchst ... Über WLAN wird das wohl nochmal etwas langsamer sein ... Mehr kann der Pi einfach nicht leisten ...

    OK, Danke. Dann kann ich zumindest ausschließen, dass ich etwas gröber vermurkst habe. Ich hatte mich nur ob des exorbitanten Unterschieds zum Standrechner gewundert, der eben in weniger als 60 Sekunden alles erledigt hatte und mich mit feuchten Augen zurückgelassen hat.

    Hm... kann ich nicht einfach die Datenbank vom Standrechner auf die SD-Karte vom Pi kopieren, ohne die "importieren" zu müssen? Die Pfade zum NAS ändern sich ja nicht.

  • Hm... kann ich nicht einfach die Datenbank vom Standrechner auf die SD-Karte vom Pi kopieren, ohne die "importieren" zu müssen? Die Pfade zum NAS ändern sich ja nicht.


    Wenn die Pfade und Quellen wirklich identisch sind und die XBMC Version die Gleiche ist geht das ja.

    Amazon Fire TV 4k | KODI 17.X
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 10 64 bit | KODI 17.X
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !

  • Auch wenns evtl. bissel overkill ist, du hast doch ne NAS. Pack dir da doch mysql drauf und mach dir ne mysql Datenbank für xbmc. So kannste z.b. immer vom schnellen Rechner aus scrapen und hast es dann direkt auf deinem pi. So mache ich das momentan auch da sparste dir die kopiererei und wenne mal nen 2. oder 3. htpc/pi dranhängst haste auch alles schon fertig.

    Client: Nvidia Shield TV 2015 (16gb)
    Server/NAS: Intel Core i7 4790T *** Gigabyte GA-H97n-WiFi *** 16GB DDR3-1600 *** Nanoxia Deep Silence 3 *** 1x 4TB Parity | 4x 4TB | 1x 250GB SDD Cache *** unRAID 6.8.x

  • Auch wenns evtl. bissel overkill ist, du hast doch ne NAS. Pack dir da doch mysql drauf und mach dir ne mysql Datenbank für xbmc. So kannste z.b. immer vom schnellen Rechner aus scrapen und hast es dann direkt auf deinem pi. So mache ich das momentan auch da sparste dir die kopiererei und wenne mal nen 2. oder 3. htpc/pi dranhängst haste auch alles schon fertig.

    Ja, die Variante mit mySQL-DB auf dem NAS hab ich mir schon durchgelesen, das wäre dann quasi mein Plan B gewesen.

    Ich habe fürs erste jetzt die DB vom Standrechner auf das Pi kopiert, Pi neu gestartet und es funktioniert. Das kopieren ist ja kein Aufwand, dauert ein paar Sekunden.

    Du hast natürlich Recht, dass es 'schöner' wäre, für die DB nur eine einzige Quelle zu haben. Vielleicht mach ich das auch noch in den nächsten Tagen.

    DB-Erstellung von > 5 Stunden auf 60 Sekunden. Vor allem beim nacharbeiten von Serien sehr angenehm, wenn diese mit den Ember-Daten nicht zu 100% funktionieren.

  • Meine MovieDB auf dem Pi ist noch recht kompakt (ca. 90 Filme), jedoch dauert der Einlesevorgang bei mir nicht länger als 10 Minuten.
    Der Pi ist übertaktet auf 1000mhz, es läuft das aktuellste gotham-build.

    Das Übertakten hat bei mir keine nennenswerten Veränderungen bewirkt. Ich bin mir auch nicht sicher, warum das ein dermaßen langwieriger Vorgang ist auf meinem Pi. Der Zeitraum ist für mich einfach indiskutabel. Selbst bei "langsamer" Hardware wie dem Pi können 140 Filme doch nicht STUNDEN dauern, da sind doch keine Datenmengen im Spiel, die gesamte DB ist keine 10MB groß... und die Artworks, Poster etc. sind ebenfalls schon alle vorhanden... irgendwo hakts hier einfach bei mir :/

  • hmm .. kann ich auch nicht nachvollziehen .. bei meinem Pi mit Openelec ... schafft er ca 400 Filme und 10 Serien ( jede Serie mehrere Staffeln ) in gut 30min .. komplett einzulesen ..

    - Openelec ( XBMC Gotham Beta ) laeuft auf HDD ( mit einem USB Stick ist es genauso schnell )
    - Pi ist auf 1000Mhz
    - alle Daten ( Film , nfo , Poster , Fanart ) liegen lokal auf der NAS
    - Verbindung zum NAS habe ich ueber NFS ...
    - beim Auswaehlen der Datenbank im XBMC hab ich nicht TMDB oder sowas gewaehlt .. sondern "Local Information only "


    EDIT / ebend nochmal einen Test gemacht ... habe 57 Filme innerhalb von 2 min eingelesen und ca 5000 mp3 in knapp 10 min

  • hmm .. kann ich auch nicht nachvollziehen .. bei meinem Pi mit Openelec ... schafft er ca 400 Filme und 10 Serien ( jede Serie mehrere Staffeln ) in gut 30min .. komplett einzulesen ..


    Habe das jetzt auch nochmal getestet. Mit XBMC Gotham Alpha funktioniert es um einiges schneller. Mit XBMC 12 Frodo dauert es beim Pi aber wirklich ENDLOS ... Da wurde einiges optimiert.

    Amazon Fire TV 4k | KODI 17.X
    HTPC: ASUS F2A85-M LE | A6-5400K | 4GB DDR3-1866 | 128GB SSD | Windows 10 64 bit | KODI 17.X
    AVR: Onkyo TX-NR509 5.1 + Teufel Consono 35
    TV: Samsung UE55ES6300 55"
    FB: Harmony 785

    Wo finde ich das xbmc.log File?

    Wer einen Rechtschreibfehler findet darf ihn behalten !

  • Das sind doch gute Neuigkeiten das dass wohl ein neues Feature von xbmc ist.

    Btw Frohe Weihnachten ;)

    Client1: ML03B|GA-A75M-UD2H|MSI R5450|A4-3400 2x2.70GHz|8GB DDR3-1600|LE 7.0.2
    Client2:RPI2|LE 7.0.2
    NAS 1: DS211J
    NAS 2: Define Nano S|ASRock H110M|G4560 2x 3.50GHz|8GB|OMV 3.x|Emby Server 3.x
    SKIN: Estuary.Refresh
    Display: Samsung 55 Zoll
    PVR: VU Duo 2|3TB
    FB: Harmony 600
    Amp: OnkyoTX626
    Center VOKAL
    Front: ZENZOR5
    Surround: ZENZOR1

  • Moin!

    Hab auf meinem Pi derzeit OpenElec 3.2.4 drauf und das Einlesen von ca. 3000 Musikdateien im Flac-Format hat auch nur ca. 10 Minuten gedauert. War selbst überrahscht, da ich hier gelesen habe, wei langsam das sein soll

    bei Filme und Serien wird man es merken das Openelec 3.2.4 sehr langsam ist beim einlesen .. weil es da noch nicht den Punkt gibt " Local Information only " dadurch sucht er zusätzlich noch im Internet bei jedem File

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!