MySQL beschleunigen bei großer DB

Zitat von osratze

Das XBMC (Openelec) startet sehr schnell ins XBMC "Hauptmenü"... wenn ich dann jedoch auf meine Film-DB gehe, dauert es gute 10 Sekunden bis die DB sich öffnet (also alle Videofiles im XBMC zu sehen sind).

Welche Hardware hat der HTPC ? bei einer ATOM oder anderen OnBoard CPU kann man da nicht viel gegen tun ... Aus dem Grund habe ich auch meine ATOM CPU gegen einen AMD A6 eingetauscht.

EDIT: Gerade mal geschaut deine Clients haben nur eine Atom D525 denke mal daran wird es liegen. Am Hauptrechner mit Windows hast du solche Verzögerungen nicht oder ?

Also ich habe auch 3 Clients an einem mySQL-Server (WHS2011), allerdings nicht so viele Filme. Ca. 660 aber dafür nochmal ca. 4500 TV-Episoden. Alle Clients werkeln unter Windows 7 auch mit Path Substitution, 2 davon sind "richtige" PCs und ein Shuttle XS35GTv2. Letzterer ist bei mir auch deutlich träger in der Bedienung, die PCs sind deutlich schneller auch wenn einer davon noch einen uralten Dual-Core-Athlon als Motor besitzt.
Bisher hat es mich jedenfalls noch nicht gestört. Ob es wirklich die Thumbs sind? Glaube ich nicht, denn dann müsste es ja überall gleich langsam sein. Und das ist bei mir nicht der Fall.

Unter Frodo soll man übrigens die Path Substitution nicht mehr nutzen, das ist auch in der Upgrade-FAQ so ausgeführt, dass unter mySQL die Thumbnails lokal auf jedem Client vorgehalten werden sollen. Wenn Deine Theorie stimmt, müsste es dann flüssiger laufen ... das Ergebnis würde mich auch interessieren, ich spiele momentan aber nur kurz mit Frodo und bleibe mit dem "Produktivsystem" erstmal weiter auf Eden.

Zitat von osratze

Die Clients wecken beim Start von XBMC (bzw. Openelec) das NAS automatisch per WOL auf und halten es dann mittels WOL-Addon wach.

Kannst du mir sagen wie du das automatisch machst?

Benutze zwar Windows mich würde es trotzdem interessieren. Unter Windows hab ich es bis jetzt nicht automatisch geschaft sondern nur über ein Extra Programm, was auch wieder bedient werden muss.

ich hab mir die datenbank noch nicht angesehen...aber eigentlich sollte die datenbank nur über adressen bilder referenzieren...niemand der weiss was er tut speichert bilder freiwillig in einer mysql datenbank. wenn korrekt dann wäre das netz der flaschenhals und nicht die datenbank

... macht er ja nicht, sondern lädt sie per path-substitution, also smb.

dann ist der thread titel doch schon irreführend...mysql ist wahrscheinlich das einzige was spitze läuft

ja, aber das war zum Zeitpunkt des thread-erstellens noch nicht klar.

wie sieht denn so eine datenbank referenz aus? wenn es der volle pfad ist dann wird schon alleine nichts drauss weil sich linux/unix pfade von windows unterscheiden. bei relativen pfaden sieht es schon besser aus...aber dann müsste man der datenbank bzw dem client xbmc sagen können das die datenbank lediglich die adresse hält und man mit der information trotzdem lokal im dateisystem suchen muss

dann könntest du die grafiken im prinzip auf jedem client ablegen...aber wie willst du das ganze dann synchron halten? sieht nicht so gut aus

Für systemabhängige Pfade nutzt xbmc das "special protocol" und/oder auch path-substitution.
Er könnte auch auf OS Ebene die thumbnails mounten, z.B. per nfs, evtl. geht das schneller.

nfs macht er ja schon...

wenn frodo und lokale thumbs das problem gelösst haben ist ja schön....aber immernoch die frage...wie hält sich das ganze synchron über mehrere rechner ?

... aber nicht auf os ebene und nicht zwingend per nfs, zumindest die thumbs. (habe gerade erst geshen, dass mittlerweile in der path-substitution verschiedene Netzwerkprotokolle möglich sind)

osratze kannst du diese Batch-Datei für Windows hochladen?
Ich bräuchte genau so etwas auch für meinen Server.

Weiters könntest du bitte erklären wie du das mit automatisch anpiggen gemacht hast und bei nicht erreichen der Server sich abschaltet?

Hört sich nach einer genialen Lösung an.
Dankeschön schonmal

Also, ich habe jetzt 3 Clients mit Frodo und mySQL laufen und es klappt gut.
Die Thumbs liegen jetzt alle lokal und bis auf ein anfängliches Problem mit den Moviesets-Bildern funktioniert das besser als gedacht.

Ich denke, dass die Bildquelle (in Form einer URL oder was ähnlichem) in der mySQL-Datenbank gespeichert wird. Das gilt sowohl für lokale Resourcen (poster.jpg) als auch für zusätzliche Artwork.
Wenn jetzt ein neuer Client also zum ersten Mal auf die mySQL-DB zugreift, dann findet er dort auch die Infos, wo er diie Quelldatei findet und holt sie sich von da. Bei u.U. nicht lokal vorhandenen Quellen (also zum Beispiel Clearart, disc.png, Logos etc.) lädt er diese dann aus dem Internet nach. Dessen sollte man sich bewusst sein, es gibt also beim ersten Aufruf dieser Daten auf jedem Client einen zeitlichen Verzug, der vom eigenen Internetzugang und von der Verfügbarkeit von fanart.tv usw. abhängt.

Je nach Größe der Bibliothek empfehle ich das vollständige Einrichten von XBMC auf einem Client und dann das Kopieren der texture13.db und des Thumbnail-Ordners auf alle anderen Clients, dann beschränkt sich obiges Verhalten nur auf neue Medien.

Jemand schon damit Erfahrung ?

MySQL optimieren


ALTER TABLE movie ADD INDEX ix_idFile(idFile);
ALTER TABLE movie ADD INDEX idMovie(idMovie);
ALTER TABLE movie ADD INDEX idFile(idFile);

Habe selbst 2600 Movies und 11k Episoden in der DB ... kam aber noch nicht dazu...

Um die Auswirkungen zu überprüfen, müsste man wissen, wie man da reproduzierbar was testen kann. Hat da jemand eine Idee?

Man müsste typische SQL-Beispielabfragen von XBMC kennen und dort die Zeit messen können. Dann sieht man ja, ob es was bringt. Bin leider nicht so der DB-Crack  

EDIT: 2600 Filme ist aber schon echt viel (für meine Verhältnisse). Darf ich mal fragen, wieviel Speicherplatz Dir zur Verfügung steht?