Watched-Flags aus mehreren Datenbanken zusammenführen

Probier mal folgendes ...
Die Date MyVideos<nummer>.db.sql öffnen (am besten mit Notepad++) und folgende SQL Befehle kopieren:

CREATE TABLE IF NOT EXISTS "movie" (
...
);
CREATE TABLE IF NOT EXISTS "files" (
...
);
CREATE TABLE IF NOT EXISTS "episode" (
...
);
INSERT INTO "movie" VALUES (...);
INSERT INTO "movie" VALUES (...);
usw.
INSERT INTO "files" VALUES (...);
INSERT INTO "files" VALUES (...);
usw.
INSERT INTO "episode" VALUES (...);
INSERT INTO "episode" VALUES (...);
usw.
CREATE VIEW playCount_m_v AS
 SELECT
  m.c00,
  m.premiered,
  f.playCount,
  f.lastPlayed,
  f.dateAdded
 FROM files f, movie m
 WHERE f.idFile = m.idFile
  AND f.playCount IS NOT NULL
 ORDER BY m.c00;
CREATE VIEW playCount_e_v AS
 SELECT 
  e.c00,
  e.c05,
  f.playCount,
  f.lastPlayed,
  f.dateAdded
 FROM files f, episode e
 WHERE f.idFile = e.idFile
  AND f.playCount IS NOT NULL
 ORDER BY e.c12, e.c13;

Dann eine neue Datenbank (Name z.B. 'MyVideos116old1') in phpMyAdmin anlegen und für diese Datenbank die SQL Befehle ausführen.

Nein bitte kein Import. Da hast du mich vielleicht falsch verstanden.

Probiere mal nur die eine Tabelle zu erstellen:

CREATE TABLE IF NOT EXISTS "movie" (
    "idMovie"    integer,
    "idFile"    integer,
    "c00"    text,
    "c01"    text,
    "c02"    text,
    "c03"    text,
    "c04"    text,
    "c05"    text,
    "c06"    text,
    "c07"    text,
    "c08"    text,
    "c09"    text,
    "c10"    text,
    "c11"    text,
    "c12"    text,
    "c13"    text,
    "c14"    text,
    "c15"    text,
    "c16"    text,
    "c17"    text,
    "c18"    text,
    "c19"    text,
    "c20"    text,
    "c21"    text,
    "c22"    text,
    "c23"    text,
    "idSet"    integer,
    "userrating"    integer,
    "premiered"    text,
    PRIMARY KEY("idMovie")
);

In phpMyAdmin muss es einen Editor geben, dort den SQL-Befehl eingeben und laufen lassen.

Hab eine Vermutung woran es liegen könnte.

Die Tabelle 'movie' ist doch in deiner neuen MariaDB schon vorhanden. Schick doch mal einen screenshot der SQL syntax von der Tabelle 'movie'.

Vermute das die data types unterschiedlich sind.

Wäre es denn nicht insgesamt einfacher, sich aus den Originaldatenbanken einfach die benötigten Infos direkt zu kopieren?

Der Übersichtlichkeit halber vielleicht nach Medientyp getrennt, z.B. für Filme (modifiziert nach Original von JakeB):

SELECT
 m.c00 AS Filmtitel,
 m.premiered AS Jahr,
 f.playCount,
 f.lastPlayed,
 f.dateAdded
 FROM files f
  LEFT JOIN movie m ON f.idFile = m.idFile
 WHERE f.playCount IS NOT NULL AND m.c00 IS NOT NULL
 ORDER BY m.c00;

Dann im DB Browser in der Vorschau mit CTRL+A alles markieren, rechts klicken und "Als SQL kopieren". Das gibt dann ganz viele "INSERT INTO" Anweisungen, die muss man dann eben in "UPDATE" Anweisungen für die neue Tabelle umarbeiten:

Vorher:

INSERT INTO "main"."" ("Filmtitel", "Jahr", "playCount", "lastPlayed", "dateAdded") VALUES ('Collateral Beauty', '2016-12-06', '1', '2020-10-31 20:27:37', '2018-06-15 01:37:37');

Nachher:

UPDATE Filmtabelle
SET playCount = '1', lastPlayed = '2020-10-31 20:27:37', dateAdded = '2018-06-15 01:37:37'
WHERE Filmtitel = 'Collateral Beauty'

(Tabellenname fiktional, weiß ja nicht, wie die Zieldatenbank aussieht

Oder denke ich da zu einfach?

Diese screenshots helfen nicht weiter. In suche etwas über die Datenbankstruktur dieser Tabelle.
Hier ist ein Ausschnitt aus dem 'DB Browser for SQLite':

So etwas brauche ich aus phpMyAdmin von deiner schon bestehenden movie Tabelle.
Vermutlich sind das die richtigen data types und vielleicht erscheint auch die <number>.

Shuddery:
Den Trick kannte ich noch gar nicht, dass man daraus INSERT Befehle erstellen kann. Aber deinen Vorschlag habe ich früher auf eine andere Weise genutzt:
1. via SELECT werden UPDATE Befehle erzeugt
Beispiel für Filme aus der Bibliothek:

UPDATE files SET playCount = 1, lastPlayed = 'YYYY-MM-DD hh:mm:ss', dateAdded = 'YYYY-MM-DD hh:mm:ss' WHERE idFile IN (SELECT idFile FROM movie WHERE c00 = 'Filmtitel' AND premiered = 'YYYY');

2. Speichern als csv file
3. Umwandeln in xls file und noch etwas anpassen. Das war damals unter LibreOffice einfacher als wie mit Excel.
4. Der fertige Inhalt kann dann einfach in einer sql Datei gespeichert werden.

In Punkt 3 müsste ich mich erstmal wieder reinarbeiten. Das rumgefrimel für Punkt 3 war damals auch der Grund, dass ich die Methode mit dem Anhängen einer Datenbank bevorzuge.

Da muss man eigentlich nicht viel selbst machen, das erledigt Notepad++ (oder jeder andere ernstzunehmende Editor) mit regulären Ausdrücken ganz alleine.

Für Notepad++:

• Suchen und Ersetzen öffnen
• Suchen nach:
  
  Code

  .* VALUES \('(.*)', '(.*)', '(.*)', '(.*)'\);

• Ersetzen durch:
  
  SQL

  UPDATE files SET playCount = '\2', lastPlayed = '\3', dateAdded = '\4' WHERE strFilename = '\1' AND playCount = NULL

• Suchmodus: Reguläre Ausdrücke

• "alles ersetzen" anklicken.
• Anschließend das Ergebnis auf Plausibilität prüfen!
• Erst auf einer KOPIE der Tabelle prüfen! Bei Problemen mit der WHERE-Klausel kann es leicht passieren, dass einfach ALLE Einträge der Tabelle geändert werden.

Nachteil hier ist eben, dass das nur gut funktioniert, wenn die Dateinamen eindeutig sind. Wenn Serien immer nur "S01E01.mkv" heißen, dann klappt das natürlich nicht

@Shuddery: Funktioniert wunderbar!

@marky0736:
Das ist jetzt zwar nicht mehr entscheidend, aber mich würde doch interessieren ob der folgende Befehl jetzt auf der MariaDB funktioniert.

CREATE TABLE IF NOT EXISTS "movie" (
    "idMovie" int(11) NOT NULL AUTO_INCREMENT,
    "idFile" int(11),
    "c00" text,
    "c01" text,
    "c02" text,
    "c03" text,
    "c04" text,
    "c05" text,
    "c06" text,
    "c07" text,
    "c08" text,
    "c09" text,
    "c10" text,
    "c11" text,
    "c12" text,
    "c13" text,
    "c14" text,
    "c15" text,
    "c16" text,
    "c17" text,
    "c18" text,
    "c19" text,
    "c20" text,
    "c21" text,
    "c22" text,
    "c23" text,
    "idSet"    int(11),
    "userrating" int(11),
    "premiered" text,
    CONSTRAINT movie_pk PRIMARY KEY("idMovie")
);

Werde die Lösung von Shuddery jetzt auf Filme, Serien, Musikvideos und Dokus/Konzerte über Dateimodus übertragen.

Deine Konstellation (wenn ich jetzt alles richtig verstanden habe):
- Filme, Musikvideos und Serien befinden sich in der Bibliothek.
- Dokus und Konzerte werden via Dateimodus wiedergegeben.

Würde gerne nach dem Pfad nicht filtern*, aber kann ich auch davon ausgehen das die Doku/Konzert Dateien NUR EINMAL vorkommen?

In diesem Beispiel kommt 'Doku_1.ts' zweimal vor:
...\NAS-1\Dokus_1\Doku_1.ts
...\NAS-1\Dokus_1\Doku_2.ts
...\NAS-1\Dokus_1\Doku_3.ts
...\NAS-1\Dokus_1\Doku_4.ts

...\NAS-1\Dokus_2\Doku_1.ts
...\NAS-1\Dokus_2\Doku_2.mkv
...\NAS-1\Dokus_2\Doku_a.ts
...\NAS-1\Dokus_2\Doku_b.ts

...\NAS-1\Konzerte\Konzert_1.ts
...\NAS-1\Konzerte\Konzert_2.ts
...\NAS-1\Konzerte\Konzert_3.ts
...\NAS-1\Konzerte\Konzert_4.ts

*Man wäre dann unabhängig vom Pfad, also der Pfad könnte in der neuen Datenbank auch unterschiedlich sein.

Sind die Dokus und Konzerte ausschließlich einzelne Video-Dateien oder gibt es auch VIDEO_TS Dateien aus einer DVD-Ordner-Struktur oder Dateien aus einer Blu-ray-Ordner-Struktur?

Hallo marky0736,

da ich nie mit dem Dateimodus arbeite, habe ich jetzt ein Problem um an Testdaten zu kommen.

Quelle für Dateimodus z.B.:
...\NAS-1\Dokus_1\Doku_1.ts
...\NAS-1\Dokus_1\Doku_2.ts
...\NAS-1\Dokus_1\Doku_3.ts
...\NAS-1\Dokus_1\Doku_4.ts

> Dieser Ordner beinhaltet: hab es mit 'Filme' und 'Keine' ausprobiert aber kein Erfolg.

Wenn ich das Menü auswähle, gibt es keine Option 'Als 'gesehen' markieren' für Filme, Serienepisoden und einzelne Dateien. Die Datenbank ist jedes Mal kaputt, erst wenn die Quelle vom Dateimodus wieder entfernt wird, ist die Datenbank wieder okay.

Der Pfad für den Dateimodus wird in der Tabelle path eingetragen, aber die einzelnen Video-Dateien werden nicht in der Tabelle files angelegt.

Wenn ich die einzelnen Dateien in Ordner packe kann ich 'Als 'gesehen' markieren' und 'Als 'ungesehen' markieren' gleichzeitig auswählen und in der GUI wird das Häckchen nicht angezeigt.

Wie funktioniert denn die Aufnahme von Videos via Dateimodus?

MfG

Hallo marky0736,

- wenn ich die Quelle unter Videos hinzufüge ('Dieser Ordner beinhaltet' -> Keine) -> Kodi schmiert ab.
- Quelle wieder entfernen + Datenbank bereinigen -> Kodi schmiert ab

Hab langsam das Gefühl, dass ich die ganze Bibliothek erstmal wieder lösche.

Wo steht denn in deiner sources.xml die Quelle 'Dokus' unter <video></video> oder <files></files>?

MfG

Fehler war wohl das fehlende Speichern im 'DB Browser for SQLite'.
Nach dem Entfernen der Quelle, bleibt der Eintrag in der path Tabelle immer stehen. Da hilft auch kein 'Datenbank bereinigen'.

Das Arbeiten mit fake Video Dateien geht auch nicht, Kodi erwartet richtige Video Dateien.

Testdaten für Dateimodus sind jetzt also vorhanden und funktionieren korrekt.

Hallo @Shuddery,

mir ist gerade beim Testen aufgefallen, dass der Replace Befehl in Notepad++ nicht ganz sauber durchläuft.

z.B.

SELECT
 m.c00, -- Filmtitel
 m.premiered, -- Jahr 
 f.playCount,
 f.lastPlayed,
 f.dateAdded
 FROM movie m, files f
 WHERE m.idFile = f.idFile
 AND f.playCount IS NOT NULL
 ORDER BY m.c00;

Find what:

.* VALUES \('(.*)', '(.*)', '(.*)', '(.*)', '(.*)'\);

Replace with:

UPDATE files SET playCount = '\3', lastPlayed = '\4', dateAdded = '\5' WHERE idFile IN (SELECT idFile FROM movie WHERE c00 = "\1" AND premiered = '\2');

Ergebnis:

UPDATE files SET playCount = '1', lastPlayed = 'YYYY-MM-DD hh:mm:ss', dateAdded = 'YYYY-MM-DD hh:mm:ss' WHERE idFile IN SELECT idFile FROM movie WHERE c00 = "Film_xyz" AND premiered = 'YYYY';

Er löscht die Klammern um das SELECT statement. Kann man da was machen?

Falls nicht, könnte man zur Not: ...
- Ersetze 'SELECT' mit '(SELECT'
- Ersetze ';' mit ');'
... ausführen.

MfG

Ja, das kann man leicht beheben. Runde Klammern werden bei RegExp verwendet um Gruppen zu definieren. Wenn man tatsächlich eine Klammer verwenden will, muss man ein \ davor schreiben:

UPDATE files SET playCount = '\3', lastPlayed = '\4', dateAdded = '\5' WHERE idFile IN \(SELECT idFile FROM movie WHERE c00 = "\1" AND premiered = '\2'\);

Hallo @marky0736,

@Shuddery:
Vielen Dank für die Unterstützung!
Das Suchergebnis 'Als SQL kopieren' und via RegExp in Notepad++ zu bearbeiten ist genial ... und ich habe mich damals mit dem csv zu xls Export rumgeschlagen.

Vielleicht gibt es in phpMyAdmin ein tab 'SQL' für die Tabelle 'movie'. Hier müsste die korrekte SQL Syntax:

CREATE TABLE "movie" ( 
...
);

... stehen. Wie auch immer eine Lösung würde man sicherlich irgendwann finden, aber das spielt ja jetzt zum Glück keine Rolle mehr.

Watched-Flags aus einer alten Kodi-Datenbank auf die neue Kodi-Datenbank übertragen

Was machen die UPDATE scripts:
- wenn Filmtitel + Jahr übereinstimmen erfolgt ein Update
- wenn Episodentitel + First Aired übereinstimmen erfolgt ein Update
- wenn Dateiname (Dateimodus) übereinstimmt erfolgt ein Update

- drei Einträge werden in der Tabelle files aktualisiert:
-- gesehen (playCount)
-- wann zuletzt abgespielt (lastPlayed)
-- wann hinzugefügt (dateAdded) ... dateAdded IS NULL bei Dateiname

Vorbedingungen:
Um die Kodi-Datenbank zu bearbeiten benötigen wir einen DB-Editor (z.B. 'DB Browser for SQLite'): siehe link im Beitrag #9

Wichtig: Mit dem DB-Editor arbeiten wir zur Sicherheit NUR auf Kopien.

zum Beispiel:

alte Datenbank | neue Datenbank | Name der Kopie
----------------------------------------------------
MyVideos116.db | -              | MyVideos116old1.db
MyVideos116.db | -              | MyVideos116old2.db
MyVideos116.db | -              | MyVideos116old3.db
-              | MyVideos116.db | MyVideos116new.db

1.0 Suche nach Filmen mit playCount>=0 in der Bibliothek (Datenbank: MyVideos<number>old1.db):

SELECT
 m.c00, -- Filmtitel
 m.premiered, -- Jahr 
 f.playCount,
 f.lastPlayed,
 f.dateAdded
 FROM movie m, files f
 WHERE m.idFile = f.idFile
 AND f.playCount IS NOT NULL
 ORDER BY m.c00;

1.1 Das komplette Suchergebnis 'Als SQL kopieren' und in der Datei 'old-1_movie.sql' abspeichern.

1.2 Die Datei 'old-1_movie.sql' mit Notepad++ öffnen:
Search > Replace...
Find what:

.* VALUES \('(.*)', '(.*)', '(.*)', '(.*)', '(.*)'\);

Replace with:

UPDATE files SET playCount = '\3', lastPlayed = '\4', dateAdded = '\5' WHERE idFile IN \(SELECT idFile FROM movie WHERE c00 = "\1" AND premiered = '\2'\);

Regular expression [x]

Das Ergebnis sollte dann so aussehen:

UPDATE files SET playCount = '1', lastPlayed = 'YYYY-MM-DD hh:mm:ss', dateAdded = 'YYYY-MM-DD hh:mm:ss' WHERE idFile IN (SELECT idFile FROM movie WHERE c00 = "Filmtitel-1" AND premiered = 'YYYY');
UPDATE files SET playCount = '1', lastPlayed = 'YYYY-MM-DD hh:mm:ss', dateAdded = 'YYYY-MM-DD hh:mm:ss' WHERE idFile IN (SELECT idFile FROM movie WHERE c00 = "Filmtitel-2" AND premiered = 'YYYY');
usw.

2.0 Suche nach Serienepisoden mit playCount>=0 in der Bibliothek (Datenbank: MyVideos<number>old1.db):

Doppelte Einträge sollten nicht vorhanden sein. Zur Sicherheit überprüfen mit:

SELECT e.c00, e.c05, COUNT(e.c00) AS Wie_oft_doppelt
 FROM episode e
 GROUP BY e.c00
 HAVING (COUNT(e.c00) > 1);

Wichtig: 'Episodentitel' und 'First Aired' MUSS immer vorhanden sein!

SELECT 
 e.c00, -- Episodentitel
 e.c05, -- First Aired
 f.playCount,
 f.lastPlayed,
 f.dateAdded
 FROM episode e, files f
 WHERE e.idFile = f.idFile  
 AND f.playCount IS NOT NULL
 ORDER BY e.c00, e.c05;

2.1 Das komplette Suchergebnis 'Als SQL kopieren' und in der Datei 'old-1_episode.sql' abspeichern.

2.2 Die Datei 'old-1_episode.sql' mit Notepad++ öffnen:
Search > Replace...
Find what: <das selbe wie in 1.2>

Replace with:

UPDATE files SET playCount = '\3', lastPlayed = '\4', dateAdded = '\5'  WHERE idFile IN \(SELECT idFile FROM episode WHERE c00 = "\1" AND c05 = '\2'\);

Regular expression [x]

3.0 Suche nach Videos mit playCount>=0 im Dateimodus (Datenbank: MyVideos<number>old1.db):

Hier ist mir aufgefallen, wenn Videos aus einer Dateimodus-Quelle gelöscht werden, stehen sie immer noch in der Tabelle files.

Zuerst benötigen wir noch die path.idPath:
z.B. deine Quelle: smb://MEDIASERVER/Dokus/ -> 'Dokus'

SELECT idPath, strPath FROM path
 WHERE strPath LIKE '%Dokus%' OR strPath LIKE '%Konzerte%';

SELECT 
 f.strFilename, -- Videodateiname
 f.playCount,
 f.lastPlayed
-- f.dateAdded -- dateAdded gibt es im Dateimodus nicht
 FROM path p, files f
 WHERE p.idPath = f.idPath
 AND p.idPath IN (<number>) -- Hier muss deine path.idPath der Dateimodus-Quelle(n) stehen!
 AND f.playCount IS NOT NULL
 ORDER BY f.strFilename;

Wenn es z.B. zwei Pfade/Quellen für deinen Dateimodus gibt, müsste es so aussehen:

...
 AND p.idPath IN (<number>, <number>)
 ...

3.1 Das komplette Suchergebnis 'Als SQL kopieren' und in der Datei 'old-1_Dateimodus.sql' abspeichern.

3.2 Die Datei 'old-1_Dateimodus.sql' mit Notepad++ öffnen:
Search > Replace...
Find what:

.* VALUES \('(.*)', '(.*)', '(.*)'\);

Replace with:

UPDATE files SET playCount = '\2', lastPlayed = '\3'  WHERE idFile IN \(SELECT idFile FROM files WHERE strFilename = '\1'\);

Regular expression [x]

4.0 Den Inhalt oder die Dateien 'old-1_movie.sql', 'old-1_episode.sql' und 'old-1_Dateimodus.sql' in der MariaDB laufen lassen.

Damit wäre das erste Update für:
- MyVideos<number>old1.db -> MyVideos<number>new.db
... fertig.

MfG

Warum braucht man in dem Fall die "Movies" und "Episodes" Tabellen überhaupt? Soweit ich das überblicke, muss am Ende ja ohnehin nur die files-Tabelle abgeglichen werden? Dann kann man doch aus der alten DB auch nur Werte aus dieser Tabelle holen…

Vorher prüfen ob es doppelte Datenamen gibt, weil das wird in dem Fall natürlich nicht funktionieren:

SELECT strFilename, COUNT(strFilename) AS Wie_oft_doppelt
 FROM Files
 WHERE playCount > 0
 GROUP BY strFilename
 HAVING (COUNT(strFilename) > 1)
 ORDER BY Wie_oft_doppelt DESC;

Benötigte Daten abrufen:

SELECT strFilename, playCount, lastPlayed, dateAdded FROM Files WHERE playcount > 0

Suchergebnis "Als SQL kopieren" und wie ob oben in UPDATE statements umwandeln. DAZU ggf in Jake's Vorschlag weitere WHERE-Bedingungen ergänzen. Aktuell werden da die Werte IMMER überschrieben, auch wenn schon ein playCount vorhanden ist! Das kommt natürlich etwas auf die Ansprüche an. Will man nur das "watched" Flag haben, ist das ja egal. Ansonsten braucht es hier ggf. etwas mehr Logik…

Das klappt natürlich nur wenn es (kaum) doppelte Dateinamen gibt. Weil das UPDATE statement wird dann voraussichtlich die Daten von ALLEN Einträgen mit dem gleichen Dateinamen überschreiben.

Aber für Datenbanken mit eindeutigen Dateinamen dürfe das deutlich einfacher gehen, oder?

Hinweis: (insbesondere vor Ausführung des UPDATE-scripts) Backup erstellen!