27 Millionen und er zählt weiter...

< Kauf dich in den Blog! | Mehr Power für den Wohnzimmerhoster >

Montag, 22. Mai 2006

27 Millionen und er zählt weiter...

Im Zuge des Log-Rewrite ziehe ich gerade 27 Millionen Datensätze um. Genauer: Ich kopiere nicht nur, ich konvertiere gleich mit. Schon seit langem habe ich die Vermutung, dass die darunterliegende Datenbank für ein solches Datenvolumen nicht wirklich gebaut ist und so ihre Problemchen damit hat und so dauert allein die Anfrage an die Tabelle mit den vielen Datensätzen schonmal mehrere Minuten - obwohl es einen wunderschönen Primary Key und 11 weitere Indizies gibt.

Zum Fluchen!

Komisch ist nur: Die Datenbank ist partitioniert, d.h. ich ziehe immer kleine Päckchen von ca. 8-10 Millionen Datensätzen um. Dabei musste mir bisher folgendes auffallen:

In 50% der Fällen wird die reine Datenmenge mehr (zuwachs um ca. 6%)
In den andernen 50% sinkt die reine Datenmenge ab (abnahme um ca. 4%)
Der Index ist um 50% gewachsen und umfasst nun pro 10 Millionen Datensätzen ca. 2 GB Speicherplatz

Das Wachstum des Index ist gewollt. Aber wieso die Datenmenge so variiert im Vergleich zur alten Datenbank ist mir ein Rätsel... :hmm:

Geschrieben von Bernd Holzmüller in Technik um 13:50 | Kommentare (5) | Trackback (1)

Trackbacks

Trackback-URL für diesen Eintrag

Bestätigung
Es ist schön, wenn auch indirekt, recht vom eigenen Sohn zu bekommen. Ich hoffe, man kann mir nicht nachsagen, dass ich etwas gegen MySQL habe. Im Gegenteil, ich habe MySQL immer gemocht, da es Open Source und frei verfügbar ist, und so jedem einen l

Weblog: Die zweitschönste Nebensache der Welt
Aufgenommen: Mai 28, 23:45

Kommentare

Ansicht der Kommentare: (Linear | Verschachtelt)

Wechselst du die MySQL Version dabei? Oder bist du - um deinem Vater gerecht zu werden - gar DB2 User?

#1 Lino (Homepage) am 22.05.2006 16:51 (Antwort)

Das interessiert mich auch. Wo bleibt die Antwort?

#1.1 Der Vater (Homepage) am 28.05.2006 22:58 (Antwort)

Was wie wo?

#1.1.1 Bernd Holzmüller (Homepage) am 28.05.2006 23:00 (Antwort)

"Wechselst du die MySQL Version dabei? Oder bist du - um deinem Vater gerecht zu werden - gar DB2 User?"

#1.1.1.1 Axel (Homepage) am 28.05.2006 23:44 (Antwort)

Ihr unterschätzt alle das System...
Um zu DB2 migrieren zu können müssen diverse Schnittstellen neu geschrieben und getestet werden...
Das ist ein Schritt, der noch recht lange dauern wird... Derweil werde ich zwangsweise immer besser mit im zweistelligen Gigabyte großen Datenbanken zu jonglieren

#1.1.1.1.1 Bernd Holzmüller (Homepage) am 29.05.2006 00:06 (Antwort)

Kommentar schreiben

Name
E-Mail
Homepage
Antwort zu
Kommentar	Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert. Um maschinelle und automatische Übertragung von Spamkommentaren zu verhindern, bitte die Zeichenfolge im dargestellten Bild in der Eingabemaske eintragen. Nur wenn die Zeichenfolge richtig eingegeben wurde, kann der Kommentar angenommen werden. Bitte beachten Sie, dass Ihr Browser Cookies unterstützen muss, um dieses Verfahren anzuwenden. Hier die Zeichenfolge der Spamschutz-Grafik eintragen: BBCode-Formatierung erlaubt
	Daten merken? Bei Aktualisierung dieser Kommentare benachrichtigen