27 Millionen und er zählt weiter...

Wohnzimmerhostblogger

< Kauf dich in den Blog! | Mehr Power für den Wohnzimmerhoster >

Montag, 22. Mai 2006

27 Millionen und er zählt weiter...

Im Zuge des Log-Rewrite ziehe ich gerade 27 Millionen Datensätze um. Genauer: Ich kopiere nicht nur, ich konvertiere gleich mit. Schon seit langem habe ich die Vermutung, dass die darunterliegende Datenbank für ein solches Datenvolumen nicht wirklich gebaut ist und so ihre Problemchen damit hat und so dauert allein die Anfrage an die Tabelle mit den vielen Datensätzen schonmal mehrere Minuten - obwohl es einen wunderschönen Primary Key und 11 weitere Indizies gibt.

Zum Fluchen!

Komisch ist nur: Die Datenbank ist partitioniert, d.h. ich ziehe immer kleine Päckchen von ca. 8-10 Millionen Datensätzen um. Dabei musste mir bisher folgendes auffallen:

  • In 50% der Fällen wird die reine Datenmenge mehr (zuwachs um ca. 6%)
  • In den andernen 50% sinkt die reine Datenmenge ab (abnahme um ca. 4%)
  • Der Index ist um 50% gewachsen und umfasst nun pro 10 Millionen Datensätzen ca. 2 GB Speicherplatz
Das Wachstum des Index ist gewollt. Aber wieso die Datenmenge so variiert im Vergleich zur alten Datenbank ist mir ein Rätsel... :hmm:

Geschrieben von Bernd Holzmüller in Technik um 13:50 | Kommentare (5) | Trackback (1)

Trackbacks
Trackback-URL für diesen Eintrag

Bestätigung
Es ist schön, wenn auch indirekt, recht vom eigenen Sohn zu bekommen. Ich hoffe, man kann mir nicht nachsagen, dass ich etwas gegen MySQL habe. Im Gegenteil, ich habe MySQL immer gemocht, da es Open Source und frei verfügbar ist, und so jedem einen l
Weblog: Die zweitschönste Nebensache der Welt
Aufgenommen: Mai 28, 23:45

Kommentare
Ansicht der Kommentare: (Linear | Verschachtelt)

Wechselst du die MySQL Version dabei? Oder bist du - um deinem Vater gerecht zu werden - gar DB2 User?
#1 Lino (Homepage) am 22.05.2006 16:51 (Antwort)
Das interessiert mich auch. Wo bleibt die Antwort?
#1.1 Der Vater (Homepage) am 28.05.2006 22:58 (Antwort)
Was wie wo? :-D
#1.1.1 Bernd Holzmüller (Homepage) am 28.05.2006 23:00 (Antwort)
"Wechselst du die MySQL Version dabei? Oder bist du - um deinem Vater gerecht zu werden - gar DB2 User?"
#1.1.1.1 Axel (Homepage) am 28.05.2006 23:44 (Antwort)
Ihr unterschätzt alle das System...
Um zu DB2 migrieren zu können müssen diverse Schnittstellen neu geschrieben und getestet werden...
Das ist ein Schritt, der noch recht lange dauern wird... Derweil werde ich zwangsweise immer besser mit im zweistelligen Gigabyte großen Datenbanken zu jonglieren ;-)
#1.1.1.1.1 Bernd Holzmüller (Homepage) am 29.05.2006 00:06 (Antwort)

Kommentar schreiben

Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert.

Um maschinelle und automatische Übertragung von Spamkommentaren zu verhindern, bitte die Zeichenfolge im dargestellten Bild in der Eingabemaske eintragen. Nur wenn die Zeichenfolge richtig eingegeben wurde, kann der Kommentar angenommen werden. Bitte beachten Sie, dass Ihr Browser Cookies unterstützen muss, um dieses Verfahren anzuwenden.
CAPTCHA

BBCode-Formatierung erlaubt
 
 

Suche

Read this blog!

Linux und Christoph
Pssssst!
magerquark.de
Mein Papa bloggt(e?) (inaktiv)
Löser, Schlichter, Papa
Bestatterweblog

Archive

Kategorien



Alle Kategorien

Blog abonnieren

Buttons

tiggersWelt.net

Written with s9y

Kommentare

Bernd Holzmüller zu Wir speichern ja keine Klartext-Passwörter, aber...
Fr, 20.10.2017 13:09
Das heißt dann ja eindeutig, d ass sie Dein Passwort in Klart ext speichern. Ist schon zu lange her, dass ich mich mit PPP(oE), CHAP und PAP auseinan derg [...]
Malte zu Wir speichern ja keine Klartext-Passwörter, aber...
Fr, 20.10.2017 13:05
Ich hatte (Wochen) bevor ich m einen DSL-Anschlussbrief von 1 &1 bekommen habe im Kundeninte rface das DSL-Passwort geänder t. Im Anschlussbrief war st and [...]
Bernd Holzmüller zu Domaintransfer #faireinfacht
Mi, 28.06.2017 11:29
Diese Information ist für Inte ressierte bereits in der Übers chrift enthalten. Ich glaub e nicht, dass es mir obliegt d en Marktbegleiter durch expliz ite [...]
Alphager zu Domaintransfer #faireinfacht
Mi, 28.06.2017 11:11
Hier hilft nur name and shame.
Tux2000 zu Bestes Firmware-Update der Geschichte
Mi, 12.04.2017 00:09
Klarer Fall von "Bootloader ve rgessen". Oder, fast noch schl immer: Bootloader so verkorkst , dass das Update nicht funkti oniert. Aber das Ding ist o hneh [...]

Notice this!

Impressum
Blog Top Liste - by TopBlogs.de