THEMA:

Hallo,

bei der Migration von Daten aus einer MySQL in eine Postgres Datenbank kommt es beim Ausführen der Definition im Massdata Modus zu folgender Fehlermeldung in Flowheater: "Transport channel is closed". Gleichzeitig kommt es zu einem Überlauf des Arbeitsspeichers.

Wenn ich die Daten in Pakete von ca. 50.000 Datensätze über eine where Bedingung (Key < 50.000) auf der lesenden Seite packe, läuft es sauber durch. Dauer ca. 5 Minuten. Bei 100.000 Datensätzen dauert das Schreiben schon mehr als 30 Minuten. Bei ca. 200.000 Datensätzen erhalte ich obige Fehlermeldung.

Da es sich um eine DB mit mehreren Mio Datensätzen handelt, suche ich nach einem Weg die Migration auf einen Rutsch durchlaufen zu lassen.

Kann ich hier etwas optimieren, ist es ein Feature oder ein Bug?

Danke und Gruss

Stephan

Hallo Stephan,
das ist ein undokumentiertes Feature Standardmäßig wird im FlowHeater jeder Import über eine abgeschlossene Datenbank Transaktion durchgeführt. Das hat den Vorteil, dass wenn ein Fehler während des Importes auftritt oder der Benutzer auf Abbrechen klickt alle Änderungen wieder Rückgängig gemacht werden. Normalerweise kommen Datenbanken auch mit Imports von mehreren 100.000 Datensätze klar. PostgreSQL scheint hier eine Ausnahme zu sein, das muss noch genauer geprüft werden.

Für Ihren Fall können Sie das Transaktionsveralten beeinflussen indem Sie auf der WRITE Seite in den Eigenschaftes des Adapters den Wert für "AutoCommitAfter" von 0 auf z.B. 10.000 setzen. Hiermit führt der FlowHeater nach jeweils 10.000 geschriebenen Datensätzen einen Commit durch. Die Option -1 empfehle ich Ihnen nicht, hiermit schalten Sie Datenbank Transaktionen komplett aus.

Danke für die schnelle Antwort und Hilfe. Funktioniert super