Dynamischer Daten Import / Export

datenbank

weil Einfach - produktiver ist
Mit der Freeware Version können bis zu 10.000 Datensätze verarbeitet werden!
Willkommen, Gast
Benutzername: Passwort: Angemeldet bleiben:
Willkommen im FlowHeater Support Forum!

Hier werden Fragen zum Umgang mit dem FlowHeater beantwortet.

THEMA: Transport Channel is closed

Transport Channel is closed 3 Jahre 3 Wochen her #1515

  • Stephan
  • Stephans Avatar
  • Offline
  • New Member
  • Beiträge: 11
Hallo,

bei der Migration von Daten aus einer MySQL in eine Postgres Datenbank kommt es beim Ausführen der Definition im Massdata Modus zu folgender Fehlermeldung in Flowheater: "Transport channel is closed". Gleichzeitig kommt es zu einem Überlauf des Arbeitsspeichers.

Wenn ich die Daten in Pakete von ca. 50.000 Datensätze über eine where Bedingung (Key < 50.000) auf der lesenden Seite packe, läuft es sauber durch. Dauer ca. 5 Minuten. Bei 100.000 Datensätzen dauert das Schreiben schon mehr als 30 Minuten. Bei ca. 200.000 Datensätzen erhalte ich obige Fehlermeldung.

Da es sich um eine DB mit mehreren Mio Datensätzen handelt, suche ich nach einem Weg die Migration auf einen Rutsch durchlaufen zu lassen.

Kann ich hier etwas optimieren, ist es ein Feature oder ein Bug?

Danke und Gruss

Stephan
Der Administrator hat öffentliche Schreibrechte deaktiviert.

Transport Channel is closed 3 Jahre 2 Wochen her #1517

  • FlowHeater-Team
  • FlowHeater-Teams Avatar
  • Offline
  • Administrator
  • Beiträge: 1099
Hallo Stephan,
das ist ein undokumentiertes Feature :) Standardmäßig wird im FlowHeater jeder Import über eine abgeschlossene Datenbank Transaktion durchgeführt. Das hat den Vorteil, dass wenn ein Fehler während des Importes auftritt oder der Benutzer auf Abbrechen klickt alle Änderungen wieder Rückgängig gemacht werden. Normalerweise kommen Datenbanken auch mit Imports von mehreren 100.000 Datensätze klar. PostgreSQL scheint hier eine Ausnahme zu sein, das muss noch genauer geprüft werden.

Für Ihren Fall können Sie das Transaktionsveralten beeinflussen indem Sie auf der WRITE Seite in den Eigenschaftes des Adapters den Wert für "AutoCommitAfter" von 0 auf z.B. 10.000 setzen. Hiermit führt der FlowHeater nach jeweils 10.000 geschriebenen Datensätzen einen Commit durch. Die Option -1 empfehle ich Ihnen nicht, hiermit schalten Sie Datenbank Transaktionen komplett aus.

gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.
Letzte Änderung: 3 Jahre 2 Wochen her von FlowHeater-Team.
Der Administrator hat öffentliche Schreibrechte deaktiviert.

Transport Channel is closed 3 Jahre 2 Wochen her #1521

  • Stephan
  • Stephans Avatar
  • Offline
  • New Member
  • Beiträge: 11
Danke für die schnelle Antwort und Hilfe. Funktioniert super
Der Administrator hat öffentliche Schreibrechte deaktiviert.
Moderatoren: FlowHeater-Team
Ladezeit der Seite: 0.077 Sekunden