Dynamischer Daten Import / Export

datenbank

weil Einfach - produktiver ist
Mit der Freeware Version können bis zu 100.000 Datensätze verarbeitet werden!
Willkommen, Gast
Benutzername: Passwort: Angemeldet bleiben:
Willkommen im FlowHeater Support Forum!

Hier werden Fragen zum Umgang mit dem FlowHeater beantwortet.
  • Seite:
  • 1

THEMA: Erste X-Zeilen überlesen nur bis 99999

Erste X-Zeilen überlesen nur bis 99999 9 Monate 1 Woche her #3068

  • Ralf Birk
  • Ralf Birks Avatar Autor
  • Offline
  • Senior Member
  • Senior Member
  • Beiträge: 70
Hallo Herr Stark,

Ich hätte mal wieder ein Problem, bei dem ich nicht weiterkomme.
Ich habe eine CSV-Datei mit 2,4 Mio. Datensätzen.
Die Verarbeitung mit einigen Funktionen sowie der Write in eine CSV klappt gut.
Da die CSV noch mit Excel geöffnet werden muss, möchte ich die Daten im Write in 3 Teile (Größenbeschränkung Excel) aufsplitten.
Ich setze nach dem ID-Heater einen IFThen-Heater( <800000) und filtere das ganze. Die erste Datei im Write hat dann 800.000 Datensätze.
Wenn ich dann im 2. Step im IFThen-Heater >= 800000 und < 1600000 angebe, schreibt er gar keine Daten. Keine Ahnung warum.
Ich wollte mich mit einem Trick behelfen und die ersten 800.000 Datensätze beim Read überspringen und im DoWork die Anzahl der Datensätze auf 800.000 einschränken.
Leider scheint das Read-Überspringen und das DoWork-Einschränken auf 5-Stellen beschränkt.
Meine 2 Fragen:
1. Habe ich beim Filtern einen Denkfehler?
2. Könnte mann beim nächsten Update die besagten Maximalwerte im Read und DoWork hochsetzen?

Gruß
Ralf B.

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Erste X-Zeilen überlesen nur bis 99999 9 Monate 1 Woche her #3070

  • FlowHeater-Team
  • FlowHeater-Teams Avatar
  • Offline
  • Administrator
  • Administrator
  • Beiträge: 1248
Hallo Herr Birk,

zu 1) das einzige Problem was sein kann ist, dass evtl. vergessen wurde den Vergleichsdatentyp auf Integer zu stellen?

Zu 2) Der max. Wert war hier bisher eigentlich auf 1.000.000 begrenzt, können Sie das bitte nochmal testen? In der nächsten Version wurde der Wert auf 2.000.000.000 hochgesetzt.

Schauen Sie sich mal folgendes Beispiel an. Hier finden Sie ein ausführliches Beispiel wie das Aufteilen von größeren Datenbeständen auf mehrere CSV Dateien mit Hilfe vom FlowHeater durchgeführt werden kann: CSV Export auf mehrere Dateien aufteilen (splitten)

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.

Erste X-Zeilen überlesen nur bis 99999 9 Monate 1 Woche her #3071

  • Ralf Birk
  • Ralf Birks Avatar Autor
  • Offline
  • Senior Member
  • Senior Member
  • Beiträge: 70
Hallo Herr Stark,

vielen Dank für die Rasche Antwort.
Der Tip mit dem Script war genial. Passt 100 %.

Zu den alten Lösungswegen:
1. Ich bin aus dem ID- in den IfThen Heater gegangen. Als das nicht fünktioniert hat habe ich ein Format dazwischengehängt. Im IfThen habe ich nicht den Typ geändert, da ich gleich Lösung 2 Versucht habe. (Werde im Laufe der Woche nochmals testen).
2. Ich habe definifiv "die ersten 800.000 überspringen" im Read angegebenund es wurde bei 100.000 mit schreiben begonnen (Habe in der Readdatei einen Satzzähler drin, an dem ich es auch sehe).

Werde die 2 Punkte bei Gelegenheit nochmals testen. Im Moment bin ich mit Ihrer Lösung aber mehr als zufrieden.

Gruß

Ralf B.

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Erste X-Zeilen überlesen nur bis 99999 9 Monate 1 Woche her #3072

  • FlowHeater-Team
  • FlowHeater-Teams Avatar
  • Offline
  • Administrator
  • Administrator
  • Beiträge: 1248
Hallo Herr Birk,

Nachtrag zu 1) Die Bedingung muss natürlich mit „oder“ verknüpft werden. Bin auch erst drauf gekommen als ich das selbst gemacht haben :-) Wichtig: Im AutoID Heater müssen Sie noch die Option „gefilterte Datensätze ignorieren“ deaktivieren!

Anhang:

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.
  • Seite:
  • 1
Moderatoren: FlowHeater-Team
Ladezeit der Seite: 0.264 Sekunden