THEMA: InMemory / SQL / SORT Sortierte Ausgabereienfolge

Hallo Herr Stark,

ich habe mal wieder ein kleines "Problemchen". 

Ich habe eine Textdatei die mit einigen Informationen ankommt, also mehrdimensional. Diese Datei möchte ich im Prinzip einlesen in einen InMemory Adapter unter Beibehaltung der Eingangsreihenfolge. 
Dazu übernehme ich alle Werte und füge ein Feld über die AutoID hinzu. Jetzt möchte ich aber auch noch einige Daten modifizieren, und am Schluss das fertige Konstrukt nach der ID Reihenfolge wieder ausgeben.
Dazu würde ich gerne mehrere Verarbeitungsschritte benutzen, jedoch lässt der FH das nicht zu, weil das im Prinzip im Massdata Modus geschehen muss. Ich denke das ich das vielleicht mit einem SQL-Heater lösen
könnte, aber da habe ich die Funktionsweise noch nicht so wirklich verstanden. Können Sie mir bitte einen Tipp geben? Ich packe mal eine Musterdatei mit in den Anhang.  

Hallo Herr Behrens,

ich habe mir Ihre Definition mal angesehen, werde aber nicht schlau daraus.

Sie lesen die Textdatei im ersten Verarbeitungsschritt in eine InMemory Tabelle „Default“ ein. Im zweiten Step lesen Sie diese „Default“ InMemory Tabelle, filtern diese Tabelle und schreiben in eine neue „S_Adresse“ InMemory Tabelle. Ähnliches im dritten und vierten Step, lesen der „Default“ Tabelle und schreiben in zwei weitere neue InMemory Tabellen.

Im fünften und letzten Verarbeitungsschritt lesen Sie dann die „Default“ InMemory Tabelle, worauf keine Änderungen durchgeführt wurden und geben diese wieder aus.

Die im Step 2-4 erzeugten „neuen“ InMemory Tabellen stehen unangetastet im Hauptspeicher und werden nach der Verarbeitung (nach Step 5) wieder gelöscht.

Können Sie bitte etwas genauer beschreiben was Sie Vorhaben bzw. welche Daten Sie verändern oder anreichern möchten, damit ich Ihnen hierfür evtl. ein kleines Beispiel erstellen kann.

Hier ein kleines Beispiel (inkl. Video), das die generelle Arbeitsweise mit dem InMemory Adapter erklärt. CSV und Excel Daten über SQLite Datenbank zusammenführen

Hallo Herr Stark,

ich habe mir das noch einmal angesehen. Da haben Sie Recht. Meine Datei habe ich schon einige Male hin und her gedreht. Ist auch egal...
Alles in dem Video mache ich sonst auch bereits so beim zusammenfügen.

Jetzt noch einmal ganz kurz das was ich möchte. Ich habe die beigefügte Quelldatei als Basis. Diese möchte ich einlesen in den InMemory Adapter. Sobald die Daten dort drin sind möchte ich entweder über SQL auf gewisse Felder Updates oder Konvertierungen durchführen und schlussendlich das ganzen dann in der Einlesereihenfolge wieder ausgeben. Die Updaten dürfen aber immer nur auf das Feld x oder y ausgeführt werden, wenn in dem Feld 1 ohne damit jetzt die AutoID zu meinen, sondern in dem Fall den Bezeichner bspw. "S_Kunde" passt. Nachdem was ich jetzt noch gelesen habe benötige ich die AutoID gar nicht, da die Daten ohnehin in der eingelesenen Reihenfolge ausgegeben werden. Vielleicht war das jetzt deutlicher ausgedrückt. Mich würde dabei in diesem Fall auch tatsächlich interessieren wie der SQL Heater dazu funktioniert. Das bekomme ich nicht hin.

Vielen Dank schon einmal.

Hallo Herr Behrens,

das Problem mit dem SQL Heater ist, Sie müssen die abzufragende Datenquelle als Adapter in dem Verarbeitungsschritt mit einbinden, das kann so nicht immer implementiert werden.

Wenn Sie den InMemory Adapter verwenden möchten, müssen Sie vorher die Tabelle (oder aber Excel Liste, CSV bzw. XML Datei) in eine InMemory Tabelle einlesen. Auf diese InMemory Tabelle können Sie dann in von jedem Verarbeitungsschritt zugreifen.

Im Prinzip ist das Vorgehen.

1. Einlesen der benötigten Daten in eine oder mehrere InMemory Tabellen
   
2. Anreichern / Modifizieren der Daten evtl. über mehrere Steps
   
3. Daten wieder ausgeben

Im Anhang finden Sie ein kleines Beispiel. Hier wird zuerst eine CSV Datei gelesen die die Ersetzungsdaten enthält. Hier müssten Sie Ihre Tabelle aus der SQL Datenbank verwenden bzw. einlesen. Diese Tabelle wird dann im dritten Verarbeitungsschritt verwendet um mittels des SQL Heaters Daten zu ersetzen. Alternativ dazu kann auch der String Replace Heater auf InMemory Tabellen verwendet werden. Im zweiten Verarbeitungsschritt werden dann die eigentlichen Daten, die verarbeitet werden sollen in eine weitere InMemory Tabellen eingelesen.
Im letzten Step wird dann die InMemory Tabelle wieder ausgegeben.

Bitte beachten Sie, dass im dritten Verarbeitungsschritt Updates anhand des Feldes ID auf die InMemory Tabelle gefahren werden!