InMemory Adapter - zur schnellen Daten Aufbereitung/AnreicherungDer neue InMemory Adapter kann als absolutes Highlight angesehen werden. Aufgrund der immer leistungsfähigeren Computer mit immer mehr Hauptspeicher wurde nun ein Adapter entwickelt der rein Hauptspeicher basierend arbeitet und diese Leistungsmerkmale vollumfänglich unterstützen kann.

Mit dem InMemory Adapter können beliebig viele „interne“ Tabellen im Hauptspeicher angelegt werden die während der Verarbeitung einer Definition beliebig befüllt, angereichert, verändert und anschließend natürlich auch wieder ausgegeben werden können.

Aufgaben in denen bisher temporäre Datenbank Tabellen benötigt wurden können nun im Handumdrehen auf InMemory Tabellen umgestellt werden. Zur Demonstration wurde das Beispiel „CSV und Excel Daten über SQLite Datenbank zusammenführen“ auf InMemory Tabellen angepasst, inkl. Beispielvideo.

Vorteil: Da die Verarbeitung komplett im Hauptspeicher stattfindet kann so eine erhebliche schnellere Verarbeitung als bisher erzielt werden.

Die Benutzung von InMemory Tabellen ist im Prinzip sehr simpel. Adapter hinzufügen und ggf. einen Namen für die Tabelle vergeben. Felder können entweder vorab hinzugefügt werden oder aber im Designer einfach per Drag&Drop weitere Felder in die Adapter Feldliste ziehen. Optional können die Datentypen noch an die aktuellen Bedürfnisse angepasst werden wobei im Normalfall der Standard FlowHeater Datentyp STRING ausreichend sein sollte.

Die Ausgabe der Datenquelle von InMemory Tabellen auf der READ Seite kann zusätzlich noch ähnlich wie SQL Tabellen per WHERE Klausel eingeschränkt werden. Selbstverständlich kann bei der Ausgabe auch eine abweichende Sortierung vorgegeben werden.

Mehrere Verarbeitungsschritte in einer DefinitionMit dieser Version unterstützt der FlowHeater mehrere Verarbeitungsschritte innerhalb einer Definition (.fhd Datei). Es können beliebig viele Verarbeitungsschritte einer Definition hinzugefügt werden, die dann in der angegebenen Reihenfolge nacheinander ausgeführt werden.

Tipp: FlowHeater Parameter stehen „global“ übergreifend in einer Definition zur Verfügung. Hiermit sind einige sehr interessante neue Option bei der Daten Import/Export Verarbeitung möglich. Es ist z.B. möglich über einen vorgelagerten Verarbeitungsschritt bestimmte Datensätze zu zählen, FlowHeater Parametern mit diesen Werten zu befüllen und in einem weiteren Verarbeitungsschritt z.B. als Filterkriterium weiter zu verwenden.

Wichtig: Heater/Funktionen die bisher für die Ausführung „bei Start“ bzw. „bei Ende“ konfiguriert wurden beziehen sich nun auf den jeweils aktuellen Verarbeitungsschritt! Soll z.B. ein Skript oder SQL Befehl am Ende einer Definition ausgeführt werden müsste dieses Skript (.NET Heater) bzw. der SQL Befehl (SQL Heater) auch im letzten Verarbeitungsschritt angelegt werden.

Einschränkungen: Aktuell werden mehrere Verarbeitungsschritte nur über die Ausführung im Massendaten (Massdata) Modus unterstützt. Die Ausführung von mehreren Verarbeitungsschritten über den Memory Modus wird derzeit nicht unterstützt, die Ausführung wir hier mit einer Fehlermeldung beendet.

Ausblick auf weitere Funktionen: Hier ein kurzer Ausblick auf weitere Funktionen die von diesem neuen Feature profitieren. Es ist geplant einen „Internen“ Hauptspeicher basierten Adapter zu entwickeln worüber es ein leichtes ist Daten aus verschiedenen Datenquellen zu sammeln, anzureichern bzw. aufzubereiten und im Anschluss wieder zu exportieren.

FlowHeater Server - Exit Code BehandlungDer FlowHeater Server wurde mit dieser Version um einige Leistungsstarke Funktionen erweitert. Es können nun Verzeichnisse nicht nur auf neue Dateien überwacht, sondern neu auch optional auf Änderungen von Dateien. Die Verarbeitung fängt an sobald die Datei nicht mehr von einem anderen Prozess geöffnet ist.

Weiterhin kann nun angegeben werden auf welche „Exit Codes“ geprüft werden soll um zu bestimmen ob eine Aufgabe „Erfolgreich“, mit „Warnungen“ oder aber mit „Fehler“ beendet wurde. Bisher wurde hier fest auf „0“, was als erfolgreiche Ausführung angesehen wurde, geprüft. Es können einzelne Exit Codes, Bereiche „0-10“ bzw. Kombinationen daraus „0, 5-10, 200“ angegeben werden. Neu ist außerdem auch, dass zusätzlich Exit Codes für Warnungen angegeben werden können. Die letzte Ausführung einer Aufgabe wird in der Aufgabenliste nun auch farblich markiert. Gelb bedeutet, die Aufgabe wurde zuletzt mit Warnungen und „Rot“ bedeutet die Aufgabe wurde zuletzt mit Fehler beendet.

Abschließend wurden noch die Benachrichtigungen angepasst. Hier können nun ebenfalls Email Benachrichtigen auch bei Warnungen verschickt werden. Bisher stand hier nur im Erfolgs bzw. Fehlerfall zur Verfügung.

Der AutoID Heater bietet mit dieser Version die Möglichkeit einen Zähler zu etablieren der nur alle X verarbeitete Datensätze/Zeilen den generierten Zähler hochzählt. So können relativ leicht z.B. größere Exporte durchgeführt werden in denen die Ausgabe auf mehrere CSV Dateien aufgeteilt werden (alle x Datensätze eine neue Exportdatei). Selbstverständlich unterstützt diese Option auch die Angabe von FlowHeater Parametern. So kann die Anzahl der Zeilen in einer CSV Exportdatei dynamisch per Batch Übergabeparameter gesteuert werden.

z.B. FHBatch.exe /SetParameter MAX-REC=10000 export-csv.fhd

Damit dieses Vorgehen funktioniert muss natürlich der genierte Zähler über einen weiteren FlowHeater Parameter gespeichert werden sowie dieser Parameter dann als Platzhalter im Ausgabe Dateinamen vom TextFile Adapter mit verwendet werden.

z.B. Dateiname = C:\Temp\export$FILEID$.csv

So legt der Textfile Adapter pro neuen AutoID Zählerwert automatisch eine neue Exportdatei an. Ein kleines Beispielvideo wie es geht finden Sie in der Beschreibung zum AutoID Heater.

Mit dieser Version wurde eine weitere leistungsfähige Funktion (Heater) im FlowHeater implementiert. Über den neuen CMD Heater können dynamisch externe Programme oder aber auch Skripte (Perl, PHP, PowerShell, …) während eines Import/Export Laufes ausgeführt werden. Die eigentliche FlowHeater Verarbeitung wird dafür solange angehalten bis die Ausführung beendet wurde. Evtl. Programmausgaben können in FlowHeater Parameter umgeleitet werden um diese in der FlowHeater Definition zur Verfügung zu stellen. Schlägt die Ausführung des externen Programms/Skript fehl kann das über den Exit Code über eine Bedingung (IF-THEN-ELSE Heater) geprüft werden und die Verarbeitung mit Hilfe des Stop Heater abgebrochen werden.