Der FlowHeater Server wurde um eine weitere leistungsfähige Funktion erweitert. Es wird nun optional von jeder Aufgabe eine Ausführungshistorie protokolliert. Die Fehleranalyse, auch von weit zurückliegenden Ausführungen, wird dadurch stark vereinfacht. Protokolliert werden pro angelegte Aufgabe, sowie detailliert auch für die darin angelegten Schritte, Datum/Uhrzeit der Ausführung sowie Beendigung, Ausführungsdauer, Ergebnis der Ausführung (Erfolg, Warnung, Fehler), sowie Optional die generierte Konsolenausgabe. Wie lange diese Protokollierung aufbewahrt werden soll kann über die Server Konfiguration individuell konfiguriert werden.

InMemory Adapter - zur schnellen Daten Aufbereitung/AnreicherungDer neue InMemory Adapter kann als absolutes Highlight angesehen werden. Aufgrund der immer leistungsfähigeren Computer mit immer mehr Hauptspeicher wurde nun ein Adapter entwickelt der rein Hauptspeicher basierend arbeitet und diese Leistungsmerkmale vollumfänglich unterstützen kann.

Mit dem InMemory Adapter können beliebig viele „interne“ Tabellen im Hauptspeicher angelegt werden die während der Verarbeitung einer Definition beliebig befüllt, angereichert, verändert und anschließend natürlich auch wieder ausgegeben werden können.

Aufgaben in denen bisher temporäre Datenbank Tabellen benötigt wurden können nun im Handumdrehen auf InMemory Tabellen umgestellt werden. Zur Demonstration wurde das Beispiel „CSV und Excel Daten über SQLite Datenbank zusammenführen“ auf InMemory Tabellen angepasst, inkl. Beispielvideo.

Vorteil: Da die Verarbeitung komplett im Hauptspeicher stattfindet kann so eine erhebliche schnellere Verarbeitung als bisher erzielt werden.

Die Benutzung von InMemory Tabellen ist im Prinzip sehr simpel. Adapter hinzufügen und ggf. einen Namen für die Tabelle vergeben. Felder können entweder vorab hinzugefügt werden oder aber im Designer einfach per Drag&Drop weitere Felder in die Adapter Feldliste ziehen. Optional können die Datentypen noch an die aktuellen Bedürfnisse angepasst werden wobei im Normalfall der Standard FlowHeater Datentyp STRING ausreichend sein sollte.

Die Ausgabe der Datenquelle von InMemory Tabellen auf der READ Seite kann zusätzlich noch ähnlich wie SQL Tabellen per WHERE Klausel eingeschränkt werden. Selbstverständlich kann bei der Ausgabe auch eine abweichende Sortierung vorgegeben werden.

Mehrere Verarbeitungsschritte in einer DefinitionMit dieser Version unterstützt der FlowHeater mehrere Verarbeitungsschritte innerhalb einer Definition (.fhd Datei). Es können beliebig viele Verarbeitungsschritte einer Definition hinzugefügt werden, die dann in der angegebenen Reihenfolge nacheinander ausgeführt werden.

Tipp: FlowHeater Parameter stehen „global“ übergreifend in einer Definition zur Verfügung. Hiermit sind einige sehr interessante neue Option bei der Daten Import/Export Verarbeitung möglich. Es ist z.B. möglich über einen vorgelagerten Verarbeitungsschritt bestimmte Datensätze zu zählen, FlowHeater Parametern mit diesen Werten zu befüllen und in einem weiteren Verarbeitungsschritt z.B. als Filterkriterium weiter zu verwenden.

Wichtig: Heater/Funktionen die bisher für die Ausführung „bei Start“ bzw. „bei Ende“ konfiguriert wurden beziehen sich nun auf den jeweils aktuellen Verarbeitungsschritt! Soll z.B. ein Skript oder SQL Befehl am Ende einer Definition ausgeführt werden müsste dieses Skript (.NET Heater) bzw. der SQL Befehl (SQL Heater) auch im letzten Verarbeitungsschritt angelegt werden.

Einschränkungen: Aktuell werden mehrere Verarbeitungsschritte nur über die Ausführung im Massendaten (Massdata) Modus unterstützt. Die Ausführung von mehreren Verarbeitungsschritten über den Memory Modus wird derzeit nicht unterstützt, die Ausführung wir hier mit einer Fehlermeldung beendet.

Ausblick auf weitere Funktionen: Hier ein kurzer Ausblick auf weitere Funktionen die von diesem neuen Feature profitieren. Es ist geplant einen „Internen“ Hauptspeicher basierten Adapter zu entwickeln worüber es ein leichtes ist Daten aus verschiedenen Datenquellen zu sammeln, anzureichern bzw. aufzubereiten und im Anschluss wieder zu exportieren.

FlowHeater Server - Exit Code BehandlungDer FlowHeater Server wurde mit dieser Version um einige Leistungsstarke Funktionen erweitert. Es können nun Verzeichnisse nicht nur auf neue Dateien überwacht, sondern neu auch optional auf Änderungen von Dateien. Die Verarbeitung fängt an sobald die Datei nicht mehr von einem anderen Prozess geöffnet ist.

Weiterhin kann nun angegeben werden auf welche „Exit Codes“ geprüft werden soll um zu bestimmen ob eine Aufgabe „Erfolgreich“, mit „Warnungen“ oder aber mit „Fehler“ beendet wurde. Bisher wurde hier fest auf „0“, was als erfolgreiche Ausführung angesehen wurde, geprüft. Es können einzelne Exit Codes, Bereiche „0-10“ bzw. Kombinationen daraus „0, 5-10, 200“ angegeben werden. Neu ist außerdem auch, dass zusätzlich Exit Codes für Warnungen angegeben werden können. Die letzte Ausführung einer Aufgabe wird in der Aufgabenliste nun auch farblich markiert. Gelb bedeutet, die Aufgabe wurde zuletzt mit Warnungen und „Rot“ bedeutet die Aufgabe wurde zuletzt mit Fehler beendet.

Abschließend wurden noch die Benachrichtigungen angepasst. Hier können nun ebenfalls Email Benachrichtigen auch bei Warnungen verschickt werden. Bisher stand hier nur im Erfolgs bzw. Fehlerfall zur Verfügung.

Der AutoID Heater bietet mit dieser Version die Möglichkeit einen Zähler zu etablieren der nur alle X verarbeitete Datensätze/Zeilen den generierten Zähler hochzählt. So können relativ leicht z.B. größere Exporte durchgeführt werden in denen die Ausgabe auf mehrere CSV Dateien aufgeteilt werden (alle x Datensätze eine neue Exportdatei). Selbstverständlich unterstützt diese Option auch die Angabe von FlowHeater Parametern. So kann die Anzahl der Zeilen in einer CSV Exportdatei dynamisch per Batch Übergabeparameter gesteuert werden.

z.B. FHBatch.exe /SetParameter MAX-REC=10000 export-csv.fhd

Damit dieses Vorgehen funktioniert muss natürlich der genierte Zähler über einen weiteren FlowHeater Parameter gespeichert werden sowie dieser Parameter dann als Platzhalter im Ausgabe Dateinamen vom TextFile Adapter mit verwendet werden.

z.B. Dateiname = C:\Temp\export$FILEID$.csv

So legt der Textfile Adapter pro neuen AutoID Zählerwert automatisch eine neue Exportdatei an. Ein kleines Beispielvideo wie es geht finden Sie in der Beschreibung zum AutoID Heater.