Debugging - TroubleshootingTroubleshooting bzw. die Fehlersuche wird mit dieser Erweiterung stark vereinfacht. Wie lange wurde schon gesucht, warum wird ein Feld nicht so formatiert wie gewünscht, oder ist der Rückgabewert nicht der erwartete, etc. Diese mühsame Arbeit kann nun mit der neuen Einzelschrittverarbeitung (Debugging von Definitionen) deutlich verkürzt werden.

Sollte mal wieder eine Definition nicht so laufen wie gewünscht brauchen Sie jetzt nur einen Haltepunkt (Breakpoint) auf den betroffenen Heater (Funktion)  setzen und die Verarbeitung wird, wenn die Definition im Testmodus ausgeführt wird, genau an dieser angehalten und Sie können sich die Eingangsparameter, Ausgangsparameter, vorliegende Datentypen und weitere Information dazu in Ruhe ansehen und analysieren. Weiterhin ist es möglich zum nächsten Heater (Funktion) zu springen um dann hier weitere Analysen vorzunehmen.

Um einen Haltepunkt zu aktivieren gehen Sie im Designer auf den Heater, öffnen über einen Rechtsklick das Kontextmenü und aktivieren die Option Haltepunkt. Anschließend wird der Heater mit einem gestrichelten roten Kreis im Designer farblich markiert. Probieren Sie es einfach aus, Sie werden diese Funktion lieben lernen.

Der FlowHeater Server wurde um eine weitere leistungsfähige Funktion erweitert. Es wird nun optional von jeder Aufgabe eine Ausführungshistorie protokolliert. Die Fehleranalyse, auch von weit zurückliegenden Ausführungen, wird dadurch stark vereinfacht. Protokolliert werden pro angelegte Aufgabe, sowie detailliert auch für die darin angelegten Schritte, Datum/Uhrzeit der Ausführung sowie Beendigung, Ausführungsdauer, Ergebnis der Ausführung (Erfolg, Warnung, Fehler), sowie Optional die generierte Konsolenausgabe. Wie lange diese Protokollierung aufbewahrt werden soll kann über die Server Konfiguration individuell konfiguriert werden.

InMemory Adapter - zur schnellen Daten Aufbereitung/AnreicherungDer neue InMemory Adapter kann als absolutes Highlight angesehen werden. Aufgrund der immer leistungsfähigeren Computer mit immer mehr Hauptspeicher wurde nun ein Adapter entwickelt der rein Hauptspeicher basierend arbeitet und diese Leistungsmerkmale vollumfänglich unterstützen kann.

Mit dem InMemory Adapter können beliebig viele „interne“ Tabellen im Hauptspeicher angelegt werden die während der Verarbeitung einer Definition beliebig befüllt, angereichert, verändert und anschließend natürlich auch wieder ausgegeben werden können.

Aufgaben in denen bisher temporäre Datenbank Tabellen benötigt wurden können nun im Handumdrehen auf InMemory Tabellen umgestellt werden. Zur Demonstration wurde das Beispiel „CSV und Excel Daten über SQLite Datenbank zusammenführen“ auf InMemory Tabellen angepasst, inkl. Beispielvideo.

Vorteil: Da die Verarbeitung komplett im Hauptspeicher stattfindet kann so eine erhebliche schnellere Verarbeitung als bisher erzielt werden.

Die Benutzung von InMemory Tabellen ist im Prinzip sehr simpel. Adapter hinzufügen und ggf. einen Namen für die Tabelle vergeben. Felder können entweder vorab hinzugefügt werden oder aber im Designer einfach per Drag&Drop weitere Felder in die Adapter Feldliste ziehen. Optional können die Datentypen noch an die aktuellen Bedürfnisse angepasst werden wobei im Normalfall der Standard FlowHeater Datentyp STRING ausreichend sein sollte.

Die Ausgabe der Datenquelle von InMemory Tabellen auf der READ Seite kann zusätzlich noch ähnlich wie SQL Tabellen per WHERE Klausel eingeschränkt werden. Selbstverständlich kann bei der Ausgabe auch eine abweichende Sortierung vorgegeben werden.

Mehrere Verarbeitungsschritte in einer DefinitionMit dieser Version unterstützt der FlowHeater mehrere Verarbeitungsschritte innerhalb einer Definition (.fhd Datei). Es können beliebig viele Verarbeitungsschritte einer Definition hinzugefügt werden, die dann in der angegebenen Reihenfolge nacheinander ausgeführt werden.

Tipp: FlowHeater Parameter stehen „global“ übergreifend in einer Definition zur Verfügung. Hiermit sind einige sehr interessante neue Option bei der Daten Import/Export Verarbeitung möglich. Es ist z.B. möglich über einen vorgelagerten Verarbeitungsschritt bestimmte Datensätze zu zählen, FlowHeater Parametern mit diesen Werten zu befüllen und in einem weiteren Verarbeitungsschritt z.B. als Filterkriterium weiter zu verwenden.

Wichtig: Heater/Funktionen die bisher für die Ausführung „bei Start“ bzw. „bei Ende“ konfiguriert wurden beziehen sich nun auf den jeweils aktuellen Verarbeitungsschritt! Soll z.B. ein Skript oder SQL Befehl am Ende einer Definition ausgeführt werden müsste dieses Skript (.NET Heater) bzw. der SQL Befehl (SQL Heater) auch im letzten Verarbeitungsschritt angelegt werden.

Einschränkungen: Aktuell werden mehrere Verarbeitungsschritte nur über die Ausführung im Massendaten (Massdata) Modus unterstützt. Die Ausführung von mehreren Verarbeitungsschritten über den Memory Modus wird derzeit nicht unterstützt, die Ausführung wir hier mit einer Fehlermeldung beendet.

Ausblick auf weitere Funktionen: Hier ein kurzer Ausblick auf weitere Funktionen die von diesem neuen Feature profitieren. Es ist geplant einen „Internen“ Hauptspeicher basierten Adapter zu entwickeln worüber es ein leichtes ist Daten aus verschiedenen Datenquellen zu sammeln, anzureichern bzw. aufzubereiten und im Anschluss wieder zu exportieren.

FlowHeater Server - Exit Code BehandlungDer FlowHeater Server wurde mit dieser Version um einige Leistungsstarke Funktionen erweitert. Es können nun Verzeichnisse nicht nur auf neue Dateien überwacht, sondern neu auch optional auf Änderungen von Dateien. Die Verarbeitung fängt an sobald die Datei nicht mehr von einem anderen Prozess geöffnet ist.

Weiterhin kann nun angegeben werden auf welche „Exit Codes“ geprüft werden soll um zu bestimmen ob eine Aufgabe „Erfolgreich“, mit „Warnungen“ oder aber mit „Fehler“ beendet wurde. Bisher wurde hier fest auf „0“, was als erfolgreiche Ausführung angesehen wurde, geprüft. Es können einzelne Exit Codes, Bereiche „0-10“ bzw. Kombinationen daraus „0, 5-10, 200“ angegeben werden. Neu ist außerdem auch, dass zusätzlich Exit Codes für Warnungen angegeben werden können. Die letzte Ausführung einer Aufgabe wird in der Aufgabenliste nun auch farblich markiert. Gelb bedeutet, die Aufgabe wurde zuletzt mit Warnungen und „Rot“ bedeutet die Aufgabe wurde zuletzt mit Fehler beendet.

Abschließend wurden noch die Benachrichtigungen angepasst. Hier können nun ebenfalls Email Benachrichtigen auch bei Warnungen verschickt werden. Bisher stand hier nur im Erfolgs bzw. Fehlerfall zur Verfügung.