News

Verarbeitungsschritte bearbeitenMit dieser Version können nun auch Verarbeitungsschritte kopiert sowie deaktiviert werden. Das Kopieren von Verarbeitungsschritten funktioniert natürlich auch über die Zwischenablage, so dass hier auch aus bereits vorhandenen Definitionen Verarbeitungsschritte übernommen werden können. Weiterhin können nun Warnungen von einzelnen Verarbeitungsschritten komplett deaktiviert werden.

Mit dieser Version verwendet der Access Adapter einen automatischen ODBC Treiber Fallback falls kein passender OleDB Treiber gefunden wurde.

Debugging - TroubleshootingTroubleshooting bzw. die Fehlersuche wird mit dieser Erweiterung stark vereinfacht. Wie lange wurde schon gesucht, warum wird ein Feld nicht so formatiert wie gewünscht, oder ist der Rückgabewert nicht der erwartete, etc. Diese mühsame Arbeit kann nun mit der neuen Einzelschrittverarbeitung (Debugging von Definitionen) deutlich verkürzt werden.

Der FlowHeater Server wurde um eine weitere leistungsfähige Funktion erweitert. Es wird nun optional von jeder Aufgabe eine Ausführungshistorie protokolliert. Die Fehleranalyse, auch von weit zurückliegenden Ausführungen, wird dadurch stark vereinfacht. Protokolliert werden pro angelegte Aufgabe, sowie detailliert auch für die darin angelegten Schritte, Datum/Uhrzeit der Ausführung sowie Beendigung, Ausführungsdauer, Ergebnis der Ausführung (Erfolg, Warnung, Fehler), sowie Optional die generierte Konsolenausgabe. Wie lange diese Protokollierung aufbewahrt werden soll kann über die Server Konfiguration individuell konfiguriert werden.

InMemory Adapter - zur schnellen Daten Aufbereitung/AnreicherungDer neue InMemory Adapter kann als absolutes Highlight angesehen werden. Aufgrund der immer leistungsfähigeren Computer mit immer mehr Hauptspeicher wurde nun ein Adapter entwickelt der rein Hauptspeicher basierend arbeitet und diese Leistungsmerkmale vollumfänglich unterstützen kann.

Mit dem InMemory Adapter können beliebig viele „interne“ Tabellen im Hauptspeicher angelegt werden die während der Verarbeitung einer Definition beliebig befüllt, angereichert, verändert und anschließend natürlich auch wieder ausgegeben werden können.

Mehrere Verarbeitungsschritte in einer DefinitionMit dieser Version unterstützt der FlowHeater mehrere Verarbeitungsschritte innerhalb einer Definition (.fhd Datei). Es können beliebig viele Verarbeitungsschritte einer Definition hinzugefügt werden, die dann in der angegebenen Reihenfolge nacheinander ausgeführt werden.

Tipp: FlowHeater Parameter stehen „global“ übergreifend in einer Definition zur Verfügung. Hiermit sind einige sehr interessante neue Option bei der Daten Import/Export Verarbeitung möglich. Es ist z.B. möglich über einen vorgelagerten Verarbeitungsschritt bestimmte Datensätze zu zählen, FlowHeater Parametern mit diesen Werten zu befüllen und in einem weiteren Verarbeitungsschritt z.B. als Filterkriterium weiter zu verwenden.

FlowHeater Server - Exit Code BehandlungDer FlowHeater Server wurde mit dieser Version um einige Leistungsstarke Funktionen erweitert. Es können nun Verzeichnisse nicht nur auf neue Dateien überwacht, sondern neu auch optional auf Änderungen von Dateien. Die Verarbeitung fängt an sobald die Datei nicht mehr von einem anderen Prozess geöffnet ist.

Der AutoID Heater bietet mit dieser Version die Möglichkeit einen Zähler zu etablieren der nur alle X verarbeitete Datensätze/Zeilen den generierten Zähler hochzählt. So können relativ leicht z.B. größere Exporte durchgeführt werden in denen die Ausgabe auf mehrere CSV Dateien aufgeteilt werden (alle x Datensätze eine neue Exportdatei). Selbstverständlich unterstützt diese Option auch die Angabe von FlowHeater Parametern. So kann die Anzahl der Zeilen in einer CSV Exportdatei dynamisch per Batch Übergabeparameter gesteuert werden.

z.B. FHBatch.exe /SetParameter MAX-REC=10000 export-csv.fhd

Damit dieses Vorgehen funktioniert muss natürlich der genierte Zähler über einen weiteren FlowHeater Parameter gespeichert werden sowie dieser Parameter dann als Platzhalter im Ausgabe Dateinamen vom TextFile Adapter mit verwendet werden.

z.B. Dateiname = C:\Temp\export$FILEID$.csv

So legt der Textfile Adapter pro neuen AutoID Zählerwert automatisch eine neue Exportdatei an. Ein kleines Beispielvideo wie es geht finden Sie in der Beschreibung zum AutoID Heater.

Mit dieser Version wurde eine weitere leistungsfähige Funktion (Heater) im FlowHeater implementiert. Über den neuen CMD Heater können dynamisch externe Programme oder aber auch Skripte (Perl, PHP, PowerShell, …) während eines Import/Export Laufes ausgeführt werden. Die eigentliche FlowHeater Verarbeitung wird dafür solange angehalten bis die Ausführung beendet wurde. Evtl. Programmausgaben können in FlowHeater Parameter umgeleitet werden um diese in der FlowHeater Definition zur Verfügung zu stellen. Schlägt die Ausführung des externen Programms/Skript fehl kann das über den Exit Code über eine Bedingung (IF-THEN-ELSE Heater) geprüft werden und die Verarbeitung mit Hilfe des Stop Heater abgebrochen werden.

Der Excel Adapter wurde mit dieser Version komplett überarbeitet und um zahlreiche Features erweitert. Es können nun auch Updates von Excel Zeilen/Datensätzen, ähnlich wie bei den Datenbank Adaptern, durchgeführt werden. Dabei kann entschieden werden ob Daten nur angefügt, nur aktualisiert oder aber beide Optionen kombiniert verwendet werden sollen. Der Excel Adapter prüft anhand der definierten Schlüsselfelder automatisch ob der Datensatz aktualisiert oder aber nur an das Arbeitsblatt angefügt werden soll. Optional kann der Datenbereich auf dem Arbeitsblatt vor dem Import gelöscht werden. So kann sichergestellt werden, dass bei einer kleineren Datenimportmenge keine alten Datenbestände auf dem Excel Arbeitsblatt bestehen bleiben.

XML Export gruppierenMit dieser Version wurde der XML Adapter um eine weitere leistungsfähige Funktion erweitert. Es ist nun möglich beim XML Export Daten über XML Knoten hinweg zu gruppieren. Mit diesem Feature können nun wesentlich komplexere XML Dateien während eines Exportlaufes generiert werden als bisher. Weiterhin wurde im XML Adapter Konfigurator das Anlegen und Verschieben von Knoten sowie Unterknoten verbessert.

Diese Funktionalität wurde eigentlich schon mit Version 4.0.6.1 als Zwischenversion veröffentlicht. Da es für Zwischenversionen lediglich eine kurze Auflistung der neuen Funktionalität gibt hier nun etwas mehr Informationen dazu.

Wird im TextFile Adapter auf der READ Seite eine UTF/Unicode Textdatei ausgewählt in der die Kodierung mittels BOM (byte order mark) festgeschrieben wird die dazugehörige Codepage automatisch erkannt und gesetzt. Die automatische Erkennung funktioniert nur bei Unicode/UTF Dateien mit BOM (byte order mark), ohne diese muss leider nach wie vor die zu verwendende Codepage manuell ausgewählt werden. Die verwendete Standard Codepage ist weiterhin die auf dem System eingestellte Windows ANSI Codepage.

FlowHeater Server ManagerDas Warten hat sich gelohnt, mit etwas Verzögerung konnte nun die erste FlowHeater Server Version fertiggestellt werden. Der FlowHeater Server kann Zeit- sowie Event getriggert  automatisiert Aufgaben auch ohne Benutzeranmeldung ausführen. Bei der Entwicklung wurde auf ein Maximum an Flexibilität geachtet, daher können nicht nur FlowHeater Definitionen ausgeführt werden. Es werden u.a. auch EXE Dateien sowie Skripte mit den Endungen CMD, BAT und PS1 (=Power Shell) unterstützt.

Zeilen werden in Textdateien im Normalfall mit dem unter Windows üblichen Zeichen/Bytes CR LF (0x0D0A) abgeschlossen bzw. unter Linux/Unix und Mac OS X nur mit LF (0x0A). Diese beiden Zeilenumbruch Varianten wurden bisher im TextFile Adapter unterstützt. In einigen Textdateien werden die Inhalte aber einfach vorgeschrieben, als Zeilen/Satz Trennzeichen wird hier ein frei definiertes Zeichen verwendet. Der TextFile Adapter unterstützt nun frei definierte Zeichen und interpretiert diese als Zeilenumbruch, so dass die Verarbeitung dieser Textdateien wie gewohnt durchgeführt werden kann. Es werden beliebige Zeichen sowie Kombinationen aus mehreren Zeichen als Zeilenumbruch unterstützt.

Mit dieser Version wurden die Heater (Funktionen) "Now" und "DaysDiff" um zwei weitere Leistungsfähige Datums/Zeit Funktionen erweitert sowie wurden einige weitere Verbesserungen implementiert.

Der FlowHeater wurde um eine weitere Leistungsfähige Funktion erweiterte, es können nun neben FlowHeater Parametern auch Umgebungsvariablen als Platzhalter für dynamische Konfigurationsparameter verwendet werden. Sollen Umgebungsvariablen verwendet werden muss dabei der Umgebungsvariablenname mit dem Prozentzeichen umschlossen werden.

Der AutoID Heater wurde um eine Leistungsfähige Funktion erweitert. Es können nun fortlaufende Zahlen (Auto IDs) anhand gleicher aufeinanderfolgender Eingangswerte gebildet werden. Die Zählung beginnt hier mit dem ersten unterschiedlichen übergebenen Eingangswert und wird solange fortgeführt bis sich der Eingangswert ändert. Im Unterschied zur Auswirkung auf „GroupBy (Heater)“ ist, bei dieser Funktion werden die Datensätze auf der WRITE Seite nicht zusammengefasst (gruppiert) sondern 1:1 durchgereicht.

Leerzeichen in Oracle Spaltennamen sind zwar selten aber wenn sie vorkamen war es mehr als ärgerlich, denn die Tabelle konnte mit dem Oracle Adapter bisher nicht gelesen bzw. geschrieben werden. Mit dieser Version können nun auch Feld/Spaltennamen mit Leerzeichen im Oracle Adapter verarbeitet werden. Die Option ist automatisch aktiv, es ist weiter keine Aktion erforderlich.