THEMA:

Guten Morgen Herr Stark,

der Diskussionseintrag ist zwar schon älter, aber genau das Problem, Festzustellen, ob die gesamte Verarbeitung erfolgreich war bzw. bei welcher Input-Datei und welcher Zeile genau welche Fehler aufgetreten sind, beschäftigt mich im Augenblick.

Vorschlag von meiner Seite:Wäre es möglich / sinnvoll, alle aufgetretenen Warnings / Errors in ein separates "Warning / Error File" bzw. in eine entsprechende Datenbank-Tabelle zu schreiben?

Falls Sie die Idee aufgreifen, wäre mein Vorschlag, mindestens die folgenden Informationen auszugeben:
- Timestamp, wann der Fehler aufgetreten ist
- Dateiname der Eingabedatei
- Zeilennummer der Eingabedatei, die zu dem Fehler geführt hat
- Name des Attributes / Feldes, welchen den Fehler verursacht hat
- Inhalt des Attributes / Feldes, welchen den Fehler verursacht hat
- Name des Heaters, der über den Fehler "gestolpert" ist
- Genaue Fehlermeldung
- Error-Level (also z.B. 4 bei Warnings, 8 bei Fehlern, 12 bei Abbruch)

Würde mich freuen, wenn Sie die Anregung aufnehmen könnten, denn gerade das Logging und Exception-Handling ist insbesondere bei regelmäßig durchzuführenden, komplexeren Import-Jobs m.E. einer der Knackpunkte - so eine zentrale "Fehler-Tabelle" würde FlowHeater würde hier meiner Ansicht nach sehr helfen.

Viele Grüße vom Niederrhein
D. Melzig

Hallo Herr Melzig,

vielen Dank für den Verbesserungsvorschlag. Die meisten Punkte sind allerdings schon umgesetzt

Aktuell gibt das Batch Modul -1 im Fehlerfall sowie im Erfolgsfall 0 zurück. Tritt ein Fehler auf wird der Import/Export Job abgebrochen. Falls Datenbank Adapter verwendet wurden wird hier auch ein Rollback der aktiven Transaktion durchgeführt.

Bei einigen Funktionen (z.B. .NET Script Heater ) und auch Datenbank Adapter können Sie noch angeben ob nach einem Fehler der Vorgang weiter durchgeführt werden soll.

Das Ganze können Sie im Batch Modul über die Option /LogFile dateiname.log in ein Logfile ausgeben lassen. Hier sehen Sie auch was die Fehlermeldung/Warnung verursacht. Auch sehen Sie hier bzw. auch auf der Konsole den Heater/Adapter sowie die Zeilennummer wo das Problem aufgetreten ist.

In der aktuellen Beta Version (Download Links siehe unten) wurde jetzt zusätzlich noch der Error Level auf Ihren Vorschlag umgesetzt, sowie das Logging etwas erweitert.

• Error Level 0 = Erfolg
• Error Level 4 = beendet mit Warnungen
• Error Level 8 = beendet mit Fehlern
• Error Level 12 = Abbruch/Rollback

Das mit dem Error Level sollte eigentlich schon lange umgesetzt werden, vielen Dank nochmal für den Hinweis. Achtung: Der FlowHeater Server kann derzeit nur mit Exitcode 0 was anfangen, alle anderen führen derzeit zu Fehlermeldungen, wird mit der nächsten Beta Version angepasst!

Das Logging wurde generell etwas erweitert. Die Kompakte Ausgabe (Option /LogCompact) zeigt jetzt folgende Felder als CSV Datei an.

CSV Ausgabe Felder

1. Datum und Uhrzeit des Logeintrages
2. Verwendete Definition inkl. Pfadangabe
3. Name und Version des Batchmoduls
4. [Name und Version des Batchmoduls/li]
   
5. Datum und Uhrzeit: Start der Definition
6. Read Adapter: Anzahl verarbeitete Datensätze | Warnungen | Fehler
7. Fitter: Anzahl verarbeitete Datensätze | Warnungen | Fehler
8. Write Adapter: Anzahl verarbeitete Datensätze | Warnungen | Fehler
9. Bei Write Datenbank Adapter: Anzahl Inserts ansonsten 0
10. Bei Write Datenbank Adapter: Anzahl Updates ansonsten 0
11. Datum und Uhrzeit: Ende der Definition
12. Laufzeit der Definition in Sekunden
13. Returncode bzw. Error Level
14. Gelesene Datei (falls Option /ReadFileName angegeben)
15. Geschriebene Datei (falls Option /WriteFileName angegeben)

Werden Fehler oder Warnungen generiert landen diese auch in der Logdatei inkl. Herkunft, Zeilennummer und Fehlermeldung. Wie oben schon geschrieben war das meiste auch schon in der normalen Version vorhanden. Das Batch Modul wurde lediglich um den Error Level erweitert sowie wurde die Logausgabe etwas modifiziert. Gerne können Sie noch weitere Wünche äußern.


Beta Version Download
FlowHeater Beta 32 Bit
FlowHeater Beta 64 Bit
FlowHeater Server Beta

Guten Morgen Herr Stark,

das ist prima, dass Sie meine Anregung aufgegriffen und sogar gleich umgesetzt haben - herzlichen Dank dafür.

Die Möglichkeit, die Fehler "post mortem" im Log-File zu analysieren, hatte ich natürlich bereits gesehen. Da ich einen Massen-Import umsetze, bei dem eine ganze Reihe, zum Teil unterschiedlich strukturierter Excel-Files eingelesen und in eine MySQL-DB geschrieben werden und anschließend noch eine Datenaufbereitung innerhalb der Datenbank läuft, liegt für mich die Herausforderung schlicht darin, nachzuvollziehen, ob bei der Verarbeitung etwas schief gelaufen ist , was genau nicht funktioniert hat und an welcher Stelle (also 1. welche Eingabedatei, 2. welcher Record, 3. welches Feld innerhalb des Records und 4. welcher Heater genau "gestolpert" ist) - mit dem Error-Log muss ich das zur Zeit tatsächlich noch manuell machen.

Eine enorme Hilfe wäre, wenn diese vier Informationen (1. welche Eingabedatei, 2. welcher Record, 3. welches Feld innerhalb des Records und 4. welcher Heater genau "gestolpert" ist) in eine Fehler-Tabelle geschrieben werden könnten, dann wäre die Basis geschaffen, für ein automatisiertes Fehler-Handling (ggf. automatisches Versenden einer Info per Mail bei bestimmten Fehlersituationen).

Zur Not würde ich mir mittels FlohHeater einen Automatismus erstellen, welcher das jeweilige Log-File einliest und mir die Error-Tabelle selbst erstellen Falls Sie dies jedoch für allgemein interessant halten und in FH implementieren, würde ich allerdings lieber Ihre Version nehmen.

Viele Grüße vom Niederrhein
D. Melzig

Hallo Herr Melzig,

mit dem Schreiben/Loggen in SQL Tabellen habe ich so meine Bedenken. Da jeder hier was anderes möchte nimmt das schnell eine Größenordnung ein, die dem Ganzen so nicht gerechtfertigt ist.

Das Problem fängt schon damit an welche Datenbank verwendet werden soll? Soll in die gleiche Datenbank geschrieben werden oder aber eine völlig andere und evtl. auch noch unterschiedliche(r) Server (Access, MySQL, Oracle, SQL Server, …). Dann verwendet jeder Kunde eine eigene Struktur der Tabelle (Feldnamen, etc.) die müssten dann wiederum angepasst werden.

Ihr Ansatz mit der FlowHeater Definition, die im Anschluss die Log Ausgaben in die Datenbank einliest ist schon gar nicht schlecht. Das ist meiner Meinung nach auch das einfachste.

Sie können sich mal den FlowHeater Server ansehen. Hier können Sie Emails versenden und definieren was Sie erhalten möchten. z.B. im Erfolgsfall die generierten Dateien und im Fehlerfall die Ausgabe die auf die Konsole gemacht wurden. Wie oben schon erwähnt, kann der Server aktuell nur mit Erfolg und Fehler umgehen, die neuen Exit Codes werden mit der nächsten Beta Version umgesetzt.