Der Daten Import / Export Spezialist
Schauen Sie sich auch die verfügbaren Beispiele zum SqlServer Adapter an evtl. kann Ihre Frage hiermit schon beantwortet werden: CSV Import , FlatFile Export , Import IDENTITY (Auto Inkrement) Felder , Export auf mehrere CSV Dateien aufteilen

Ergebnis der Konvertierung erst am Ende schreiben

  • Matthias Rindt
  • Autor
  • Offline
  • Junior Mitglied
  • Junior Mitglied
Mehr
1 Jahr 2 Tage her #4456 von Matthias Rindt
Ergebnis der Konvertierung erst am Ende schreiben wurde erstellt von Matthias Rindt
Hallo,

wir konvertieren Sachbuchungen aus Excel in einen SQL-Datenbank. Es sind 5 Verarbeitungsschritte notwendig. Der erste füllt eine InMemory-Tabelle und die nächsten vier füllen je eine Datenbanktabelle mit Rechnungskopf, Rechnungspositionen (1:n), Kostenstellem n:m) und Steuerbuchungen 1:n). Diese Tabellen werden von einem Dienst überwacht in in bestimmtem Zeitabständen dasnn in die Finanzbuchhaltung importiert. In der ersten Tabelle ist ein Flag, welches eine Rechnung als importiert kennzeichnet. 

Aktuell werden die Tabellen alle 5 Minuten abgefragt und dann importiert, Nun dauert aber die Konvertierung schon 16 Minuten. Den Intervall hoch setzen ist sicher eine Möglichkeit, Gäbe es aber eine andere Möglichkeit, wie z.B.:

- die 5 Verarbeitungsschritte in kleineren Paketen abzuarbeiten?
- das Schreiben der Tabellen erst am Ende durchführen zu lassen? 

VG Matthias 
   

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Mehr
1 Jahr 1 Tag her #4457 von FlowHeater-Team
FlowHeater-Team antwortete auf Ergebnis der Konvertierung erst am Ende schreiben
Hallo Herr Rindt,

eigentlich muss es vom Prozess her egal sein, wie lange die Aufbereitung bzw. Konvertierung der Excel Daten dauert. Der Dienst, der die Tabellen alle 5 Minuten überwacht, darf eigentlich erst anfangen, wenn ein bestimmtes Trigger Flag gesetzt ist. Dieses Flag muss/sollte in der Konvertierungsdefinition am Ende gesetzt werden. Das könnten z.B. im letzten Import Step über den SQL Heater und Ausführung am Ende der Definition getan werden. z.B. UPDATE t_ImportDaten set ImportComplete = 1;

Denn, egal wie klein Sie Ihre Daten Häppchen machen, irgendwann wird das immer mal parallel abgearbeitet werden und das Ergebnis muss auch in dem Fall konsistent sein.
Ist das nicht gegeben kann eigentlich das Risiko von Inkonsistenzen nur minimiert werden, wenn Sie die Daten Häppchen sehr klein halten. Um ein genaues Szenario aufzuzeigen bräuchte ich mehr Hintergrundinformationen sowie geht das was hier im Rahmen des kostenlosen Supports geleistet werden kann zu weit

Aber Grundsätzlich wird es darauf hinauslaufen die Daten temporär in separate CSV Textdateien zu zerlegen, z.B. Mandantenbezogen, Rechnungsbezogen, etc.

Folgendes Vorgehen würde ich Vorschlagen)
  1. Eine Definition bereitet die Excel Daten auf und zerlegt diese in kleine CSV Dateien. Die Dateien am Besten in einem separaten Verzeichnis generieren lassen, das am Anfang gelöscht wird. Unten finden Sie zwei Beispiel wie mit dem TextFile Adpater mehrere Dateien anhand eines Merkmales geschrieben werden können.

  2. Dann über das Batch Modul diese Dateien mit der Option /ReadFileName Auftrag*.csv importieren lassen.


Beispiele wie mehrere Textdateien geschrieben werden können

gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Ladezeit der Seite: 0.391 Sekunden

andere Sprachen

en

FlowHeater Home

de en

Impressum/Kontakt

Datenschutz

Copyright © 2009-2023 by FlowHeater GmbH.
Alle Rechte vorbehalten.

Follow us on

twitter  facebook

YouTube

 de en