Der Daten Import / Export Spezialist
 
Willkommen, Gast
Benutzername: Passwort: Angemeldet bleiben:
  • Seite:
  • 1

THEMA:

Filter und Batch Verarbeitung. 6 Monate 2 Wochen her #4272

Hallo, Ich habe eine Frage zu Filter und Batch Verarbeitung.

Angenommen gibt es 500 csv Dateien die in eine Datenbank geschrieben werden sollen. Unter diesen Dateien gibt es doppelte mit dem gleichen Inhalt, Datum und die Werte sind gleich. Diese gleichen Dateien sind aber an unterschiedlichen Tagen erstellt worden.
Ist es möglich beim Batch Verarbeitung zu überprüfen ob die Daten schon in der Datenbank vorhanden sind und diese Datei beim Verarbeiten auszulassen?

Unter diesem Video https://www.youtube.com/watch?v=4UAr0FypE_Y&feature=youtu.be  wird erklärt wie Filter innerhalb der Datei funktionieren um Doppelte Werte zu entfernen, wie ist es aber mit kompletter Datenquelle?

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Letzte Änderung: von FlowHeater-Team.

Filter und Batch Verarbeitung. 6 Monate 2 Wochen her #4273

  • FlowHeater-Team
  • FlowHeater-Teams Avatar
  • Offline
  • Beiträge: 1681
Hallo Boris,

die Prüfung, ob ein Datensatz bereits existiert oder nicht, können Sie dem Datenbank Adapter überlassen. Wenn Sie hier auf der WRITE Seite die Optionen „Daten anfügen (Insert)“ und „Vorhandene Datensätze ignorieren“ auswählen (siehe Screenshot), prüft der Datenbank Adapter das anhand der definierten Schlüsselfelder (Primary Key) automatisch.

Wenn jetzt die ausgelesenen Primary Key Felder nicht zu Ihrer Prüfung passen, können Sie das auf dem Reiter „Felder / Datentypen“ auch noch an Ihre Bedürfnisse anpassen. Hier einfach alle Felder auswählen bzw. abwählen, anhand der Datenbank Adapter die Prüfung vornehmen soll.

Wenn die Definition dann soweit angepasst wurde können Sie die 500 CSV Dateien über die Batch Modul Option /ReadFilename und der Angabe von Wildcards auf einen Rutsch verarbeiten.

z.B. FHBatch.exe /ReadFileName C:\Temp\*.csv import.fhd

Insert Optionen
 


Schlüsselfelder (Primary Key) auswählen
 
 
gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.
Anhänge:

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Letzte Änderung: von FlowHeater-Team.

Filter und Batch Verarbeitung. 6 Monate 1 Woche her #4274

Ich muss es noch mal nachfragen da ich nicht vom Fach bin und noch einiges unklar ist. So wie ich das verstanden habe kann ich alle Felder auf der Write Seite auswählen und zu Primary Key machen. In meiner Datenbank ist aber nur ID als Primary Key definiert. 
Ich habe gerade so laufen lassen und in der Datenbank waren doppelte Einträge drin.
 

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Letzte Änderung: von FlowHeater-Team. Grund: Copy&Paste Base64 Bilder entfernt!

Filter und Batch Verarbeitung. 6 Monate 1 Woche her #4275

die Bilder sollten rein ) 
Anhänge:

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Filter und Batch Verarbeitung. 6 Monate 1 Woche her #4276

  • FlowHeater-Team
  • FlowHeater-Teams Avatar
  • Offline
  • Beiträge: 1681
Hallo Boris,

das Problem in Ihrem Fall ist das Feld ID. Einmal ist das nicht mit der WRITE Seite verbunden und zum anderen ist das Feld vom Typ „Auto Inkrement“, zählt also automatisch hoch.

Ich kenne Ihre Daten jetzt nicht, aber vermutlich ist diese Information (ID) nicht in Ihren CSV Dateien enthalten? Wenn dem so ist, müssen Sie bei diesem Feld den Haken bei „Primary Key“ entfernen, „Auto Inkrement“ aber lassen. So prüft der FlowHeater anhand aller definierten Schlüsselfelder, ob ein Datensatz bereist eingefügt wurde.

Hinweis: Sie sollten nur die Felder als Schlüsselfeld deklarieren, worüber sie auch feststellen möchten ob ein gleicher Datensatz bereits eingefügt wurde. Wenn das alle, außer dem Feld ID sind, dann ist das so  Meistens sollten dafür aber ein paar wenige Felder ausreichen.
 
gruß
Robert Stark

Wurde Ihre Frage damit beantwortet? Bitte geben Sie ein kurzes Feedback, Sie helfen damit auch anderen die evtl. ein ähnliches Problem haben. Danke.

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Filter und Batch Verarbeitung. 6 Monate 1 Woche her #4277

Danke, so geht es! 

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

  • Seite:
  • 1
Ladezeit der Seite: 0.113 Sekunden

andere Sprachen

en

FlowHeater Home

de en

Impressum/Kontakt

Datenschutz

Copyright © 2009-2021 by FlowHeater GmbH.
Alle Rechte vorbehalten.

Follow us on

twitter  facebook

YouTube

 de en