THEMA: Höchstgrenze von Dateien beim Import?

Hallo,
beim Import einer recht großen Textdatei in eine Accessdatenbank kam auf einmal eine Fehlermeldung (ungefähr nach dem halben Import).
Die Fehlermeldung besagte, die Höchstgrenze für Dateiimporte sei überschritten (dies müsse in den Einstellungen eingestellt werden).
Mir ist nicht bekannt, dass es eine Obergrenze gibt, auch habe ich keine entsprechende Einstellmöglichkeit gefunden.
Die zu importierende Datei hatte über 800.000 Datensätze, jedoch lediglich 2 Spalten und sollte eins zu eins übertragen werden. Trotzdem dauerte auch der halbe Import bereits 2 Stunden.
Woran kann das liegen?
Zur Info: habe die Datei dann geteilt, dies hat funktioniert, ist jedoch ein umständlicher Weg....
MfG

Hallo Frau Kluge,

Im FlowHeater gibt es keine Begrenzung bzgl. der maximalen Anzahl an zu verarbeitenden Datensätzen. Die theoretische Obergrenze des FlowHeater liegt bei ca. 2 Milliarden Datensätzen/Zeilen. Bevor Sie hier an die Grenzen stoßen, werden Sie eher Probleme mit der Datenbank, Hauptspeicher, … bzw. der zeitlichen Verarbeitung bekommen Hier mal ein Forumsbeitrag zu den Leistungsgrenzen .

Ich vermute eher, dass die Meldung aus Access heraus generiert wird. Hier sollten aber eigentlich auch 800.000 Datensätze kein Problem darstellen. Ich habe Ihnen hierzu eine kleine Beispiel Access Datenbank inkl. Definition erstellt die genau das macht, siehe Anlage. Der Import von 800.000 Datensätzen dauert hier ca. 8 Minuten! Bitte führen Sie das mal bei Ihnen aus um einen Vergleichswert zu haben. Bitte achten Sie darauf, dass Sie das Beispiel von einer lokalen Festplatte ausführen.

Mögliche Ursachen für die Fehlermeldung sowie die langsame Verarbeitung)

1. In der Access Datenbank ist ein Index oder ähnliches korrupt, bitte hierzu mal die Access Datenbank komprimieren und reparieren.


2. Die Datenbankgröße Ihrer Access MDB ist annährend 2 GB groß! Bitte hierzu ebenfalls die Access Datenbank komprimieren und reparieren. Wie groß ist die MDB/ACCDB anschließend?


3. Liegt die Access Datenbank MDB bzw. ACCDB auf einem lokalen Laufwerk oder aber wird darauf übers Netzwerk zugegriffen?


4. Arbeiten während des Datenimportes aktiv noch weitere Benutzer mit der Access Datenbank oder ist die Datenbank exklusive im Zugriff?


5. Die genaue Fehlermeldung wäre nicht schlecht. Haben Sie die Möglichkeit den Import mit den 800.000 Datensätzen nochmal zu starten?

Für eine weitere Analyse bräuchte ich bitte mal die Ergebnisse der oben stehenden Fragen sowie wären folgende Infos noch hilfreich.

1. Um welche Access Datenbank bzw. Office Version handelt es sich?


2. Welche FlowHeater Version setzen Sie genau ein? Falls Version 4.x, in welcher Variante 32 Bit oder 64 Bit?


3. Welches Windows Version setzen Sie ein?

Guten Tag Herr Stark,

danke für die ausführliche Antwort. Eine Obergrenze in diesem Bereich hätte mich auch wirklich erstaunt.
Kann Ihren Test leider nicht ausführen, da wir die Version 3.5.3 nutzen. Darüber hinaus arbeiten wir in einer virtuellen Umgebung. Unsere Server sind aber definitiv groß genug .
Habe jedoch die entsprechende Datenbank komprimiert und repariert, die Zieltabelle geleert und anschließend den Import erneut gestartet - diesmal in nur 11 Minuten.
Habe anschließend noch eine Dublettenprüfung eingebaut via clone + Lookup + IfThenElse + Filter. Diese wiederum verlangsamt das Ganze dann jedoch wieder enorm. Gibt es einen eleganteren weg, um Doppeltimporte zu vermeiden?

Mit freundlichen Grüßen
Kluge

Hallo Frau Kluge,

doppelte Datensätze können auf zwei Arten etwas eleganter ausgefiltert werden.

1. Über den Filter Heater mit aktivierter Option „Duplikate filtern“ = Dubletten Filter. Ist diese Option aktiv benötigen Sie keine zusätzlichen Heater zur weiteren Prüfung, sie fügen dem Filter Heater lediglich alle Felder hinzu anhand Sie feststellen möchten ob der Datensatz bereits verarbeitet wurde (=doppelt vorhanden) und überspring diesen Satz. Dieses Vorgehen ist sehr schnell, kann aber nur auf der READ Seite prüfen ob hier Datensätze doppelt vorhanden sind!


2. Um auf der WRITE Seite nur Datensätze anzufügen die noch nicht hinzugefügt wurden reicht es aus, im Access Konfigurator die Optionen „Daten anfügen (insert)“ sowie „Vorhandene Datensätze ignorieren“ zu aktivieren. So prüft der FlowHeater für Sie anhand des definierten Primary Keys ob ein Datensatz mit dem Schlüssel bereits existiert und überspringt diesen Satz. Verlangsamt die Verarbeitung etwas, funktioniert nur wenn Datensätze nur angefügt werden sollen.

Dubletten Filter



Bereits vorhandene Datensätze ignorieren