Skip to main content
Weil einfach - produktiver ist

Der Daten Spezialist

Konvertieren Sie die Daten mühelos zwischen verschiedenen Formaten ohne Programmierkenntnisse dank Visual Designer. Effizient und super einfach.
Flowheater Download

Verbindung zu großer SharePoint-Bibliothek stürzt ab

Mehr
1 Jahr 9 Monate her #4598 von Jens Hetze
Hallo zusammen,

in einer Konfiguration des FlowHeater (32bit-Variante) verwenden wir auf der Read-Seite einen ODBC-Adapter (Sybase SQL) und auf der Write-Seite einen OLEDB-Adapter (Verbindung zu einer SharePoint 2013 Bibliothek).
Der Flowheater lädt Metadaten zu in der Bibliothek vorhandenen Dokumenten nach. Ab einer bestimmten Anzahl an verarbeiteten Dokumenten (ca. 388) stürzt der Flowheater mit der Fehlermeldung "Nicht genügend Systemressourcen" ab.
Das Verhalten tritt auch im Testlauf auf.

Im Taskmanager des Windows-Systems ist ersichtlich, dass der Flowheater 1.444MB Arbeitsspeicher belegt hat. Über das gesamte System sind 4,8GB von 8,0GB in Verwendung.
Auf der Festplatte sind noch ca. 40GB frei.
D.h. es stehen eigentlich noch Systemressourcen zur Verfügung.

Derzeit ist der Workaround, die SQL-Abfrage auf der Read-Seite regelmäßig einzugrenzen, so dass unter 388 Dokumente verarbeitet werden. Das ist aber unschön, da die Anpassung alle 14 Tage nötig ist.

Was könnten wir tun, um die Verarbeitung über eine größere Anzahl laufen zu lassen?

Viele Grüße
Jens
Anhänge:

Bitte Anmelden um der Konversation beizutreten.

Mehr
1 Jahr 9 Monate her #4599 von FlowHeater-Team
Hallo Herr Hetze,

das wir schwierig  Einmal ist das Problem der verwendete 32 Bit SharePoint OleDB Treiber? Hier ist der Hauptspeicher auf theoretische 2 GB (in Wirklichkeit ca. 1,5 GB) begrenzt. Welches 32 Bit Office setzen Sie denn ein bzw. welchen Connection String verwenden Sie?

Können Sie das ganze mal auf einem 64 Bit Office System mit 64 Bit FlowHeater ausprobieren? Hier kann der gesamte Hauptspeicher verwendet werden.

Dann wäre mal gut zu wissen was Sie vorhaben. Ggf. macht es Sinn z.B. nicht „select * from LIST“ zu verwenden, sondern die SharePoint Liste auf die notwendigen Felder zu begrenzen.

Dann gäbe es die Möglichkeit über FlowHeater Parameter einen dynamischen SELECT zu bauen der pro Aufruf immer nur die neuen Listenelemente verarbeitet. z.B. "select * from LIST where ID > $LASTID$" oder so ähnlich. Dazu bräuchte ich aber etwas mehr informationen zur genauen Aufbabenstellung.
 

Bitte Anmelden um der Konversation beizutreten.

Mehr
1 Jahr 9 Monate her #4600 von Jens Hetze
Vielen Dank für die verschiedenen Ansätze. Das hat sehr geholfen.

Wir haben uns intern vorerst auf die Eingrenzung der Datensätze verständigt.
Als Plan B soll der 64-Bit-Treiber dienen.

Ein dynamisches SELECT ist leider nicht möglich, da die Datensätze nicht immer chronologisch bzw. fortlaufend verwendet werden.

Bitte Anmelden um der Konversation beizutreten.

Ladezeit der Seite: 0.284 Sekunden

FlowHeater - Der Daten Spezialist

Effiziente Datenintegration und Transformation mit FlowHeater - Ihre Lösung für nahtlosen Datentransfer.

Rechtliches

Support & Kontakt

Kontaktinformation

Telefon:
0951 / 99339792

E-Mail:
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein.


Copyright © 2009-2024 by FlowHeater GmbH. Alle Rechte vorbehalten.