Der Daten Import / Export Spezialist
 
Willkommen, Gast
Benutzername: Passwort: Angemeldet bleiben:
Schauen Sie sich auch die verfügbaren Beispiele zum OleDB Adapter an evtl. kann Ihre Frage hiermit schon beantwortet werden: Sharepoint Listen Import / Export / Update
  • Seite:
  • 1

THEMA:

Verbindung zu großer SharePoint-Bibliothek stürzt ab 3 Monate 1 Woche her #4598

  • Jens Hetze
  • Jens Hetzes Avatar Autor
  • Offline
  • Beiträge: 10
Hallo zusammen,

in einer Konfiguration des FlowHeater (32bit-Variante) verwenden wir auf der Read-Seite einen ODBC-Adapter (Sybase SQL) und auf der Write-Seite einen OLEDB-Adapter (Verbindung zu einer SharePoint 2013 Bibliothek).
Der Flowheater lädt Metadaten zu in der Bibliothek vorhandenen Dokumenten nach. Ab einer bestimmten Anzahl an verarbeiteten Dokumenten (ca. 388) stürzt der Flowheater mit der Fehlermeldung "Nicht genügend Systemressourcen" ab.
Das Verhalten tritt auch im Testlauf auf.

Im Taskmanager des Windows-Systems ist ersichtlich, dass der Flowheater 1.444MB Arbeitsspeicher belegt hat. Über das gesamte System sind 4,8GB von 8,0GB in Verwendung.
Auf der Festplatte sind noch ca. 40GB frei.
D.h. es stehen eigentlich noch Systemressourcen zur Verfügung.

Derzeit ist der Workaround, die SQL-Abfrage auf der Read-Seite regelmäßig einzugrenzen, so dass unter 388 Dokumente verarbeitet werden. Das ist aber unschön, da die Anpassung alle 14 Tage nötig ist.

Was könnten wir tun, um die Verarbeitung über eine größere Anzahl laufen zu lassen?

Viele Grüße
Jens
Anhänge:

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Verbindung zu großer SharePoint-Bibliothek stürzt ab 3 Monate 1 Woche her #4599

Hallo Herr Hetze,

das wir schwierig  Einmal ist das Problem der verwendete 32 Bit SharePoint OleDB Treiber? Hier ist der Hauptspeicher auf theoretische 2 GB (in Wirklichkeit ca. 1,5 GB) begrenzt. Welches 32 Bit Office setzen Sie denn ein bzw. welchen Connection String verwenden Sie?

Können Sie das ganze mal auf einem 64 Bit Office System mit 64 Bit FlowHeater ausprobieren? Hier kann der gesamte Hauptspeicher verwendet werden.

Dann wäre mal gut zu wissen was Sie vorhaben. Ggf. macht es Sinn z.B. nicht „select * from LIST“ zu verwenden, sondern die SharePoint Liste auf die notwendigen Felder zu begrenzen.

Dann gäbe es die Möglichkeit über FlowHeater Parameter einen dynamischen SELECT zu bauen der pro Aufruf immer nur die neuen Listenelemente verarbeitet. z.B. "select * from LIST where ID > $LASTID$" oder so ähnlich. Dazu bräuchte ich aber etwas mehr informationen zur genauen Aufbabenstellung.
 

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

Verbindung zu großer SharePoint-Bibliothek stürzt ab 3 Monate 5 Tage her #4600

  • Jens Hetze
  • Jens Hetzes Avatar Autor
  • Offline
  • Beiträge: 10
Vielen Dank für die verschiedenen Ansätze. Das hat sehr geholfen.

Wir haben uns intern vorerst auf die Eingrenzung der Datensätze verständigt.
Als Plan B soll der 64-Bit-Treiber dienen.

Ein dynamisches SELECT ist leider nicht möglich, da die Datensätze nicht immer chronologisch bzw. fortlaufend verwendet werden.

Bitte Anmelden oder Registrieren um der Konversation beizutreten.

  • Seite:
  • 1
Ladezeit der Seite: 0.109 Sekunden

andere Sprachen

en

FlowHeater Home

de en

Impressum/Kontakt

Datenschutz

Copyright © 2009-2022 by FlowHeater GmbH.
Alle Rechte vorbehalten.

Follow us on

twitter  facebook

YouTube

 de en