|
Hallo,
ich musste auch mal was ähnliches machen. PowerShell ist jetzt nicht mein Ding, aber einen Wait-ähnlichen Befehl sollte es doch geben.
Evtl. kannst du einfach zwischen den Seitenaufrufen ein paar Sekunden vergehen lassen, damit die Seite nicht blockt - ausprobieren.
Irgendjemand hat was von 82947 Seiten geschrieben, das entspricht - wenn man alle 5 Sek. eine aufruft - 6512 Min = 115 h = 5 Tage (wenn der Rechner gut rundum durchläuft).
Auf jeden Fall würde ich bei so etwas was einbauen, das bei einer Unterbrechung (z.B. wegen Verbindungsproblemen etc.) oder Programmabsturzes die bereits gesammelten Daten nicht verloren gehen und bei erneutem Ausführen genau dort angeknüpft werden kann, wo es aufgehört hat. z.B. erst alle Links speichern, dann die Links (=Seiten) aufrufen und die Daten extrahieren. Nach ein paar neuen Daten die Datei auf der Festplatte speichern. Mit so einer Linkliste kann man leicht an einem bestimmten Punkt der Liste wieder anfangen/weitermachen.
Und dann einfach etwas Geduld, ist ja trotzdem schneller als von Hand :-)
Grüße, Ulrich
|