Crawler-Info

Beim Team NorthArchive nutzen wir automatische Web-Crawler für die regelmäßige Archivierung von Webseiten.

Unser Crawler kann basierend auf seinem User-Agent erkannt werden, welcher einen Link zu dieser Seite beinhaltet.

Faire Limitierungen

Alle Crawl-Aufgaben sind standartmäßig konfiguriert um faire Limits einzuhalten. Diese umfassen Anfragefrequenz und Bandbreite je Domain. Diese Limits sind der jeweiligen Aufgabe angepasst.

Software

Unsere Crawl-Aufgaben laufen auf der Heritrix 3 Engine vom Internet Archive.

Kontakt

Der Administrator des Crawlers ist Kevin Kandlbinder. Er kann unter [email protected] per E-Mail erreicht werden.