Welches Programm sollte ich verwenden, um 20 TB Daten über das Netzwerk zu übertragen?

rsync ist ein guter Weg (scp ist ziemlich gleich mit weniger Funktionen). Möglicherweise möchten Sie die -ZOption verwenden, die die zlib-Komprimierung aktiviert. Je nachdem, wie schnell Ihre Laufwerke/Computer sind, kann es schneller sein, als unkomprimiert zu senden, dh wenn Ihre Netzwerkverbindung gesättigt ist. Möglicherweise möchten Sie auch die Option -aArchivmodus, die symbolische Links, Berechtigungen und Erstellungs-/Änderungszeiten beibehält sowie Verzeichnisse rekursiv kopiert. Je nachdem, was Sie kopieren, möchten Sie möglicherweise , dass -Eerweiterte Attribute und Mac-Ressourcengabeln erhalten bleiben. Schließlich --progresswerden Ihnen Fortschrittsinformationen angezeigt.

Obwohl es nicht so allgegenwärtig ist wie rsync, habe ich in der Vergangenheit ein Tool namens "mpscp" verwendet - http://www.sandia.gov/MPSCP/mpscp_design.htm

Es handelt sich um ein Dateikopiertool von Sandia National Labs, das über SSH läuft und speziell für die Auslastung von Hochgeschwindigkeitsnetzwerken zwischen nahen Systemen optimiert ist (z. B. das Kopieren von Terabytes an Daten zwischen zwei Supercomputern am selben Standort, die über 10 Gb+ oder Infiniband verbunden sind). Es funktioniert gut, aber die Einrichtung kann ein bisschen mühsam sein. Beim Testen habe ich leicht gesehen, dass es 2x-3x schneller läuft als rsync.

Verwenden Sie rsync und erwägen Sie die Verwendung mit rsyncd. Wenn Sie rsync ohne rsyncd verwenden, bleiben Sie bei der Verwendung von ssh hängen, was bedeutet, dass Sie eine Art Verschlüsselung verwenden. Wahrscheinlich kopieren Sie die Daten von einem älteren Computer auf einen neueren Computer, und der ältere Computer verfügt möglicherweise nicht über das CPU-Grunzen, um die Daten für die Übertragung schnell genug zu verschlüsseln, um eine Gigabit-Ethernet-Verbindung gesättigt zu halten. Testen Sie die Übertragung von Dateistapeln mit beiden Methoden und finden Sie heraus, welcher Weg schneller ist.

Aus dem gleichen Grund würde ich empfehlen, die Verwendung der Komprimierungsoption von rsync zu testen, bevor Sie sich dazu verpflichten, sie zu verwenden. Die Komprimierung ist eine weitere CPU-intensive Aktivität, die möglicherweise nicht mit Gigabit-Ethernet-Geschwindigkeiten mithalten kann, wenn sie auf älterer Hardware versucht wird. rsync ist ein fünfzehn Jahre altes Programm, das zurückgeschrieben wurde, als die Mehrheit der Menschen selbst in den Ländern der Ersten Welt über ein Wählmodem auf das Internet zuging. Die Kompromisse zwischen Netzwerkbandbreite und CPU waren damals sehr unterschiedlich.

Sind diese 20 TB in einer kleinen Anzahl großer Dateien (wie Video, Monster-Datenbank) oder Millionen kleinerer Dateien verpackt?

Wenn viele kleine Dateien vorhanden sind, würde ich rsync für die Neustartfähigkeit oder einen geleiteten Tar-Stream für die Effizienz verwenden (eine Netzwerkverbindung für das Los, beginnen Sie erneut von vorne, wenn dies fehlschlägt).

tar -cf - * | ( cd newhome; tar -xf - )

Remote-Ordner muss gemountet sein.

Könnten Sie das neue Array direkt mit einer anderen Schnittstelle verbinden? Lokales rsync verwendet kein ssh, also entfernen Sie diesen Fehlerpunkt. Ja, Firewire 800 ist langsamer als Gigabit-Ethernet, aber Sie können Ethernet nicht zu 100 % auslasten - es könnte durch Firewire schneller sein. Zu deiner Info kannst du auch Firewire Firewire im Glossar erklärt vernetzen wenn die Boxen nahe genug sind. Fügen Sie die Schnittstelle in den Systemeinstellungen -> Netzwerk hinzu.

Eine andere Möglichkeit wäre, Bittorrent Sync ( http://www.bittorrent.com/sync ) auszuprobieren. Ich habe es verwendet, um Familienfotos und -videos zwischen Mitgliedern unserer Familie über das WAN zu synchronisieren, aber es gibt keinen Grund, warum es nicht für das lokale Netzwerk funktionieren sollte. Es verwendet Peer-to-Peer-Verbindungen, sodass die Daten nicht über einen Server laufen, wie wenn Sie versuchen würden, etwas wie Dropbox zu verwenden (nicht, dass Sie 20 TB Dropbox-Speicherplatz haben oder so lange warten möchten, um so viel hochzuladen Daten!)

Es wird auch auf mehreren Plattformen unterstützt und ist daher flexibler als rsync und tar.