Software zum inkrementellen Backup zum Cloud-Anbieter

Ich suche nach Software zum Implementieren von Sicherungen von einem NAS (auf dem eine Vanilla-Linux-Distribution ausgeführt wird) zu einem Cloud-Speicher-/Sicherungsanbieter. Das NAS speichert 1–3 TB an Dokumenten- und Mediendateien. Insbesondere brauche ich etwas, das:

  • Ausführung unter Linux (genauer gesagt entweder direkt unter Debian Linux oder über ein Docker-Image).
  • Speichern Sie versionierte Backups (dh ermöglicht es mir, in der Zeit zurückzugehen).
  • Speichern Sie Backups verschlüsselt (und nur ich sollte auf die Dateien zugreifen können; der Datenspeicheranbieter sollte nicht in der Lage sein, den Inhalt zu entschlüsseln).
  • Synchronisiert Dateien effizient (inkrementell) mindestens täglich mit einem Offsite-Speicherort. Sollte nur eine vollständige Anfangssicherung und danach keine regelmäßigen vollständigen Sicherungen erfordern.
  • Komprimierte Dateiübertragung.
  • Ich bin flexibel, auf welchen Cloud-Anbieter ich sichern möchte (z. B. S3, Google Drive, Crashplan usw.), solange die wiederkehrenden Kosten ziemlich niedrig sind (unter 200 $/Jahr für mehr als 1 TB Speicherplatz).
  • Open Source wird bevorzugt, aber auch kommerzielle Software ist in Ordnung.
  • Muss eine CLI-Schnittstelle bereitstellen (wenn es eine GUI gibt, sollte sie optional sein)

Duplicity kommt diesen Anforderungen ziemlich nahe, außer dass es regelmäßig ein vollständiges Backup erfordert, um alte Dateien zu bereinigen und Backup-Größen und Wiederherstellungszeiten zu verringern.

Borg Backup scheint viel Potenzial zu haben. Leider wird Cloud-Speicher derzeit nicht standardmäßig unterstützt ( https://github.com/borgbackup/borg/issues/1070 ). Man könnte irgendwo in der Cloud eine VM hochfahren und darauf zB über NFS sichern, aber das wird sehr teuer.

OK, dann möchten Sie vielleicht einen Blick auf Borg Backup werfen . Ich habe es selbst noch nicht ausprobiert, bin erst letzte Woche darüber gestolpert. Unterstützt Verschlüsselung, Deduplizierung, Komprimierung – und das alles z. B. per ssh zu einem NAS, also könnte es mit „externen Cloud-Anbietern“ funktionieren.
Vielen Dank! Borg Backup sieht wirklich interessant aus. Leider wird Cloud-Speicher derzeit nicht standardmäßig unterstützt. Ich könnte irgendwo eine VM hochfahren und über zB NFS sichern, aber das wird sehr teuer.
Wenn die Geschwindigkeit keine Rolle spielt, erlauben Ihnen viele Anbieter, WebDAV zu verwenden, um auf Ihre „Freigaben“ zuzugreifen – Sie könnten also zB davfs2 verwenden, um sie zu mounten. Es gibt auch eine Möglichkeit, Amazon Cloud zu mounten . Kann nicht genauer werden, da Sie den Anbieter nicht erwähnt haben :)
Toller Punkt. Ich bin jedoch etwas vorsichtig damit, da die Integration von Cloud-Unterstützung in Backup-Tools oft architektonische Änderungen an der Software / dem Backup-Format erfordert, die bei Verwendung dieses Ansatzes umgangen werden. Außerdem habe ich in der Vergangenheit S3 FUSE-Dateisysteme getestet und jedes, das ich getestet habe, litt entweder unter Leistungsproblemen oder Zuverlässigkeitsproblemen. Allerdings habe ich keine Tests mit anderen Cloud-Speicheranbietern wie Google/Amazon Drive durchgeführt, die einen Blick wert sein könnten.
@Izzy, das Wort viele hier ist ziemlich übertrieben :) Nenn mich mindestens zwei. Unter den großen Cloud-Anbietern bietet nur OneDrive WebDAV-Zugriff, und ihr Zugriff ist totaler Scheiß! Versuchen Sie, eine 150-MB-Datei über deren WebDAV zu laden, und Sie werden sehr frustriert sein .
@Suncatcher "Rufen Sie mich mindestens zwei an.": Posteo, Mailbox.Org. Owncloud (bei mehreren Hostern), ebenso bei Nextcloud. Oh, sorry, das war 4… :)
@Izzy, Posteo? Briefkasten? Ha-ha) Ich sagte, große Anbieter , Kumpel, spüren Sie den Unterschied. Die von Ihnen genannten sind nicht einmal Clouds, sondern drittklassige Noname-Postfächer. Owncloud ist kein Anbieter, sondern eine Software zum Selbsthosten, also No-Goer.
@Suncatcher Ich bin mir nicht sicher, ob das, was Sie gesagt haben, hier relevant ist, es ist Alex, der die Frage geschrieben hat :) Außerdem haben ownCloud und Nextcloud Listen von Anbietern, die ihre Software verwenden. Und ich habe nur ein paar Beispiele gegeben. Abgesehen davon ist dies kein Diskussionsforum ;)

Antworten (4)

Verwenden Sie Borg (oder ein anderes inkrementelles Sicherungsprogramm) zusammen mit einem Cloud-Zugriffstool

Erwägen Sie die Verwendung einer Kombination von Dienstprogrammen, die jeweils einen Teil dessen erledigen, was Sie wollen, anstatt eines einzigen riesigen Programms, das all dies tun würde. Sie könnten im Wesentlichen mit 2 Programmen davonkommen: der "Cloud Access Layer" und Borg (wenn Sie dies bevorzugen). Ich denke, das folgende Setup würde (meistens) das tun, was Sie brauchen:

Empfehlung für Cloud-Speicherdienste

Probieren Sie Amazon Cloud Drive aus. Es ist ziemlich billig (ich glaube ungefähr 55 $/Jahr) und es funktioniert gut für mich. Ich glaube, sie haben eine 3-monatige Testversion, und Sie zahlen jährlich mit unbegrenztem Speicherplatz (in dem Maße, wie die Leute 10 Terabyte ohne Probleme speichern). Es gibt auch mehrere andere unbegrenzte Speicherdienste, die erschwinglich sind, also schauen Sie sich bitte /r/DataHoarder auf Reddit an, um weitere Empfehlungen zu erhalten.

Herstellen einer Verbindung zum Cloud-Speicher von Ihrem Computer aus

rcloneermöglicht Ihnen die Nutzung einer Vielzahl von Cloud-Speicherdiensten (einschließlich Amazon Cloud Drive) über eine einzige Schnittstelle. Es gibt ein weiteres Dienstprogramm mit ähnlichen Funktionen, acd_clidas nur Amazon Cloud Drive unterstützt. Beide unterstützen die Verwaltung Ihres Speichers über die Befehlszeile (Hochladen, Herunterladen, Auflisten von Dateien) und in unterschiedlichem Maße als gemountetes Dateisystem.

Zugriff auf Ihren Cloud-Speicher als gemountetes Dateisystem

Das kann ganz nett sein, da Sie den Inhalt Ihres Cloud-Laufwerks durchsuchen können, als wäre es ein lokal gemountetes Dateisystem. Sowohl rcloneals auch acd_cliunterstützen das FUSE-basierte Mounten des Cloud-Laufwerks in einem Verzeichnis auf Ihrem Computer.

  • Der Nur-Lese- Zugriff funktioniert recht gut, obwohl acd_clier etwas schneller ist, da er den Round-Trip zum Cloud-Laufwerksdienst minimiert, was rcloneim Moment nicht möglich ist.
  • Read-Write- Unterstützung existiert, ist aber aufgrund der Natur von Cloud-Diensten und ihrer internen Implementierung etwas unzuverlässig.

Wenn in Ihren Tests Borg (oder welche inkrementelle Backup-Lösung Sie auch wählen) gut mit FUSE-Mounts funktioniert, die auf Read-Write eingestellt sind, ist das großartig. Wenn Sie damit Probleme haben, kann Ihr Backup-Tool möglicherweise sein inkrementelles Backup als Archivdatei exportieren, die Sie dann über die Befehlszeile rcloneoder hochladen können.acd_cli

Verschlüsselung

Sie können eine beliebige Anzahl der folgenden auswählen, aber eine starke Verschlüsselungsebene ist ausreichend. Ich empfehle, nicht mehr als eine Ebene zu verwenden, da dies zusätzliche Komplexität hinzufügt, falls etwas kaputt geht und/oder wenn Sie Daten wiederherstellen müssen (ich spreche aus Erfahrung, selbst eine Ebene ist schmerzhaft genug, um dort zu handhaben).

  • rcloneunterstützt das Hinzufügen einer zusätzlichen Verschlüsselungsebene auf Dateiebene über jedem Cloud-Speicher, mit oder ohne Dateinamenverschlüsselung. Dies ist möglicherweise die einfachste Option, und für diese habe ich mich persönlich entschieden.

  • acd_clikann (oder hatte) so etwas haben, aber ich konnte online keine schlüssigen Informationen finden. Einige acd_cliOnline - Tutorials beziehen sich auf die Verwendung zusammen mit EncFS, was sich bei einer kürzlich durchgeführten Sicherheitsüberprüfung als unsicher herausstellte .

  • BorgBackup scheint eine Art Verschlüsselung eingebaut zu haben, aber ich kann nicht sagen, ob sie stark ist oder nicht, da ich sie nicht verwendet habe.

  • Eine weitere Option ist die dateibasierte Verschlüsselungsschicht. Wenn Sie Ihr Cloud-Laufwerk als FUSE-Mount einrichten möchten, eCryptFSsollte die Verwendung darüber hinaus in Ordnung sein. Es gibt eine andere Software namens CryFS, aber ich habe sie mir nicht im Detail angesehen. Verwenden Sie NICHT encfs , wie ich bereits erwähnt habe, es wurde als schwach befunden.

Kompression

  • BorgBackup scheint eine Option zur Verwendung der Komprimierung zu haben, so dass dies die einfachste Option zu sein scheint, wenn Sie sich dafür entscheiden.
  • Wenn Sie sich für eine andere Anwendung entscheiden, die Komprimierung unterstützt, stellen Sie sicher, dass sie über die Komprimierung „xz“ oder LZMA2 verfügt, da diese eine wirklich gute Komprimierungsrate haben (obwohl sie für wirklich schwache Maschinen zu viel sein kann).
  • Wenn Sie sich für eine andere Anwendung entscheiden, die keine Komprimierung unterstützt, empfehle ich, die Backup-Snapshot-Dateien in ein .tar.xzoder .7zArchive zu komprimieren, bevor Sie sie in die Cloud hochladen.

Ich entschuldige mich, wenn dies nicht Ihren Anforderungen entspricht, aber lassen Sie es mich bitte über Kommentare wissen, wenn Sie Fragen haben (auch danke, dass Sie mich auf Borg verwiesen haben, ich kann es ausprobieren).

Schau mal bei duplicati nach .

Es passt zu allen Ihren Bedingungen, wenn ich mich nicht irre:

  • Es funktioniert mit Standardprotokollen wie FTP, SSH, WebDAV sowie beliebten Diensten wie Microsoft OneDrive, Amazon Cloud Drive & S3, Google Drive, box.com, Mega, hubiC und vielen anderen.
  • Auf Ihrem Gerät wird eine AES-Verschlüsselung durchgeführt, dann werden verschlüsselte Dateien gespeichert
  • plus es ist Open Source (LGPL)
  • (Ich werde hier nicht alle Funktionen wiederholen, da sie nur einen Klick entfernt schön präsentiert werden)

Kombinieren Sie es mit ein paar mega.nz-Konten (okay, für Terabyte benötigen Sie möglicherweise viele davon) und Sie haben auch völlig kostenlose Backups.

Duplicati überprüft alle richtigen Kästchen aus Sicht der Funktionen, aber leider ist v2.0 seit mehreren Jahren in der Beta-Phase und die vorherige stabile Version wird nicht unterstützt, so dass es keine sehr sichere Wahl zu sein scheint.

Ich habe gerade den Prozess der Bewertung einer Reihe von Backup-Produkten mit genau der gleichen Liste von Anforderungen durchlaufen. Am Ende entschied ich mich für Duplicacy ( Quellcode ). Es deckt alle von Ihnen erwähnten Punkte ab und bietet die Möglichkeit, ältere Backups zu beschneiden, um die Speicherkosten zu minimieren. Wenn Sie mehrere Computer haben, kann es anscheinend eine Deduplizierung auf diesen Computern durchführen, wenn sie auf demselben Speicher-Repository sichern. Beachten Sie, dass es sich zwar um Open Source handelt, es sich jedoch nicht um eine Standard-Open-Source-Lizenz handelt und eine Lizenz für die kommerzielle Nutzung erforderlich ist.

Am Ende entschied ich mich für restic und sicherte Backblaze B2 zu einem Preis von 5 $/TB/Monat. Ich benutze es seit ein paar Monaten und es ist robust. Es erfüllt die oben genannten Anforderungen, außer dass es keine Komprimierung unterstützt (obwohl dies in Diskussion ist und Teil ihrer v2-Roadmap ist ). Es unterstützt die Deduplizierung über Hosts hinweg, und insgesamt mag ich ihr Design, ihre Umsicht und ihr Entwicklungstempo.

Ich habe auch über Restic nachgedacht, aber da ich hauptsächlich Textdateien (Mailserver) sichere, war die fehlende Komprimierung ein Show-Stopper für mich.