Videoarchivlösung

Ich habe noch nie genau das getan, was Sie zu tun versuchen, aber ich glaube, ich weiß, wie ich es tun könnte. Hoffentlich ist diese Antwort nützlich oder startet zumindest eine Diskussion von Leuten, die konkretere Erfahrungen haben.

Einer der wichtigsten Faktoren bei Ihrer Wahl wird sein, etwas zu kaufen, das jemand verwalten kann. Ich denke, Sie würden mit einer Commodity-Dateiserver-Appliance gut zurechtkommen, wo Sie sie über eine Webschnittstelle oder so verwalten und einfach Festplatten + Ethernet + Strom anschließen und so einrichten, dass sie Ihnen eine E-Mail senden, wenn ein Laufwerk ausfällt.

Wenn Sie einen normalen PC verwenden, auf dem Linux (mit Linuxs hervorragendem Software-RAID) und Samba und/oder NFS zur gemeinsamen Nutzung der Dateien ausgeführt wird, können Sie problemlos 6 Festplatten einbauen. Mit jeder billigen PCIe-SATA-Karte können Sie jedoch eine weitere hinzufügen viele. Ihr Server wird auch viel CPU-Zeit übrig haben, so dass Sie ihn Videokodierung oder etwas anderes machen lassen können, wenn Sie wollen. Oder gehen Sie einfach richtig billig auf die CPU. (Besorgen Sie sich jedoch keinen langsamen RAM. Das Herumkopieren und Prüfsummen von Daten kann möglicherweise zu Engpässen bei der Speicherbandbreite führen.)

RAID6 ist CPU-intensiver, da die Paritätsinformationen ausgefallene Modulo-Arithmetik verwenden müssen, anstatt nur XOR, aber auch hier mit gigE als Engpass, und wo Sie nicht brauchen, dass die Maschine viel CPU-Zeit übrig hat alles andere, es ist in Ordnung. Sie brauchen keine teure RAID-Karte, da Ihnen die Kosten pro TB wichtiger sind als vielleicht 10 % Geschwindigkeit. RAID-Karten werden oft mit Software geliefert, um sie zu überwachen und E-Mails zu senden, wenn ein Laufwerk ausgetauscht werden muss. smartd von smartmontools und/oder mdadm können ebenfalls E-Mails senden, wenn Sie sie dafür eingerichtet haben.

Gigabit-Ethernet wird bei weitem der größte Engpass sein (100 MB/s). Wenn Sie einen Server mit mehreren Gigabyte-Ports erhalten, können Sie diese verbinden (mehrere Kabel, die alle mit demselben Switch verbunden sind), sodass mehrere Clients gleichzeitig 100 MB/s lesen und schreiben können.

Da Sie dies hauptsächlich über GigE und für Videos (große Dateien, die nacheinander gelesen und geschrieben werden) verwenden werden, wäre so etwas wie WD Green-Festplatten am besten geeignet. Niedriger Leerlauf und maximale Leistung bedeuten, dass Sie viele HDs leichter in ein Gehäuse packen können, ohne zu überhitzen. Sie müssen nach Gehäusen suchen, die viele HDs aufnehmen können, vorzugsweise mit ihnen, die für Hotswapping von vorne zugänglich sind. Vielleicht ein Rackmount-Servergehäuse, insb. wenn Sie bereits ein Gestell haben. Ich habe noch nie nach Fällen für Bootsladungen von HDs gesucht, also gibt es wahrscheinlich Dinge, die ich hier vermisse.

Ich denke, es gibt externe Chassis (mit eigenem PS) zum Halten zusätzlicher HDs, und sie haben möglicherweise sogar SATA-Port-Multiplikatoren. Wenn dies der Fall ist, können Sie möglicherweise alles an die integrierten SATA-Ports Ihres Mobo anschließen, da Sie 4 oder mehr Festplatten an jedem der 6 SATA-Anschlüsse Ihres Mobo haben würden. Ich bin mir nicht sicher, ob das so funktioniert, also lies besser nach. (Sogar sequentielle Lesevorgänge auf aktuellen Laufwerken nutzen nicht die volle Bandbreite von 6 Gb/s SATA, daher wäre die Schnittstelle ein Engpass mit 3 oder mehr Laufwerken an einem einzigen SATA-Port. GigE ist jedoch ein größerer Engpass. Und überhaupt 6 Mobo SATA-Ports, die alle auf Hochtouren laufen, wären höllisch schnell.)

Bearbeiten: Anscheinend unterstützen nicht alle SATA-Controller Port-Multiplikatoren . zB ein http://www.newegg.ca/Product/Product.aspx?Item=N82E16817182280 , das ich mir für meinen eigenen Gebrauch angesehen habe, hat eine Herstellerantwort, dass Mobo-SATA-Ports oft keine Port-Multiplikatoren unterstützen.

Bearbeiten : Die FreeNAS HW-Empfehlungen raten zur Vorsicht bei SATA-Port-Multiplikatoren. Anscheinend können sie Ihre Daten essen. Dieser FreeNAS-Leitfaden ist genau das, was Sie sich ansehen sollten, um sich über Hardware zu informieren. (Aber wenn Sie ZFS nicht verwenden, ist viel RAM nicht sehr wichtig. Linux anstelle von FreeBSD wird wahrscheinlich auch eine etwas bessere Hardwarekompatibilität haben. Remote-Management-IPMI wird sehr wertvoll sein, wenn etwas schief geht, außer einem Festplatten-HW-Fehler. Oder selbst dann, um festzustellen, welche Festplatte ausgefallen ist.)

Was die Details des RAID-Setups betrifft, ja, ich würde vorschlagen, dass RAID5 wahrscheinlich eine gute Wahl ist. Wenn Sie es sich leisten können, irgendwo mindestens eine zweite Kopie Ihrer Daten als Backup zu haben, müssen Sie nicht allzu paranoid hinsichtlich der Zuverlässigkeit des Hauptarchivs oder des Backups sein. Wenn nicht, dann sollten Sie wahrscheinlich zu RAID6 gehen.

Selbst RAID6 hilft Ihnen immer noch nicht, wenn jemand versehentlich das falsche Verzeichnis auf dem gemeinsam genutzten Server löscht oder überschreibt oder wenn ein CPU- oder RAM-Ausfall zu einer Beschädigung des Dateisystems führt. RAID hilft Ihnen nur beim Zurücklesen der geschriebenen Daten. Wenn andere Fehler dazu führen, dass die falschen Daten geschrieben werden, sind Sie in Schwierigkeiten.

ZFS könnte eine gute Wahl sein, um zusätzliche Prüfsummen zu erstellen, um Beschädigungen zu erkennen. Sie können es so einrichten, dass RAID5-Redundanzebenen (RAID-Z) oder RAID6 (z2) bereitgestellt werden. Linux BTRFS macht im Grunde dasselbe wie ZFS, aber sein eingebautes RAID5/6 ist noch nicht ausgereift.

Wenn Sie am Ende mehr als vielleicht 16 Laufwerke verwenden, sollten Sie darüber nachdenken, sie in zwei kleinere RAID5- oder RAID6-Arrays aufzuteilen.

Offsite-Backups, die mindestens wöchentlich von Ihrem Hauptspeicherserver aktualisiert werden, sind eine wirklich gute Idee. Verwenden Sie für diesen speziellen Fall der Videosicherung vielleicht die CPU-Zeit auf Ihrem NAS, um Ihre Videos für die Offsite-Sicherung auf niedrigere Bitraten zu transkodieren, damit Sie nicht so viel Offsite-Speicherplatz benötigen. Wenn Sie dann alles verlieren, haben Sie alles, was Sie von den Arbeitsstationen der Leute abziehen können, die sie dorthin kopiert hatten, plus die Videos von geringerer Qualität aus Ihrem Offsite-Backup. Hoffentlich müssen Sie es nie benutzen.

Ach, noch eine Idee. Die Kosten für die ständige Online-Verfügbarkeit von so viel Speicherplatz sind ein kleiner Faktor (ein Server muss gekauft werden). Eventuell sinnvoll um externe Festplatten als 2. Kopie zu nutzen. Oder sogar "interne" Festplatten, die Sie in eine Dockingstation stecken. (Sieht aus wie ein Toaster, nimmt aber SATA-Festplatten statt Brot.) Legen Sie die Festplatte ein, synchronisieren Sie einige Daten mit dem Laufwerk und nehmen Sie sie zur sicheren Aufbewahrung mit nach Hause. Wenn Ihr Studio dann abbrennt, hat jemand die Daten zu Hause. Dies ist möglicherweise einfacher, als einen externen Backup-Server für Ihr Archiv zu finden.

Oder zahlen Sie einfach für Cloud-Backups Ihres Archivs. Das könnte tatsächlich am sinnvollsten sein, wenn Ihre Internetverbindung damit umgehen kann. (Sie könnten die Offsite-Backup-Idee mit niedrigerer Bitrate auch mit Cloud-Backups verwenden.)

Das ist alles ziemlich theoretisch, da mein Job als Sysadmin für einige kleine Linux-Beowulf-Cluster einige Jahre zurückliegt.

Wie auch immer, denken Sie daran, dass jemand dieses Ding verwalten muss. Der Administrator zu sein, bedeutet wahrscheinlich nicht, dass Sie ihn wöchentlich stundenlang babysitten müssen, aber Sie brauchen jemanden, der die Einrichtung versteht und weiß, was zu tun ist, wenn es ein Problem gibt. Das Austauschen eines Laufwerks erfordert normalerweise das Herumstöbern der Admin-Benutzeroberfläche, nicht nur das physische Wechseln der Hardware.

Halten Sie eine Ersatzfestplatte bereit, um eine ausgefallene zu ersetzen, damit Ihre Daten nicht lange ungeschützt bleiben. Wahrscheinlich möchten Sie, dass eine E-Mail über ein ausgefallenes Laufwerk an mehrere Personen gesendet wird, damit jeder, der in der Nähe ist, ein ausgefallenes Laufwerk durch das Ersatzlaufwerk ersetzen kann. (Wenn Sie das Laufwerk im NAS-PC oder -Gerät haben, dann ist es ein Hot-Spare und kann automatisch verwendet werden.)