Ich konnte endlich Nvidia Titan XP + MacBook Pro + Akitio Node + Tensorflow + Keras installieren

Ich habe eine Zusammenfassung mit dem Verfahren geschrieben, hoffe es hilft

https://gist.github.com/jganzabal/8e59e3b0f59642dd0b5f2e4de03c7687

Folgendes habe ich getan:

Diese Konfiguration hat bei mir funktioniert, hoffe es hilft

Es basiert auf: https://becominghuman.ai/deep-learning-gaming-build-with-nvidia-titan-xp-and-macbook-pro-with-thunderbolt2-5ceee7167f8b

und auf: https://stackoverflow.com/questions/44744737/tensorflow-mac-os-gpu-support

Hardware

• Nvidia-Grafikkarte: Titan Xp
• EGPU: Akitio-Knoten
• MacBook Pro (Retina, 13 Zoll, Anfang 2015)
• Apple Thunderbolt3 auf Thunderbolt2 Adapter
• Apple Thunderbolt2-Kabel

Softwareversionen

• macOS Sierra-Version 10.12.6
• GPU-Treiberversion: 10.18.5 (378.05.05.25f01)
• CUDA-Treiberversion: 8.0.61
• cuDNN v5.1 (20. Januar 2017), für CUDA 8.0: Registrierung und Download erforderlich
• TensorFlow-GPU 1.0.0
• Keras 2.0.8

Verfahren:

GPU-Treiber installieren

1. Fahren Sie Ihr System herunter, schalten Sie es wieder ein, indem Sie die Tasten (⌘ und R) drücken, bis Sie  sehen. Dadurch gelangen Sie in den Wiederherstellungsmodus.
2. Klicken Sie in der Menüleiste auf Dienstprogramme > Terminal und schreiben Sie „csrutil disable; reboot' Drücken Sie die Eingabetaste, um diesen Befehl auszuführen.

3. Führen Sie nach dem Neustart Ihres Mac diesen Befehl im Terminal aus:

   cd ~/Desktop; git clone https://github.com/goalque/automate-eGPU.git
   chmod +x ~/Desktop/automate-eGPU/automate-eGPU.sh
   sudo ~/Desktop/automate-eGPU/./automate-eGPU.sh
   

4. Trennen Sie Ihre eGPU von Ihrem Mac und starten Sie neu. Dies ist wichtig, wenn Sie Ihre eGPU nicht vom Stromnetz getrennt haben, kann es nach dem Neustart zu einem schwarzen Bildschirm kommen.

5. Öffnen Sie nach dem Neustart Ihres Mac das Terminal und führen Sie diesen Befehl aus:

   sudo ~/Desktop/automate-eGPU/./automate-eGPU.sh -a
   

   6. Schließen Sie Ihre eGPU über TH2 an Ihren Mac an.
   7. Starten Sie Ihren Mac neu.

Installieren Sie CUDA, cuDNN, Tensorflow und Keras

Derzeit benötigt Keras 2.08 Tensorflow 1.0.0. Tensorflow-gpu 1.0.0 benötigt CUDA 8.0 und cuDNN v5.1 hat bei mir funktioniert. Ich habe andere Kombinationen ausprobiert, aber es scheint nicht zu funktionieren

1. Herunterladen und Installieren von CUDA 8.0 CUDA Toolkit 8.0 GA2 (Februar 2017)
2. Installieren Sie es und folgen Sie den Anweisungen

3. Env-Variablen festlegen

   vim ~/.bash_profile
   export CUDA_HOME=/usr/local/cuda
   export DYLD_LIBRARY_PATH="$CUDA_HOME/lib:$CUDA_HOME:$CUDA_HOME/extras/CUPTI/lib"
   export LD_LIBRARY_PATH=$DYLD_LIBRARY_PATH
   

(Wenn Ihr bash_profile nicht existiert, erstellen Sie es. Dies wird jedes Mal ausgeführt, wenn Sie ein Terminalfenster öffnen.)

4. Herunterladen und Installieren von cuDNN (cudnn-8.0-osx-x64-v5.1) Vor dem Herunterladen müssen Sie sich registrieren

5. Kopieren Sie cuDNN-Dateien nach CUDA

   cd ~/Downloads/cuda
   sudo cp include/* /usr/local/cuda/include/
   sudo cp lib/* /usr/local/cuda/lib/
   

6. Umgebung erstellen und Tensorflow installieren

   conda create -n egpu python=3
   source activate egpu
   pip install tensorflow-gpu==1.0.0
   

7. Überprüfen Sie, ob es funktioniert

Führen Sie das folgende Skript aus:

import tensorflow as tf
with tf.device('/gpu:0'):
    a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
    b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
    c = tf.matmul(a, b)

with tf.Session() as sess:
    print (sess.run(c))

8. Installieren Sie Keras in der Umgebung und stellen Sie Tensorflow als Backend ein:

   pip install --upgrade --no-deps keras # Need no-deps flag to prevent from installing tensorflow dependency
   KERAS_BACKEND=tensorflow python -c "from keras import backend"
   

   Ausgabe:

   Using TensorFlow backend.
   I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcublas.8.0.dylib locally
   I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcudnn.5.dylib locally
   I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcufft.8.0.dylib locally
   I tensorflow/stream_executor/dso_loader.cc:126] Couldn't open CUDA library libcuda.1.dylib. LD_LIBRARY_PATH: /usr/local/cuda/lib:/usr/local/cuda:/usr/local/cuda/extras/CUPTI/lib
   I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcuda.dylib locally
   I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcurand.8.0.dylib locally
   

Ich konnte eine NVIDIA GTX 1080 Ti auf dem Akitio Node auf meinem iMac (Ende 2013) zum Laufen bringen. Ich verwende einen Thunderbolt 2 > 3-Adapter, obwohl Sie auf neueren Macs den schnelleren TB3 direkt verwenden können.

Auf eGPU.io sind verschiedene eGPU-Setups beschrieben, und vielleicht finden Sie eines, das Ihren Computer/Ihr Gehäuse/Ihre Karte genau beschreibt. Diese Tutorials dienen hauptsächlich dazu, eine Anzeige mit einer eGPU zu beschleunigen, obwohl Sie zum Trainieren von NNs offensichtlich nicht alle Schritte befolgen müssen.

Hier ist ungefähr, was ich getan habe:

• Installieren Sie CUDA gemäß der offiziellen Dokumentation.
• Deaktivieren Sie SIP (Google für ein Tutorial). Es wird vom Skript eGPU.sh und später auch von TensorFlow benötigt.
• Führen Sie das Skript automate-eGPU.sh (mit sudo) aus, auf das sich anscheinend jeder bei eGPU.io verlässt.
• Installieren Sie cuDNN. /usr/local/cudaDie Dateien von der NVIDIA-Website sollten mit dem Rest Ihrer CUDA-Bibliotheken und -Includes untergehen .
• Deinstallieren Sie TensorFlow nur für die CPU und installieren Sie eines mit GPU-Unterstützung. Bei der Installation mit pip install tensorflow-gpuhatte ich keine Installationsfehler, bekam aber einen Segfault, als ich TensorFlow in Python benötigte. Es stellt sich heraus, dass einige Umgebungsvariablen gesetzt werden müssen (etwas anders als der CUDA-Installer vorschlägt), die in einem GitHub-Issue-Kommentar beschrieben wurden .
• Ich habe auch versucht, TensorFlow aus der Quelle zu kompilieren, was nicht funktioniert hat, bevor ich die env vars wie im vorherigen Schritt beschrieben festgelegt habe.

Über die iStat-Menüs kann ich überprüfen, ob meine externe GPU tatsächlich während des Trainings verwendet wird. Diese TensorFlow-Installation funktionierte zwar nicht mit Jupyter, aber hoffentlich gibt es dafür einen Workaround.

Ich habe dieses Setup nicht oft verwendet, bin mir also nicht sicher über die Leistungssteigerung (oder Bandbreitenbeschränkungen), aber eGPU + TensorFlow/CUDA ist jetzt sicherlich möglich, da NVIDIA damit begonnen hat, geeignete Treiber für macOS zu veröffentlichen.

eGPU-Unterstützung auf macOS ist ein schwieriges Thema, aber ich werde mein Bestes tun, um Ihre Frage zu beantworten.

Beginnen wir mit Grafikkarten! Aus Zeitgründen und weil wir über CUDA sprechen, bleiben wir bei Nvidia-Karten. Jede Grafikkarte funktioniert mit den richtigen Treibern unter Windows. Apple unterstützt jedoch offiziell nur wenige Nvidia-Grafikkarten, hauptsächlich sehr alte. Die Nvidia-Grafiktreiber funktionieren jedoch tatsächlich auf fast allen GeForce- und Quadro-Karten von Nvidia, mit einer großen Ausnahme. GTX 10xx-Karten FUNKTIONIEREN NICHT. Auf jedem Mac-Betriebssystem. Zeitraum. Nvidias Treiber unterstützen diese Karte nicht. Wenn Sie nach Leistung suchen, sollten Sie sich die GTX 980Ti oder Titan X ansehen (viele gute Quadro-Karten würden auch gut funktionieren).

Nun, da wir das abgedeckt haben, lassen Sie uns zu eGPU-Gehäusen übergehen. Da Sie speziell eGPUs erwähnt haben, gehe ich davon aus, dass Sie ein tatsächliches eGPU-Gehäuse (verwenden wir den AKiTiO-Knoten als Beispiel) anstelle eines PCIe-Erweiterungschassis mit externer Stromversorgung vorgesehen haben, da dies nicht der Fall ist eine tolle Idee.

Jetzt haben wir also eine Grafikkarte (GTX 980Ti) in einem eGPU-Gehäuse (AKiTiO Node) und wollen es zum Laufen bringen. Nun, das ist leichter gesagt als getan. Ich habe Ende 2016 ein wenig über eGPU recherchiert, und die Informationen, die ich erhalten habe, waren relativ verwirrend. Wenn also jemand Kommentare oder Korrekturen hat, lass es mich wissen. Soweit ich weiß, müssen Sie einen externen Monitor an die eGPU anschließen, um die Leistung der eGPU nutzen zu können. Ich glaube nicht, dass Sie die eGPU in macOS ohne einen externen Monitor ausführen können. Sie werden den Startbildschirm von Apple auch nicht auf dem mit eGPU verbundenen Monitor sehen (es sei denn, Sie kaufen eine geflashte Karte von MacVidCards), aber Sie sollten dann in der Lage sein, die eGPU zum Ansteuern Ihrer Grafik zu verwenden.

Angenommen, Sie tun dies alles erfolgreich, sollten Sie ein sehr leistungsstarkes CUDA-fähiges Grafik-Kraftpaket haben.

Ich habe es kürzlich mit OSX 10.13.6 für Pytorch und Fastai gemacht. Siehe meinen Kern hier: https://gist.github.com/dandanwei/18708e7bd5fd2b227f86bca668343093

Wenn Sie macOS 10.13.3 verwenden, überprüfen Sie diesen Link . Es deckt alles vom eGPU-Setup bis zur TensorFlow-Kompilierung ab.

• macOS: 10.13.3
• WebDriver: 387.10.10.10.25.156
• CUDA-Toolkit: 9.1.128
• cuDNN: 7
• NVDAEGPUSupport: 6
• XCode: 8.2
• Basel: 0.9.0
• OpenMP: neuste
• Python: 3.6
• TensorFlow: 1.5.0