PyTorch

PyTorch ist eine auf Maschinelles Lernen ausgerichtete Open-Source-Programmbibliothek für die Programmiersprache Python, basierend auf der in Lua geschriebenen Bibliothek Torch, die bereits seit 2002 existiert. Entwickelt wurde PyTorch von dem Facebook-Forschungsteam für künstliche Intelligenz. Im September 2022 wurde Pytorch mittels der neugegründeten Pytorch Foundation Teil der Linux Foundation.

PyTorch
Basisdaten
Entwickler	Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan
Erscheinungsjahr	2016
Aktuelle Version	2.1.1 (15. November 2023)
Betriebssystem	Linux, MacOS, Windows
Programmiersprache	Python, C, CUDA
Lizenz	Open Source
pytorch.org

Funktionen und Versionsgeschichte

Mit der Programmbibliothek lassen sich zum einen mit GPUs beschleunigte Tensor-Analysen erstellen und zum anderen Neuronale Netze auf Basis eines bandbasierten Autograd-Systems erstellen. Dabei lassen sich bewährte Python-Bibliotheken wie NumPy, SciPy und Cython nutzen. Beim Deep Learning zeichnet sich die Programmbibliothek durch viel Flexibilität und eine hohe Geschwindigkeit aus. ONNX zum Austausch von Modellen mit anderen Programmbibliotheken wird unterstützt. TorchScript-Dokumente können durch einen Compiler in PyTorch-Modelle umgewandelt werden. TorchScript kann unabhängig von Python ausgeführt werden und ist seit der Version 1.2 in PyTorch enthalten.

Die im Oktober 2019 erschienene 1.3-Version ermöglicht die Nutzung von PyTorch auf den mobilen Plattformen Android und iOS (PyTorch Mobile). Ein 8-Bit-Quantisierungsmodell soll ebenfalls das Deployment auf Servern und Edge-Geräten effizienter gestalten. Da die traditionelle Implementierung von Tensoren Mängel auswies, können Tensoren seit der Version 1.3 auch als Named Tensors benannt werden. Mit der Version 1.4 von Januar 2020 wurde Pruning für künstliche neuronale Netze und ein paralleles Training von Modellen mit Remote Procedure Call ergänzt. Des Weiteren wurde eine Anbindung zu Java hinzugefügt. Seit der Version 1.5, die Mitte April 2020 erschienen ist, wird TorchServe als Open-Source-Server für PyTorch verwendet. Neben Facebook ist dabei auch der Cloud-Anbieter Amazon Web Services (kurz: AWS) an dem Dienst beteiligt. Ebenfalls lässt sich seit der Version eine C++-Frontend-API verwenden.

Bibliotheken und Plattformen

PyTorch setzt sich aus mehreren Bibliotheken und Plattformen zusammen, die für Maschinelles Lernen eingesetzt werden. Nachfolgend eine Liste der einzelnen Elemente von PyTorch mit einer Übersicht der wichtigsten Funktionen:

Name	Funktionen
AllenNLP	Design und Entwicklung von Natural-language-processing-Modellen
advertorch	Umgang mit abweichenden Trainingsdaten
BoTorch	Module für Künstliche neuronale Netze, GPU- und Autograd-Unterstützung
ELF	Lösen von Computerspielen
fastai	Bilderkennung/ Texterkennung/ Tabellenkalkulation/ Kollaboratives Filtern
flair	Natural language processing (Computerlinguistik)
glow	Compileroptimierung und Codegenerierung von neuronalen Netzwerkgraphen
GPyTorch	Gauß-Prozesse mit Berechnungen durch den Grafikprozessor
Horovod	Verteiltes Deep Learning mit Performance-Optimierungen durch Übertragungen zwischen den Knoten, die auf dem Message Passing Interface basieren.
ignite	Trainieren von Künstlich neuronalen Netzen
ParlAI	Austausch von großen Datensets zum Trainieren und Testen von Deep Learning-Anwendungen
pennylane	Quantencomputing im Bereich Maschinelles Lernen, Automatisches Differenzieren und Optimierung
PySyft	Datensicherheit/ Datenverarbeitung
PyTorch geometric	Erkennung geometrischer Muster
PyTorch Lightning	Automatisierung
Pyro	Statistik-, Prognosen- und Wahrscheinlichkeitsrechnung
skorch	Implementierung von Scikit-learn-Funktionen
TensorLy	Tensoranalysis/ Tensoralgebra
Translate	Maschinelle Übersetzung

Wichtige Bibliotheken in PyTorch für Maschinelles Lernen sind torchvision für die Bilderkennung, torchtext für die Texterkennung und torchaudio für die Sprach- und Audioerkennung.

Beispiel

Das folgende Programm zeigt die Funktionalität der Bibliothek anhand eines einfachen Beispiels.

import torch dtype = torch.float device = torch.device("cpu") # Hiermit werden alle Berechnungen auf der CPU ausgeführt # device = torch.device("cuda:0") # Hiermit werden alle Berechnungen auf der GPU ausgeführt  # Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen a = torch.randn(2,3,device=device,dtype=dtype) print(a) # Ausgabe des Tensors A # Ausgabe: tensor([[-1.1884, 0.8498, -1.7129], # [-0.8816, 0.1944, 0.5847]])  # Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen b = torch.randn(2,3,device=device,dtype=dtype) print(b) # Ausgabe des Tensors B # Ausgabe: tensor([[ 0.7178, -0.8453, -1.3403], # [ 1.3262, 1.1512, -1.7070]])  print(a*b) # Ausgabe einer Multiplikation der beiden Tensoren # Ausgabe: tensor([[-0.8530, -0.7183, 2.58], # [-1.1692, 0.2238, -0.9981]])  print(a.sum()) # Ausgabe der Summe aller Elemente im Tensor A # Ausgabe: tensor(-2.1540)  print(a[3,2]) # Ausgabe des Elements in der dritten Spalte der zweiten Zeile # Ausgabe: tensor(0.5847)  print(a.min()) # Ausgabe des Minimumwertes im Tensor A # Ausgabe: tensor(-1.7129) 

Module

Autograd-Modul

PyTorch verwendet eine automatische Differenzierungsmethode. Es zeichnet Vorwärtsberechnungen auf und spielt diese dann rückwärts ab, um Gradienten zu berechnen. Diese Methode ist besonders beim Aufbau neuronaler Netze nützlich, da man hiermit differenzielle Parameterkorrekturen parallel zu einem Vorwärtsdurchlauf berechnen kann.

Optim-Modul

Torch.optim ist ein Modul, das mehrere Optimierungsalgorithmen implementiert, die beim Aufbau neuronaler Netze verwendet werden. Die meisten der am häufigsten verwendeten Methoden wurden implementiert.

Nn-Modul

Das Autograd-Modul von PyTorch erleichtert das Definieren von Berechnungsgraphen und das Arbeiten mit Gradienten, ist jedoch möglicherweise zu niedrig, um komplexe neuronale Netze zu definieren. Eine Abstraktion auf höherer Ebene für solche Anwendungen ist das nn-Modul.

Weblinks

• http://pytorch.org

Literatur

Deutsch

• Tariq Rashid: Neuronale Netze selbst programmieren: Ein verständlicher Einstieg mit Python, O’Reilly, 2017, ISBN 978-3-96010-103-1

• Delip Rao, Brian McMahan: Natural Language Processing mit PyTorch: Intelligente Sprachanwendungen mit Deep Learning erstellen, Dpunkt.Verlag, 2019, ISBN 978-3-96009-118-9
• Sebastian Raschka: Machine Learning mit Python: das Praxis-Handbuch für Data Science, Predictive Analytics und Deep Learning, mitp Verlags, 2017, ISBN 978-3-95845-423-1
• Ramon Wartala: Praxiseinstieg Deep Learning: Mit Python, Caffe, TensorFlow und Spark eigene Deep-Learning-Anwendungen erstellen, O’Reilly, 2018, ISBN 978-3-96010-157-4

Englisch

• Chitra Vasudevan: Concepts and Programming in PyTorch, Chitra Vasudevan, 2018, ISBN 978-93-88176-05-7
• Sherin Thomas, Sudhanshu Passi: PyTorch Deep Learning Hands-On: Build CNNs, RNNs, GANs, reinforcement learning, and more, quickly and easily, Packt Publishing Ltd, 2019, ISBN 978-1-78883-343-1
• Pradeepta Mishra: PyTorch Recipes: A Problem-Solution Approach, Apress, 2019, ISBN 978-1-4842-4258-2
• Samuel Burns: Python Deep Learning: Develop Your First Neural Network in Python Using Tensorflow, Keras, and Pytorch, Independently Published, 2019, ISBN 978-1-0925-6222-5
• Vishnu Subramanian: Deep Learning with PyTorch: A practical approach to building neural network models using PyTorch, Packt Publishing, 2018, ISBN 978-1-78862-607-1
• Hyatt Saleh: Applied Deep Learning with PyTorch: Demystify neural networks with PyTorch, Packt Publishing, 2019, ISBN 978-1-78980-705-9
• Eli Stevens, Luca Antiga: Deep Learning with Pytorch, MANNING PUBN, 2019, ISBN 978-1-61729-526-3
• David Julian: Deep Learning with PyTorch Quick Start Guide: Learn to train and deploy neural network models in Python, Packt Publishing, 2018, ISBN 978-1-78953-973-8

Einzelnachweise

1. Release 2.1.1. 15. November 2023 (abgerufen am 19. November 2023).
2. Serdar Yegulalp: Facebook brings GPU-powered machine learning to Python. In: InfoWorld. (infoworld.com [abgerufen am 26. Januar 2018]). 
3. Ben Lorica: Why AI and machine learning researchers are beginning to embrace PyTorch. In: O’Reilly Media. 3. August 2017 (oreilly.com [abgerufen am 26. Januar 2018]). 
4. Nikhil Ketkar: Introduction to PyTorch. In: Deep Learning with Python. Apress, Berkeley, CA, 2017, ISBN 978-1-4842-2765-7, S. 195–208, doi:10.1007/978-1-4842-2766-4_12 (springer.com [abgerufen am 26. Januar 2018]). 
5. Mo Patel: When two trends fuse: PyTorch and recommender systems. In: O’Reilly Media. 7. Dezember 2017 (oreilly.com [abgerufen am 26. Januar 2018]). 
6. John Mannes: Facebook and Microsoft collaborate to simplify conversions from PyTorch to Caffe2. In: TechCrunch. (techcrunch.com [abgerufen am 26. Januar 2018]). 
7. Tech giants are using open source frameworks to dominate the AI community | VentureBeat. Abgerufen am 26. Januar 2018 (amerikanisches Englisch). 
8. PyTorch strengthens its governance by joining the Linux Foundation. Abgerufen am 13. September 2022 (englisch). 
9. Alexander Neumann: PyTorch: Ein Deep-Learning-Framework von Facebook. Abgerufen am 26. Januar 2018 (deutsch). 
10. Was ist ONNX (Open Neural Network Exchange)? Abgerufen am 30. August 2019. 
11. heise online: Machine Learning: PyTorch 1.2 verbessert Scripting und Export. Abgerufen am 30. August 2019. 
12. heise online: Machine Learning: PyTorch 1.3 setzt auf Mobilgeräte. Abgerufen am 14. Oktober 2019. 
13. heise online: Machine Learning: PyTorch 1.4 öffnet sich für Java. Abgerufen am 18. Mai 2020. 
14. heise online: Machine Learning: TorchServe dient PyTorch 1.5 als neuer Open-Source-Server. Abgerufen am 18. Mai 2020. 
15. Jeremy Howard, Sylvain Gugger: Deep Learning for Coders with fastai and PyTorch. O’Reilly, 2020, ISBN 978-1-4920-4552-6 (python.engineering). 
16. (Nicht mehr online verfügbar.) Archiviert vom Original am 20. Januar 2020; abgerufen am 30. August 2019 (englisch).  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.pytorch.org 
17. https://www.bigdata-insider.de/was-ist-horovod-a-846416/. Abgerufen am 30. August 2019.