Modellentwicklung mit PyTorch

Seminarziel

Am Ende des Seminars sind die Teilnehmenden in der Lage, PyTorch effektiv zu nutzen, um leistungsstarke, skalierbare und benutzerfreundliche Modelle zu entwickeln, die Geschäftsprozesse verbessern, Sicherheitsmaßnahmen implementieren und die Datenverarbeitung optimieren. Sie lernen, wie sie Projekte planen, erweiterte Funktionen implementieren und die Datenverarbeitung optimieren

Inhalt

• Einführung in PyTorch
  • Überblick über PyTorch: Was ist es und warum ist es wichtig?
  • Hauptmerkmale und Vorteile von PyTorch im Vergleich zu anderen Deep-Learning-Frameworks.
  • Anwendungsfälle und typische Szenarien für die Nutzung von PyTorch.
• Installation und Einrichtung
  • Systemanforderungen und notwendige Software.
  • Installation von PyTorch auf verschiedenen Plattformen (Windows, macOS, Linux).
  • Einrichtung der Entwicklungsumgebung (z.B. Jupyter Notebook, VSCode).
• Grundlegende Konzepte und Architektur
  • Einführung in Tensors und grundlegende Tensor-Operationen.
  • Überblick über die Architektur von PyTorch: Autograd, nn.Module, Optimizers.
  • Verständnis der Rechen-Graphen und der automatischen Differenzierung.
• Datenverarbeitung und Datasets
  • Laden und Vorverarbeiten von Daten mit PyTorch DataLoader und Dataset.
  • Nutzung von torchvision für den Umgang mit Bilddaten.
  • Datenaugmentation und Transformationen.
• Praktische Übung 1: Einrichtung und grundlegende Tensor-Operationen
  • Problemstellung : Einrichtung der Umgebung und Durchführung grundlegender Operationen mit Tensors.
  • Lösung :
    • Installation von PyTorch und Einrichtung der Entwicklungsumgebung.
    • Erstellen und Manipulieren von Tensors.
    • Durchführung grundlegender mathematischer Operationen mit Tensors.
    • Tool : Jupyter Notebook, PyTorch.
    • Ergebnis : Eine funktionsfähige PyTorch-Umgebung und ein grundlegendes Verständnis von Tensor-Operationen.
• Aufbau von Neuronalen Netzwerken
  • Einführung in nn.Module und den Aufbau von neuronalen Netzwerken.
  • Erstellen von einfachen Modellen (z.B. lineare Modelle, MLPs).
  • Implementierung von Forward- und Backward-Pass.
• Training von Modellen
  • Definition von Verlustfunktionen und Optimierern.
  • Training von Modellen und Überwachung des Trainingsfortschritts.
  • Vermeidung von Overfitting durch Regularisierung und Dropout.
• Modellbewertung und Validierung
  • Evaluierung von Modellen anhand von Metriken (z.B. Genauigkeit, Verlust).
  • Aufteilung der Daten in Trainings-, Validierungs- und Test-Sets.
  • Implementierung von K-Fold Cross-Validation.
• Praktische Übung 2: Aufbau und Training eines neuronalen Netzwerks
  • Problemstellung : Aufbau und Training eines einfachen neuronalen Netzwerks zur Klassifikation von MNIST-Bilddaten.
  • Lösung :
    • Implementierung eines neuronalen Netzwerks mit nn.Module.
    • Definition von Verlustfunktion und Optimierer.
    • Training des Modells und Evaluierung der Leistung.
    • Tool : Jupyter Notebook, PyTorch, torchvision.
    • Ergebnis : Ein trainiertes Modell zur Klassifikation von MNIST-Daten.
• Fortgeschrittene Modellarchitekturen
  • Einführung in Convolutional Neural Networks (CNNs) und Recurrent Neural Networks (RNNs).
  • Aufbau und Training von CNNs zur Bildklassifikation.
  • Implementierung von RNNs für sequenzielle Daten.
• Hyperparameter-Tuning und Optimierung
  • Techniken zur Hyperparameter-Optimierung (Grid Search, Random Search).
  • Nutzung von Bibliotheken zur Hyperparameter-Tuning (z.B. Optuna).
  • Implementierung von Early Stopping und Learning Rate Scheduling.
• Einsatz von vortrainierten Modellen und Transfer Learning
  • Nutzung vortrainierter Modelle aus torchvision.models.
  • Implementierung von Transfer Learning zur Anpassung vortrainierter Modelle an spezifische Aufgaben.
  • Feintuning und Anpassung von vortrainierten Modellen.
• Modellbereitstellung und -export
  • Export von Modellen mit TorchScript und ONNX.
  • Bereitstellung von PyTorch-Modellen für Inferenz in Produktionsumgebungen.
  • Implementierung von REST-APIs zur Bereitstellung von Modellen.
• Praktische Übung 3: Aufbau und Training eines CNNs sowie Transfer Learning
  • Problemstellung : Aufbau und Training eines CNNs zur Bildklassifikation und Anwendung von Transfer Learning.
  • Lösung :
    • Implementierung eines CNNs zur Bildklassifikation.
    • Nutzung eines vortrainierten Modells und Anpassung an eine neue Bildklassifikationsaufgabe.
    • Export des Modells und Implementierung einer einfachen REST-API zur Modellbereitstellung.
    • Tool : Jupyter Notebook, PyTorch, torchvision, Flask (für REST-API).
    • Ergebnis : Ein trainiertes CNN, angepasstes vortrainiertes Modell und eine einfache REST-API zur Bereitstellung des Modells.