Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einleitung zu Large Language Models (LLMs)
- Überblick über LLMs
- Definition und Bedeutung
- Anwendungen in der heutigen KI
Transformator-Architektur
- Was ist ein Transformator und wie funktioniert er?
- Hauptkomponenten und Merkmale
- Einbettung und positionale Kodierung
- Aufmerksamkeit mit mehreren Köpfen
- Neuronales Feed-forward-Netzwerk
- Normalisierung und Restverbindungen
Transformator-Modelle
- Mechanismus der Selbstaufmerksamkeit
- Encoder-Decoder-Architektur
- Positionale Einbettungen
- BERT (Bidirektionale Encoder-Darstellungen aus Transformatoren)
- GPT (Generative Pretrained Transformer)
Leistungsoptimierung und Fallstricke
- Länge des Kontextes
- Mamba und Zustandsraummodelle
- Flash-Aufmerksamkeit
- Spärliche Transformatoren
- Vision-Transformatoren
- Die Bedeutung der Quantisierung
Verbesserte Transformatoren
- Erweiterte Texterzeugung für das Retrieval
- Vermischung von Modellen
- Baum der Gedanken
Feinabstimmung
- Theorie der Anpassung mit niedrigem Rang
- Feinabstimmung mit QLora
Skalierungsgesetze und Optimierung in LLMs
- Die Bedeutung von Skalierungsgesetzen für LLMs
- Skalierung von Daten und Modellgröße
- Rechnerische Skalierung
- Skalierung der Parametereffizienz
Optimierung
- Beziehung zwischen Modellgröße, Datengröße, Berechnungsbudget und Inferenzanforderungen
- Optimierung der Leistung und Effizienz von LLMs
- Bewährte Verfahren und Werkzeuge für das Training und die Feinabstimmung von LLMs
Training und Feinabstimmung von LLMs
- Schritte und Herausforderungen beim Training von LLMs von Grund auf
- Datenerfassung und -pflege
- Groß angelegte Daten, CPU- und Speicheranforderungen
- Herausforderungen bei der Optimierung
- Landschaft der Open-Source-LLMs
Grundlagen von Reinforcement Learning (RL)
- Einführung in Reinforcement Learning
- Lernen durch positive Verstärkung
- Definition und Kernkonzepte
- Markov-Entscheidungsprozess (MDP)
- Dynamische Programmierung
- Monte-Carlo-Methoden
- Lernen durch zeitliche Differenzen
Tief Reinforcement Learning
- Tiefe Q-Netze (DQN)
- Proximale Optimierung der Politik (PPO)
- Elements von Reinforcement Learning
Integration von LLMs und Reinforcement Learning
- Kombination von LLMs mit Reinforcement Learning
- Wie RL in LLMs verwendet wird
- Reinforcement Learning mit menschlichem Feedback (RLHF)
- Alternativen zu RLHF
Fallstudien und Anwendungen
- Anwendungen in der realen Welt
- Erfolgsgeschichten und Herausforderungen
Fortgeschrittene Themen
- Fortgeschrittene Techniken
- Fortgeschrittene Optimierungsmethoden
- Modernste Forschung und Entwicklungen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegendes Verständnis von Machine Learning
Zielgruppe
- Datenwissenschaftler
- Software-Ingenieure
21 Stunden
