Bestärkendes Lernen: durch Belohnung
Beim bestärkenden Lernen probiert ein Agent Aktionen aus und bekommt Belohnungen oder Strafen. Er lernt, was sich lohnt.
Das lernst du heute
- Ich beschreibe Agent, Umgebung, Aktion und Belohnung.
- Ich berechne die Summe der Belohnungen für einen Weg.
- Ich erkläre Ausprobieren und Bewährtes nutzen.
Das brauchst du schon: Vielleicht hilft dir zuerst diese Lektion: Überwachtes Lernen: Beispiele mit Antwort
Ein Roboter soll in einem Raum zu einer Ladestation finden. Niemand zeigt ihm den Weg. Er probiert Schritte aus und bekommt danach eine Rückmeldung in Zahlen. Das nennt man Belohnung. Bei einer negativen Zahl spricht man von einer Strafe.
Die Fachbegriffe: Der Roboter ist der Agent. Der Raum ist die Umgebung. Jeder Schritt ist eine Aktion. Die Zahl danach ist die Belohnung. Das Ziel des Agenten: möglichst viele Punkte insgesamt.
In unserem Beispiel gilt: Jeder Schritt kostet 1 Punkt, also −1. Erreicht der Roboter die Ladestation, gibt es einmalig +10. Rennt er gegen ein Hindernis, gibt es −5.
Der Agent muss beides tun. Er muss neue Wege ausprobieren (Erkunden). Und er muss Wege nutzen, die sich schon bewährt haben (Ausnutzen). Wer nur ausnutzt, findet vielleicht nie den besten Weg.
Achtung bei der Belohnung: Sie muss das wirklich Gewünschte belohnen. Sonst findet der Agent ein Schlupfloch. Er bekommt viele Punkte, löst aber die Aufgabe nicht.
| Ereignis | Belohnung |
|---|---|
| Ein Schritt | −1 |
| Ladestation erreicht | +10 (einmalig) |
| Gegen ein Hindernis | −5 |
Zwei Wege vergleichen
- Weg A hat 4 Schritte und erreicht die Station. Rechnung: 4 · (−1) + 10 = 6.
- Weg B hat 6 Schritte und erreicht die Station. Rechnung: 6 · (−1) + 10 = 4.
- Weg C hat 3 Schritte und endet an einem Hindernis. Rechnung: 3 · (−1) + (−5) = −8.
- Weg A bringt die meisten Punkte. Der Agent lernt, Weg A zu bevorzugen.
Ich verstehe das noch nicht
Such dir aus, was dir hilft.
Noch einfacher erklärt
Agent: Wer lernt.
Aktion: Was er tut.
Belohnung: Zahl als Rückmeldung.
Ziel: Möglichst viele Punkte.
Ein Beispiel
Du lernst, ein Skateboard zu fahren. Niemand gibt dir eine Anleitung für jede Bewegung. Du probierst aus, fällst hin oder hältst das Gleichgewicht. Das Gefühl danach sagt dir, was gut war. Bestärkendes Lernen funktioniert ähnlich.
Schritt für Schritt
Wir berechnen die Punktesumme
- Wir zählen die Schritte und rechnen −1 pro Schritt.
- Wir addieren +10, wenn das Ziel erreicht wird.
- Wir addieren −5, wenn ein Hindernis getroffen wird.
- Wir vergleichen die Summen.
Mit einem Bild erklärt
| Weg | Schritte | Ende | Summe |
|---|---|---|---|
| A | 4 | Station | 6 |
| B | 6 | Station | 4 |
| C | 3 | Hindernis | −8 |
Zur Grundlage zurück
- Überwachtes Lernen: Beispiele mit Antwort – Du kennst überwachtes Lernen und kannst es abgrenzen.
Jetzt zusammen
Wir lösen die Aufgabe gemeinsam. Nutze die Hilfen, wenn du sie brauchst.
Zeig mir den ersten Schritt
Welches Wort passt zu Punkten nach einer Aktion?
Lösung ansehen
Lösung: Belohnung
Jetzt du
Jetzt probierst du es allein.
Ein Weg hat 5 Schritte und erreicht die Station. Wie viele Punkte bringt er insgesamt?
Zeig mir den ersten Schritt
5 · (−1) = −5. Dann kommt +10 dazu.
Lösung ansehen
Lösung: 5
−5 + 10 = 5 Punkte.
Tipp: Rechne bei jedem Weg die Belohnungen zusammen, auch die negativen. Der Weg mit der größten Summe ist für den Agenten am besten.
Merksatz: Bestärkendes Lernen: Ein Agent probiert Aktionen aus, bekommt Belohnungen und lernt, die Punktesumme zu steigern. Es gibt keine fertigen Etiketten.
Typischer Fehler: Viele denken, der Agent bekomme die richtige Antwort gezeigt. Er erfährt nur, wie gut seine Aktion war, und muss den Weg selbst finden.
Mini-Quiz
5 kurze Fragen, ohne Noten. Bei jeder Frage kannst du dir die Lösung ansehen.
Lösung ansehen
Lösung: Der Agent probiert auch neue, unbekannte Aktionen aus.
Lösung ansehen
Lösung: Stimmt nicht
Frage 3 Ein Weg hat 2 Schritte und endet am Hindernis. Wie viele Punkte sind es insgesamt?
Zeig mir den ersten Schritt
2 · (−1) und dazu −5.
Lösung ansehen
Lösung: -7
−2 + (−5) = −7.
Lösung ansehen
Lösung: Die Belohnung belohnt nicht das gewünschte Ziel.
Lösung ansehen
Lösung: Stimmt
Geschafft
Beim bestärkenden Lernen lernt ein Agent durch Ausprobieren und Belohnung. Wichtig sind eine gute Belohnung und eine Mischung aus Erkunden und Ausnutzen.
Kannst du das schon?
Hake ab, was du schon kannst. Was noch fehlt, schaust du dir einfach noch einmal an.
Übungsheft Maschinelles Lernen und neuronale Netze
Kurz erklärt, 44 Aufgaben in drei Stufen und alle Lösungen. Kostenlos.
Das Heft ist für alle kostenlos – auch wenn gerade kein Geld dafür da ist. Wer es einrichten kann, unterstützt DYS+ Campus mit einem selbst gewählten Betrag. Freiwillig unterstützen