LERNLUST #9 // Evaluation des Lernens - Ein Gedankenrucksack

Shownotes

Host:
Susanne Dube, Teamlead Learning // LinkedIn

Gäste:
Jen Shivel, Learning Consultant // LinkedIn
Andreas Hohenstein, Senior Learning Consultant // LinkedIn

Evaluationmodell von Donald Kirkpatrick
Thalheimers LTEM
Kirkpatrick+ von Kaufmann

Alle Episoden unseres LERNLUST Podcasts finden Sie auch auf:

Apple Podcasts | Spotify | Google Podcasts | Amazon Music | Deezer

[Claudia Schütze]
Lernlust, der Podcast für alles rund ums Thema Corporate Learning. 

[Susanne Dube]
Wir sind Claudia Schütze und Susanne Dube und wir sind Learning Consultants bei der tts und wir sind die Hosts dieses Podcastes. 

[Claudia Schütze]
Und hier werden wir uns über Themen unseres Arbeitsbereiches miteinander austauschen, also alles, was Lernen in Organisationen heute und in der Zukunft betrifft.

[Susanne Dube]
Und wir werden uns von Zeit zu Zeit interne oder auch externe Experten in unsere Runde einlagen.

[Claudia Schütze]
Und wir freuen uns, wenn ihr dabei seid.

[Susanne Dube]
Hallo liebe Zuhörerinnen und Zuhörer. Es ist schon eine ganze Weile her, seit Donald Kirkpatrick seine vier Stufen der Evolution von Lernmaßnahmen vorgestellt hat. Irgendwann rund um die 60er Jahre.

Seitdem sind uns sicherlich allen Happy Sheets, also die schönen Feedbackbögen nach Trainingsmaßnahmen bekannt. Und einige von uns kennen vielleicht auch die nächste Stufe, also die Durchführung von Wissenstests nach einem Training oder einer Lernmaßnahme. Dieses Thema ist betriebsratsrelevant und wird deshalb vielleicht gar nicht so oft umgesetzt.

Nichtsdestotrotz hat das Thema Evaluation nicht an seiner Präsenz verloren. In den 2000er Jahren hat Roger Kaufmann sein Mega-Planning-Modell oder eben auch Kirkpatrick Plus entwickelt. Und Thalheimer hat sich noch 2018 mit seinem Transfer-Evaluation-Model damit auseinandergesetzt.

Mittlerweile ist es wohl so, dass getrieben von Technologie und dem Druck der VUCA-Welt der Fokus eher auf der Erstellung von schnellem Lernen liegt, als auf der Evolution von gutem Lernen. Tatsächlich möchten meine Kollegen weiterhin den Blick auf Evolution und Verbesserung von Lernmaßnahmen und ihren Umsetzungsmöglichkeiten wenden. Und genau deswegen haben sich zwei Kollegen dieses Thema zu Herzen genommen.

Jennifer Shivel und Andreas Hohenstein besuchen mich heute. Jennifer hat einen langen Weg zurückgelegt, um meine Kollegin als Learning Consultant zu werden. Sie ist aus den USA zu uns gestoßen, hat Lehramt studiert, hat sich dann doch für die Erwachsenenbildung entschieden und als meine Kollegin entwickelt sie nun sehr interessante Konzepte und ab und zu macht sie auch noch Trainings.

Und ich freue mich sehr, dass sie heute für das Thema Evolution auf meinen Kaffenküchensofa kommt. Und als Partner hat sie sich dafür Andreas Hohenstein mitgenommen, ein Mann voller Erfahrung, der zur tts für das Thema strategische Beratung, systemische Beratung, Führungskräftetraining und noch vieles mehr gestoßen ist und sich da auch schon seit vielen Jahren zu Hause fühlt. Andreas und mich verbindet tatsächlich der ACAP Kriterienkatalog für die Evaluation von E-Learning. Lange ist es her.

Er war an der Erstellung beteiligt und ich habe ihn für meine Diplomarbeit genutzt und beides ist schon eine Welle her. Jetzt kann man sich überlegen, wie alt ich bin. Ich freue mich, dass ihr euch beide auf meinen Kaffeeküchensofa getraut habt, um mit mir ein Lernthema zu besprechen, nämlich die Evolution von Lernmaßnahmen, ein Gedankenrucksack.

Herzlich willkommen euch beiden. 

[Jen Shivel]
Hallo Susanne.

[Andreas Hohenstein]
Ja, vielen Dank für die Einladung, Susanne.

[Susanne Dube]
Ja, immer wieder gerne. Schön, euch beide da zu haben und vielleicht als Einstieg in das Thema Evaluation von Lernmaßnahmen ist es für mich natürlich ganz, ganz spannend zu erfahren, wie seid ihr eigentlich dazu gekommen bzw. warum beschäftigt ihr euch eigentlich bei tts mit dem Thema Evaluation von Lernmaßnahmen?

[Jen Shivel]
Ja, ich kann gerne damit anfangen und zwar ja, es gibt viele Gründe, warum man evaluieren soll, aber aus meiner Perspektive als Online-Trainerin und als WBT-Entwicklerin, ich möchte aus der Evaluation hauptsätzlich wissen, ob das, was ich und mein Unternehmen, ob das, was wir machen, das, was wir leisten, effektiv ist und ob wir dem Lernbedarf unserer Teilnehmer und Teilnehmerinnen nachkommen. Also Feedback von den Teilnehmerinnen einholen ist für mich ein Grund, warum ich das überhaupt antreibe, das Thema und auch letztendlich, dass das Lernen, dass der Wert des Lernens sichtbar gemacht wird und zwar auch für andere, also für alle unterschiedliche Stakeholder und genau, dass das auch nach vorne gebracht wird.

[Susanne Dube]
Ich finde das so schön, wie du das sagst, weil das ja tatsächlich, glaube ich, im Herzen eines jeden steckt, der irgendwie im Lernbereich tätig ist. Andreas, ist das denn für dich die gleiche Ursache gewesen oder der gleiche Grund gewesen sich mit dem Thema auseinanderzusetzen oder wo kommst du her?

[Andreas Hohenstein]
Also der Wert des Lernens, das ist schon, das hat mich auch angetrieben, schon seit ich mich mit dem Thema beschäftige, aber noch viel mehr aus Kundenperspektive heraus, um zu gucken, der Kunde hat immer eine Erwartungshaltung an das Lernen. Warum mache ich das? Warum mache ich ein Lernprojekt?

Wie kann ich mit Lernen Kultur verändern im Zusammenleben der Menschen? Und hat mich immer interessiert, einmal, was kommt am Ende des Tages dabei raus? Was zeigen die Menschen auf dem Platz?

Wie setzen sie es um? Und was haben wir aus der Personalentwicklung im Unternehmen dazu beigetragen? Das ist so das eine.

Und das zweite ist aber auch, wie gestalten wir denn diese Lernreise für unsere Mitarbeitenden? Und da eben auch Impulse aus der Evaluation herauszuziehen, um von Etappe zu Etappe auf der Lernreise besser zu werden, passender zu werden, zielorientierter zu werden. Das sind so die Themen, die ich mit der Evaluation beim Kunden verbinde.

Und ich glaube, dass sind die Sachen, die zusammengehören. Nämlich daraus können wir unsere Dienstleistungsqualität heraus auch steigern.

[Susanne Dube]
Ja, eben. Und es hat ja einen richtig guten Wink des Schicksals gegeben, dass ihr beide im Thema Consulting bei uns zusammengeführt worden seid und euch das Thema dann wählen konntet, um es für uns weiterzutreiben. Jetzt ist für mich natürlich die Frage, ihr habt euch zusammengetan mit euren beiden Sichten darauf, was Evaluation so sein kann und wofür ihr das tun könnt.

Was ist denn der Ansatz, den ihr für uns, für unsere Unternehmen, die tts oder vielleicht auch für unsere Kunden für das Thema Evaluation gewählt habt? Und vielleicht könnt ihr das so ein bisschen mal beschreiben, was ihr da so tut oder euch vorstellt.

[Andreas Hohenstein]
Ja, ja, dann gerne. Also vom Prinzip her, Evaluation in dem Learning, im Bildungswesen ist ja kein neues Thema an sich. Es ist aber ein Thema, wo es relativ führende Modelle gibt, aber relativ wenig Erfahrung in der Praxis, in der Umsetzung und Anwendung dieser Modelle.

Und das ist sozusagen das, was uns umtreibt, hier etwas zu bauen aus fundierten Modellen heraus, eine pragmatisch machbare Lösung, die sehr flexibel, dann sozusagen in den jeweiligen Kontext eingebunden werden kann. Weil unsere Überzeugung ist, dass nur Evaluation, die ganz klar in den Kontext eingebunden ist und sehr pragmatisch, also konzeptionell umgesetzt werden kann, dass die auch akzeptiert wird beim Kunden. Und das heißt, wir haben uns nur angelehnt an führende und bestehende Modelle, aber wir nutzen sie nicht eins zu eins.

Und das war etwas, wo wir in den letzten Monaten viel Zeit mit auch vielen Kolleginnen und Kollegen aus dem Unternehmen, aber auch auf Kundenseite verbracht haben, eben dort etwas zusammenzubauen, eine Architektur aufzusetzen für Evaluation. Und das war sozusagen die Hauptarbeit aus bestehenden Sachen, die so zusammenzubauen, dass es letztendlich unser pragmatischer tts-Ansatz werden kann. Das war so die Idee.

[Susanne Dube]
Und würdest du den vielleicht mal kurz beschreiben? Was ist denn da so unser Ansatz?

[Andreas Hohenstein]
Ja, also auf der einen Seite haben wir gesagt, es ist schon wichtig, das, was es heute in den Unternehmen oft bei Evaluationen gibt, zu sagen, auf einer ersten Ebene mal zu schauen, wie ist eigentlich so die Lernumgebung gewesen, in der ich lerne? Wie sind die Lernbedingungen, in denen ich lerne? Also schon zu schauen, wie ist der Lernprozess im engeren Sinne einfach?

Wie wird er empfunden? Wie wird er erlebt? Und wie können wir dieses Lernumfeld optimal gestalten?

Das hat jetzt noch nicht so viel zu tun mit dem Lernerfolg an sich. Das heißt, wir verbinden ja mit dem Lernen gewisse Lernziele. Das können kognitive, affektive Lernziele sein.

Das können kompetenzorientierte Lernziele sein. Das kann sehr vielfältig sein. Und darauf im nächsten Schritt zu sagen, wie konkret können wir diese Lernziele denn beschreiben?

Und am Ende des Tages zu gucken, haben wir denn da auch einen Lernerfolg? Und welcher Weg, wenn es eine längere Lerner-Journey ist, welcher Weg führt denn vielleicht effizient und effektiv zu dem Lernerfolg, vielleicht sogar effizienter, effektiver als ein anderer? Oder ist es der Mix von Lerninterventionen, die man machen kann, die einen optimalen Lernerfolg erzielen?

Das heißt, an den ersten beiden Stufen machen wir eigentlich etwas, was durchaus schon Tradition hat im Learning, dass man halt schaut, wie ist der Lernprozess an sich? Wie fühlt er sich an? Hat es mir Spaß gemacht?

Wie war die Umgebung? Und am Ende des Tages, welchen Lernerfolg haben wir?

[Susanne Dube]
Also eigentlich so klassisch Happy Sheets und Tests? Oder wie muss ich mir das vorstellen?

[Andreas Hohenstein]
Happy Sheets und Tests, aber eben nicht in Form von Happy Sheets ohne konkrete Dimensionierung von dem, was dann danach kommt. Also wenn wir zum Beispiel sagen, eine Lernumgebung. Also ich habe eine Erwartungshaltung an ein Lernen, dass die Selbstlernkompetenz durch das eigentliche Personalentwicklungsprojekt steigt.

Das ist meine Erwartungshaltung. Die würden wir später auch mal prüfen, ob sich die verändert hat, die Selbstlernkultur im Unternehmen. Aber dafür ist es natürlich wichtig, auch zu gucken, haben wir im ersten Schritt Lernumgebungen und Bedingungen geschaffen, die eine Selbstlernkultur fördern?

Oder haben wir eine Lernkultur, wo wir sagen, geh ins Seminar, da kriegst du Nürnbergen Trichter, du wirst beschult, das Essen ist lecker, die Seminarräume sind toll. Aber wir haben eigentlich gar keine Dimension, gar keinen Scheinwerfer darauf gerichtet, ob die Lernumgebung an sich Selbstlernkompetenzen fördert, Selbstentwicklung fördert. Deshalb ist es nicht nur ein Happy Sheet, sondern verknüpft mit den strategischen Erwartungshaltungen des Unternehmens.

Und wenn ein Unternehmen sagt, ich möchte die Selbstlernkompetenz, die Selbstlernkultur fördern, dann müssen wir auch schon in der allerersten Phase Sachen beleuchten und in den Vordergrund stellen, die damit verknüpft sind. Und das machen Happy Sheets typischerweise nicht.

[Susanne Dube]
Was macht denn das? Ich erinnere mich immer gut an die Happy Sheets. Die habe ich schon vor zehn Jahren ausgegeben und fand die immer ganz toll.

Aber ich habe mich jetzt auch gerade gefragt, wo du es beschrieben kannst, wie messe ich denn, ob irgendwie Selbstlernkultur erreicht worden ist oder Selbstlernkompetenzen gestiegen sind. Kann ich das messen mit einem Fragebogen? Das wäre ja dann der Happy Sheet.

Oder mache ich das irgendwie anders?

[Andreas Hohenstein]
Ja, also erstmal ein Fragebogen an sich muss ja kein Happy Sheet sein. Also ein Fragebogen kann auch so aufgebaut sein, dass er klar, klar abgeleitet ist aus strategischen Erwartungsdimensionen heraus. Und wenn ich jetzt eine kulturelle Entwicklungserwartung habe, dann sagt das Unternehmen ja, Mensch, ich möchte eigentlich ganz gerne, wir wollen agiler arbeiten und dafür brauchen wir eine andere Art von Lernkultur, von Selbstentwicklungsmenschen, die bereit sind, auch Verantwortung für ihr Lernen zu übernehmen.

Und dann sagen wir, okay, komm, dann lass uns auf vier Etagen mal gucken. Welche Lernbedingungen brauchen wir in der Ebene eins? Welches Lernumfeld in der Ebene zwei?

Welche Lernziele sind verknüpft mit der Entwicklung von Selbstlernkompetenz, von Selbstlernkultur? Das können affektive Lernziele sein. Du musst immer Lernen so gestalten, dass Anregungen zur Selbstmotivation da sind, dass konstruktivistische Elemente da sind, die das Lernen gestaltbar machen durch den Lerner, weil nur dann entsteht eine eigene Motivation.

Das heißt also, wie gestalte ich den Weg hin zum Lernziel? Und der dritte Weg ist vielleicht zu sagen, naja, wenn ich jetzt gelernt habe, wie zeige ich es denn auf dem Platz? Also auf welcher Lernzieltaxonomie bewege ich mich jetzt auf den Platz hin und sage, ich setze das Gelernte auch um und ich entwickle es auf dem Platz auch noch weiter.

Das kann man machen über 360-Grad-Feedbacks, über Mitarbeitergespräche, über ein Mentoring oder Tandem-Coaching, über kollegialen Austausch. Also, dass man sich über gezeigtes Handeln austauscht, Feedback gibt und sagt, setzen wir das eigentlich um, was wir gelernt haben? Das ist ja im Minimum das, was ein Unternehmen erwartet.

Ein Unternehmen erwartet ja nicht, dass die Leute schlau sind und gut gebildet sind, sondern das, was sie wissen und was sie können und welche Kompetenzen sie haben und welche Wünsche und Motivationen sie haben, dass sie das auf dem Platz umsetzen. Also für uns sozusagen eine große Zielsetzung ist es, mit den Unternehmen gemeinsam auf den Platz zu gucken, was wird umgesetzt von dem, was du als Lerninvestition gemacht hast? Und wenn die Selbstlernkompetenz heißt zum Beispiel dann zu gucken, laufen solche Formate wie kollegiale Beratung von alleine?

Gehen die Mitarbeiter hin und gehen in die Wissensmanagement-Portale, die die Unternehmen haben, ziehen sich das Wissen selber raus? Nehmen die Anfragen einem Support-Center ab durch vielleicht die Nutzung von Online-Support-Formaten, die implementiert wurden? Also verändert sich das passive Konsumieren von Lernen und von Wissen in ein aktives Gestalten.

Und das kann man auf dem Platz sehr schön schauen. Und am Ende des Tages, dann gibt es durchaus auch Kulturradar-Instrumente, womit man schauen kann, beispielsweise vom Denison oder andere, wo man schauen kann, haben sich kulturelle Faktoren geändert? Und da würden wir am Anfang mit dem Kunden natürlich überlegen, was sind denn die kulturellen Elemente, die aus deiner Sicht eine Selbstlernkultur ausmachen?

Die kann man dann als roten Faden auf der gesamten Reise, würden wir so einen Evaluations-Rucksack packen und dann immer wieder auspacken und am Ende des Tages mit dem Radar schauen, hat sich was geändert? Ein Jahr nach der Intervention zum Beispiel. Wenn man gesagt hat, man hat hier einen längeren Trainingsprozess von einem Dreivierteljahr, man möchte ein anderes Verhalten zeigen, dann guckt man vielleicht mal ein halbes Dreivierteljahr, ob das Verhalten sich ändert.

Und dann schaut man nach einem Jahr, anderthalb Jahren nochmal auf die Kultur, weil das ist natürlich ein Spätfolgeeffekt. Eine kulturelle Veränderung ist nicht nach dem Training oder nach dem Personalentwicklungsmaßnahmen eingetreten. Das ist ein längerer Prozess.

Und dann schaut man nochmal rückwirkend summativ. Das ist eine Form der summativen Evaluation. Dann hat sich die Kultur wirklich an der einen oder anderen Stelle geändert, ohne dass wir behaupten zu sagen, das hängt kausal zu 100 Prozent mit der Intervention zusammen.

Aber, die Intervention liefert einen Beitrag, weil sie sich an den Dimensionen und den scheinwerfenden Kriterien orientiert, die wir vorher mit dem Kunden herausgearbeitet haben.

[Jen Shivel]
Ich glaube, ich wollte dazu ergänzen, also wollte ich nur da einhacken und sagen, so die Multi-Perspektivität. Die Multi-Perspektivität ist, glaube ich, da ein wichtiger Aspekt, dass man ja zwar nicht nur auf diese höheren Unternehmenszielen guckt. Das ist natürlich auch wichtig.

Man sollte alle Ziele des Lernvorhabens auch irgendwie in Verbindung bringen mit den strategischen Zielen des Unternehmens. Und wenn man das nicht machen kann, dann sollte man auf jeden Fall einen Schritt zurücknehmen und sagen, ist das überhaupt nötig, was wir hier haben für ein Lernangebot? Sollten wir das Ganze umdenken?

Also diese Sicht auf die Dinge ist auch wichtig, aber natürlich auch aus der Sicht von den Lernenden. Man sollte auch immer abfragen, was habt ihr als Erwartungen an diesem Lernvorhaben? Also was möchtet ihr lernen daraus?

Und auch auf der Ebene von den Entwicklern von dem Vorhaben und auch an den einzelnen Teamleads. Also man sollte alle, oder Repräsentanten von allen Interessengruppen an den Tisch bringen und erstmal die Ziele und Erwartungen klarstellen. Dafür dann auch gute Erfolgskriterien festlegen, einen Plan für die Prüfung von diesen zu machen und man kann durchaus unterschiedliche Evaluationsmethoden dafür nutzen.

Also Andreas hat einige schon benannt. Interviews, Fragebögen und nicht nur Happy Sheets als Fragebögen. Man kann durchaus viel, also bessere Fragebögen entwickeln und umsetzen.

Man kann dann auch, ja, einfach weitere unterschiedliche Methoden anwenden.

[Susanne Dube]
Vielleicht muss ich den Zuhörern auch nochmal kurz erklären, was meine ich eigentlich, wenn ich ein Happy Sheet, wenn ich von einem Happy Sheet spreche und warum reden wir auch so despektierlich von Happy Sheets? Vielleicht kennt das jeder, der früher noch an so klassischen Präsenztrainings teilgenommen hat, dass er am Ende einen Fragebogen gekriegt hat, wo dann stand, wurden die Fenster oft genug geöffnet, hat der Lehrer, nein nicht der Lehrer, der Trainer sich gut benommen, war der nett, war der sympathisch, kannte er sich im Thema aus, gab es genug Essen und Trinken, war es warm genug im Raum. Kennt ihr, oder?

Das sind Happy Sheets und ihr sagt, eure Fragebögen sind besser. Ihr habt von Interviews gesprochen, ihr habt von 360-Grad-Feedbacks gesprochen. Das heißt, das sind ja sehr viel größer gedachte Themen noch und ich habe so den Eindruck, wenn ich das so das erste Mal höre, die Art und Weise, wie ihr da rangeht an das Thema, klingt für mich sehr, sehr komplex.

Könntet ihr vielleicht ganz einfach, so wie Kirkpatrick hat ja die vier Stufen gehabt zur Evaluation, könntet ihr euer Thema da einsortieren oder gibt es vielleicht einen Grund, warum ihr das gerade nicht wollt? Könnt ihr mir mal so ein bisschen unseren Ansatz noch mal kurz in fünf Sätzen zusammenfassen und vielleicht auch in Relation zu setzen zu all den anderen Ansätzen, die es da eigentlich in der Welt draußen gibt? Wie wäre da ein Kirkpatrick-Talheimer?

Ach, ihr kennt noch viel mehr als ich.

[Andreas Hohenstein]
Danke erst mal für die Frage, Susanne, weil in der Tat ist Kirkpatrick, das Kirkpatrick-Modell, ein ganz klarer Bezugspunkt auch für uns gewesen in der konzeptionellen Arbeit. Kirkpatrick hat ja im engeren Sinne im Kernmodell vier Stufen. Die erste Stufe, Reaktion, haben wir sozusagen erweitert in die Betrachtung von Lernumfeld, Lernumgebung, in der die Reaktionen eingebettet sind und die Lernumgebung und das Lernumfeld.

Da schauen wir auf Sachen, die in Summe wichtig sind, um die strategischen Ziele des Unternehmens zu erreichen. Es könnte, wie ich vorhin ausführte, bei der Selbstlernkompetenz das Thema sein, ist es eine konstruktivistisch gestaltete Lernumgebung, mit welchen Elementen arbeitet die? Das heißt, wir haben es erweitert, aber vom Prinzip ist es ein ähnliches Level.

Das zweite Level von Kirkpatrick ist ja Learning. Das haben wir auch übernommen, aber wir haben das Thema Lernerfolge ein bisschen ausdifferenziert, indem wir gesagt haben, es gibt kognitive Lernerfolge. Es gibt aber auch affektive Lernerfolge und es gibt auch kompetenzorientierte Lernerfolge, die sozusagen ja lebensbiografisch gemessen werden können und als Ressourcen für das Handeln der Zukunft gelten.

Und eben diese drei Arten von Lernerfolgen nebeneinander zu stellen, das war sozusagen unsere konzeptionelle Erweiterung.

[Susanne Dube]
Warte, dann grätsch ich noch mal kurz rein, weil du gerade so im Fluss bist. Da muss ich dazwischen stören. Wenn du sagst, kognitive Lernerfolge, das verstehe ich, weil bei Kirkpatrick hatte ich immer sehr stark verstanden: dann setze ich einen Test hinterher und frage die Leute halt, ob sie das verstanden haben und frage sie halt, wie würdest du A, B, C machen. Was meinst du mit affektiven Lernerfolgen und kompetenzbezogen war das Dritte?

[Andreas Hohenstein]
Also das kognitive Lernerfolgsmodell ist, denke ich, hinreichend bekannt. Bei affektiven Lernerfolgen, das ist für uns ganz besonders wichtig, wenn es wirklich auf die Begleitung kontinuierlicher Veränderungsprozesse geht. Da sind so Themen wie Neugierde, wie entwickelt sich aus extrinsischer, intrinsischer Motivation, der Umgang, der Reduzierung von Angst in Transformationsprozessen.

Das sind Lernerfolge, die affektiv sind. Habe ich Lust? Habe ich Lust?

Wie wandle ich sozusagen Zurückhaltung in Lust um, bei meinem eigenen Lernprozess? Und das ist ganz, ganz wichtig, weil Lernprozesse heutzutage sind ja ganz selten dafür da, einen reinen Sachverhalt zu lernen und umzusetzen. Sie finden meistens im Kontext statt von irgendwelchen kontinuierlichen Veränderungsprozessen, von Transformationsprozessen.

Und deshalb sind diese affektiven Ebenen ganz wichtig, weil sie häufig auch die kognitiven Lernerfolgsmöglichkeiten beschränken. Wenn ich Angst habe, sperre ich mich auch kognitiv erfolgreich zu lernen. Wenn ich Lust habe, investiere ich viel mehr auch in die kognitiven Lernprozesse.

Deshalb ist es für uns wichtig, diese Ebene zu ergänzen und bei den kompetenzbasierten Lernerfolgen ist es so, es gibt Anforderungen an Menschen zum Ausfüllen ihrer Rolle. Und so bedarf es zum Beispiel für den Vertriebsmitarbeiter ist es extrem wichtig, dass er kommunikationsstark ist.

Das kann ich auf einer Wissensebene trainieren, Kommunikationsmodelle, Theorien. Aber inwieweit er die Bereitschaft hat, kommunikativ zuzuhören, wertschätzend dem anderen zu begegnen, das ist keine Frage von Wissen. Das ist eine Frage von Haltung, von Lebenserfahrung und Lebensmodellen.

Und daraufhin fokussieren Kompetenztheorien, die sagen, was macht dich als Mensch authentisch? Was hast du bis jetzt erlebt? Und wie kannst du den Menschen offen in deiner Kommunikation begegnen?

Und wie kannst du daran arbeiten? Das ist eine ganz andere Art von Lernerfolg als das kognitive Wissen beispielsweise.

[Susanne Dube]
Okay, spannend. Jetzt hast du das tatsächlich, den ersten beiden Ebenen von Kirkpatrick hast du jetzt ja schon unserem Modell entgegengesetzt. Dann machen wir weiter mit den letzten.

Es sind ja noch zwei bei Kirkpatrick.
Wie viele bei uns? 

[Andreas Hohenstein]
Eigentlich sind es drei bei Kirkpatrick noch und bei uns sind es nur zwei. 

[Susanne Dube]
Okay.

[Andreas Hohenstein]
Also auf der Verhaltensebene ist es so, da sind wir eins zu eins mit Kirkpatrick. Also Kirkpatrick sagt, was zeige ich den Lernenden auf dem Platz? Und das machen wir genauso.

Bei uns ist es nur so, dass wir uns nicht im Gegensatz oder Weiterentwicklung zu Kirkpatrick, wir haben uns einfach eine Methodenvielfalt überlegt, wie wir niederschwellig Verhalten, Handeln auf dem Platz reflektierbar machen. Selbstreflexion, Fremdreflexion über Feedback-Systeme, durchaus auch zum Teil messbar, wenn es Kennzahlen gibt, auch schon im Verhaltensbereich, je nachdem, worum es geht. Und das heißt, da ist eher, wo wir sagen, es gibt nicht ein Instrument, es ist eine Vielfalt von Instrumenten, die möglich sind.

Wir kommen mit einem Werkzeugkoffer und suchen die passenden aus und dann machen die passend. Das ist also sehr vergleichbar. Aber wir unterscheiden uns nochmal in der vierten Stufe Kirkpatricks, wo sozusagen er sehr stark auf Results guckt, also die Ergebnisse sich anschaut.

Und dann in einer Weiterentwicklung gibt es ja auch noch so eine Stufe Return of Investment bei Kirkpatrick. Das heißt, diese vierte und fünfte Stufe sind sehr, sehr kennzahlenbasiert. Und man sieht es an der fünften Stufe, geht auch sehr stark auch in monetäre Größen hinein, sparen wir ein Stück weit was.

Also wenn ein Euro oben reinkommt bei Bildung, kommen unten zwei Euro raus. Das ist nicht etwas, was wir vernachlässigen wollen, aber auch das haben wir erweitert. Und so ist zum Beispiel, wir haben das in eine Stufe zusammengefasst, so ist unsere vierte Stufe heißt Return of Expectation.

Und diese Return of Expectation heißt wirklich, du kannst ganz unterschiedliche Erwartungshaltungen haben an Lernen. Wir wollen wandlungsfähiger sein im Unternehmen. Deshalb fördern wir digitale Transformationsprozesse.

Das hat erstmal Wandlungsfähigkeit zu evaluieren, ist was völlig anderes als die IT-Fitness in Digitalisierungsprozessen zu evaluieren. Und zu sagen, durch Digitalisierungsprozesse haben wir die Prozesse effizienter gemacht, wir haben Geld gespart und da hat uns ein WBT auch so und so viel geholfen. Das hat zwar 100.000 Euro gekostet, aber 200.000 Euro gespart. Das können wir auch. Aber für uns ist es wichtig, auch die weichen Faktoren, die häufig verknüpft sind mit Transformationsprozesse, die eben zu fokussieren. Dann sind es mal vielleicht nicht so knallharte Kennzahlen, aber es sind Orientierungswerte, qualitative Aussagen, die wir herausbekommen können und damit sagen, wenn du am Anfang der Reise einen bunten Blumenstrauß von Erwartungshaltung an dieses Lernprojekt hast, dann sind wir in der Lage, am Ende der Reise auch zu gucken, wie sieht dieser Blumenstrauß aus?

Sind es die Blumen, die du haben wolltest? Sind es andere? Und Hypothesen ableiten, was du tun könntest, damit es noch besser zu deiner eigentlichen Zielsetzung passt.

[Susanne Dube]
Was für ein schönes Bild, das Ganze mit einem Blumenstrauß zu vergleichen und wie fast wunderbar respektlos, dass ihr gesagt habt, wir nehmen uns mal den Kirkpatrick, der ist eine gute Grundlage, da bauen wir aber mal weiter auf und dann aber so jemanden wie Thalheimer oder Kaufmann fast ein bisschen zu ignorieren, oder? Die kommen ja bei euch jetzt gerade nicht vor, zumindest kamen sie jetzt gerade nicht vor. Gibt es dafür einen Grund?

[Jen Shivel]
Ja, wir haben uns auch Thalheimers Modell angeguckt und zwar Thalheimer baut auch so ein bisschen auf Kirkpatrick auf, aus unserer Sicht. Er hat aber acht Stufen anstatt von fünf und Thalheimer ist aber auch so ein bisschen radikal, wenn er über die, also seine Stufe eins und zwei spricht und diese beiden Stufen sind nicht komplett gleich entdeckend mit Kirkpatrick, aber sind auf jeden Fall ähnlich. Und in Stufen eins und zwei, also in der ersten Stufe geht es um Anwesenheit und Teilnahme von den Teilnehmenden und in seiner Stufe zwei geht es um die Lerner Aktivitäten, also ob sie, ja, ob sie motiviert waren bei der Sache.

Und er sagt, diese beiden Stufen, wir können zwar Daten erfassen dazu, aber letztendlich hat das überhaupt keinen Einfluss auf das Lernen am Ende. Und genau, also das ist so ein bisschen der Kernpunkt davon. Es gibt dann auch bei ihm so eine Stufe drei und Stufe vier und zwar Stufe drei bei ihm ist, ja, die Wahrnehmung des Lernerlebnisses aus Sicht der Lernenden.

Also wie haben sie das überhaupt empfunden? Und auf der vierten Stufe ist das Wissen bei ihm. Also haben sie am Ende von diesem Lernereignis irgendetwas gelernt?

Also können sie Fakten wiedergeben am Ende? Und diese, also Stufe drei und Stufe vier bei ihm, man kann seiner Ansicht nach auch in diesen Punkten so Daten erheben, aber letztendlich ist das auch, also hat nur ein minimaler Einfluss auf das tatsächliche Lernen. Bei ihm fängt es dann erst richtig an bei Stufe fünf, sechs, sieben und acht.

Und seine Stufe fünf, da geht es um Entscheidungskompetenz. In Stufe sechs bei ihm geht es um Handlungskompetenz. Stufe sieben geht es um den Lerntransfer, also ähnlich wie Stufe drei bei Kirkpatrick.

Und bei Thalheimer ist es dann als letzte Stufe Effekte des Lerntransfers. Auch ähnlich zu Kirkpatrick Stufe vier, nur bei Thalheimer ist es ein bisschen weiter gefasst. Also er nimmt dann auch zum Beispiel so die Einflüsse auf die Umwelt beim Reisen der Teilnehmenden zum Teilnehmerort, ob das vielleicht einen negativen Einfluss auf die Umwelt hat.

Also solche Dinge betrachtet er auch auf Stufe acht.

[Susanne Dube]
Das ist ja total spannend, auch vor dem Hintergrund der aktuellen Situation, dass man sehr viel auch auf CO2-Fußabdrücke und so weiter. Da war ich letztens erst auf einer ganz spannenden Session, dass er das mitdenkt. Aber das wollten wir nicht, weil wir den Fokus auf etwas anderes gelegt haben.
Verstehe ich gerade?
Genau.

[Jen Shivel]
Genau, also wir haben uns sein Modell angeschaut und wir sehen das auf jeden Fall kritisch. Also wenn er sagt auf Stufe eins und zwei, dass man das eigentlich gar nicht zu bewerten braucht. Das Anwesenheit, Teilnahme und das auch, wenn man das aktive Teilnahme an dem Lernvorhaben, dass diese Dinge überhaupt nicht wichtig sind.

Und dass zum Beispiel die Wahrnehmung des Lernerlebnisses ist, dass das nur minimal wichtig ist. Also das sehen wir durchaus ein bisschen kritisch. Und auch wenn es wissenschaftliche Studien dazu gibt, die auch ähnliche Dinge sagen.

Also es gab eine Studie, das war 2011 von Gessler und Säber-Opfermann. Sie haben diese Wirkungskette zwischen den unterschiedlichen klassischen Kirkpatrick-Stufen untersucht. Also haben so eine Korrelationsanalyse gemacht, richtig?

Und haben das Ergebnis gehabt letztendlich, dass die erste Stufe von Kirkpatrick in der Tat wenig Einfluss hat auf Stufe zwei. Also beziehungsweise auf Stufe drei. Also diese klassische Kirkpatrick haben die Lerner sich aktiv teilgenommen und waren sie motiviert bei der Sache.

Dass letztendlich das wenig oder ja sehr wenig Einfluss hat auf das Lernen. Aber wir sehen trotzdem den Wert daran, auch auf dieser niedrigen Stufe eine Analyse zu machen und Daten zu erheben.

[Susanne Dube]
Ja, ich glaube, das ist doch wertvoll und trotzdem für diejenigen, der Training anbietet. Also insbesondere für uns ist es doch schon spannend, oder?

[Andreas Hohenstein]
Genau. Und vor allen Dingen, wir machen es ja anders. Also wir schauen ja auch wirklich Lernumgebung und Lernbedingung.

[Susanne Dube]
Ja.

[Andreas Hohenstein]
Und die Faktoren, die die Lernumgebung beeinflussen, die gucken wir genauer an. Also wir sagen jetzt nicht, hat es dir gefallen, war der Trainer nur gut, das machen wir auch, aber dabei bleibt es nicht stehen. Und das andere gucken wir eben auch an.

Deshalb ist es schon ein bisschen was anderes als so die typische Stufe eins.

[Susanne Dube]
Okay, spannend. Also eigentlich sind wir ja da schon auch so ein bisschen zwischen Kirkpatrick und Thalheimer, verstehe ich da gerade.

[Andreas Hohenstein]
Genau. Und auch Kaufmann. Also Kaufmann hat ja in der obersten Stufe, hat er ja wirklich so ein etwas größer gefassten Outcome, nämlich für das Unternehmen insgesamt, aber sogar für die Gesellschaft, also gesellschaftlichen Impact.

Das geht uns jetzt ein bisschen zu weit mit dem gesellschaftlichen, aber deshalb eben zu sagen, wir haben auch so eine Grafik dafür, wo man auf Strukturen, Prozesse, Kultur im äußeren Ring gucken kann. Aber es bezieht sich immer aufs Unternehmen, oder auf die Organisation, aber dort eben auf alles der Organisation. So und die Erwartungshaltung an Personalentwicklung kann ja total unterschiedlich sein, was man langfristig im Unternehmen damit verändern will.

Und da sind wir einfach offen, alles aufzugreifen und zu gucken, wie kann man das am besten machen, ohne dass wir für irgendwas ein fertiges Rezept haben.

[Susanne Dube]
Okay, wenn wir jetzt nicht wirklich fertige Rezepte haben, weil wir ja schon immer sehr kundenorientiert sein wollen, welchen Nutzen hat denn die Umsetzung von eurem Evaluationsansatz hinsichtlich dem Kunden? Also wir sind ja eine Unternehmensberatung, wir arbeiten für Kunden. Also was hat denn der Kunde von diesem neuen Ansatz, vielleicht auch jetzt nicht Kirkpatrick zu machen, mit jemand anders oder Thalheimer zu folgen, sondern eben mit uns das zu machen?

Oder welchen Nutzen hat es vielleicht auch für uns?

[Andreas Hohenstein]
Also vom Prinzip hilft uns die Evaluation, den Kunden strategisch zu beraten und zu begleiten. Der Kunde hat beispielsweise, jetzt haben wir gerade ein Projekt, wo der Kunde vier strategische Ziele hat für die nächsten drei Jahre. Die sind formuliert.

Da ist eine Strategie vorher formuliert, da sind strategische Ziele abgeleitet. Und dann stellt sich natürlich die Frage, wie gestaltet sich die Bildung im Unternehmen, um diese strategischen Ziele zu befördern? Und gleichzeitig hat die Akademie zum Beispiel des Unternehmens, hat so eine Art Manifest, was sie unter Lernen verstehen, was ihnen wichtig ist am Lernen.

Und jetzt bringen wir in der Konzeption von Lernarchitektur beides zusammen. Das heißt, wir sagen auf der einen Seite hast du deine strategischen Ziele und egal welches Lernthema du hast, wie kannst du das so ausrichten in deiner Architektur, dass es den strategischen Zielen hilft? Und wie kannst du es so gestalten, dass es deinem Lernmanifest, deinem Lernverständnis als Akademie entspricht?

Und daraus leiten wir dann Evaluationskriterien ab und Dimensionen.

[Susanne Dube]
Das heißt grundsätzlich ist dann das große Thema für uns, dass wir Lernkonzepte ja gar nicht ohne Evaluation denken, sondern dass wir die Evaluation zuerst denken und dann quasi das Lernkonzept da draufsetzen.

[Andreas Hohenstein]
Wir denken sie gleichzeitig, nicht zuerst, sondern gleichzeitig. Das heißt also, wenn ein Unternehmen sagt, das sind unsere vier strategischen Ziele, wir wollen unsere Bildungsprozesse stärker daran ausrichten, dann operationalisieren wir diese strategischen Ziele und dann nehmen wir diese Operationalisierung und schauen uns die heutig vorhandenen Personalentwicklungsmaßnahmen und Interventionen an oder entwickeln gemeinsam neue, die dann aber genau damit verknüpft sind mit diesen strategischen Zielen und dafür ist es sozusagen ein iterativer Prozess, um beides gleichzeitig zu entwickeln. Am Ende des Tages hat man eine Konzeption, ein Portfolio für Lernen und man hat gleichzeitig eine Konzeption und ein Portfolio an Evaluationen. 

Und beides ist gleichzeitig fertig. Das wäre das Optimum.

[Susanne Dube]
Und das hat ja tatsächlich dann auch auf uns als Unternehmen eine Rückwirkung, weil wir natürlich dadurch auch unsere eigenen Lernmaßnahmen und alle Themen, die wir bei Kunden umsetzen, immer auch wieder benchmarken, also immer auch wieder schauen, passt das irgendwie zur Strategie, immer wieder mit evaluieren können und vielleicht auch Rückschlüsse auf die allgemeinen Angebote ziehen können.

[Andreas Hohenstein]
Genau und deshalb ist auch ein Fokus wichtig, wenn wir Learner Journeys machen, digitale Fitnessreisen für Zielgruppen, dass wir nicht nur vorn und hinten gucken, sondern dass wir auch auf dem Weg prozessorientiert immer wieder gucken, in Schleifen, in iterativen Prozessen, dass wir, wenn es agile Sprints gibt in den Unternehmen, dass wir eben auch agile Evaluation Sprints machen. Deshalb ist unsere Idee wirklich sozusagen so ein Lernrucksack zu packen, mit dem man dann gemeinsam mit dem Kunden auf die Lernreise geht und während der Reise bestimmte Stationen hat, wo man innehält und sagt, was ist jetzt schon mal gut gelaufen, was können wir in der, wir haben jetzt gerade einen Kunden, der macht so in drei Wellen Schulung, dass wir sagen, in der ersten Welle machen wir Evaluation und wenn die erste Welle vorbei ist, dann gucken wir, wie ist die gelaufen, was können wir für Inputs für die zweite Welle kriegen und dann schauen wir schon während der ersten Welle uns bestimmte Sachen an und die zweite Welle setzt dann schon auf einem anderen Niveau wieder auf.

[Susanne Dube]
Ich habe das Gefühl, wenn ihr von eurem Rucksack sprecht, dann habt ihr immer schon eine relativ genaue Vorstellung davon, wovon ihr überhaupt redet und wenn man so von außen drauf schaut, dann habe ich das Gefühl, in der halben Stunde, die wir jetzt vielleicht gesprochen haben, haben wir so einen ganz kleinen Einblick da reingekriegt und vor allem eine Idee davon, wo kommt ihr her von dem Denken, aber was der Rucksack ist, ich glaube, da packen wir ein bisschen was in die Shownotes rein, dann kann man da vielleicht auch nochmal tiefer reingucken und ich glaube tatsächlich, dass es ja für euch sicherlich genauso wertvoll ist, wie für mich, Neugier-Nase, tatsächlich zu schauen, welche Kommentare bekommen wir denn, welche Fragen bekommen wir denn von den Zuhörenden und vielleicht welche Vorschläge, Angebote, Kritikpunkte können in unserem Denken noch entgegengestellt werden, damit wir uns weiter challengen können und wir ja damit eigentlich mit dem, dass ihr das vorgestellt habt, auch das Konzept hier nochmal ein bisschen zur Evaluation gestellt haben, oder sehe ich das falsch?

[Andreas Hohenstein]
Wir würden uns total freuen, wenn wir sozusagen mit unseren Kunden gemeinsam dieses Konzept weiterentwickeln können, wenn wir uns challengen können, dass wir das, was wir ganz am Anfang sagten, den Wert von Lernen, den zu fördern und wenn da auch Kunden, Kooperationspartner, also alle, die Lust haben, da mitzumachen, die Erfahrungen, die sie haben, mit auf den Tisch zu legen und das weiterzuentwickeln. Also wir haben keine fertigen Rezepte, aber wir gehen mutig hin und sagen, wir haben unsere gesamten Erfahrungen einfließen lassen da rein.

Wir würden uns total freuen, die mit anderen Erfahrungen zu teilen.

[Susanne Dube]
Finde ich total schön und würde euch da gerne weiter begleiten. Erzählt mir mehr davon in anderen Folgen. Bis dahin sage ich, ihr habt eine dicke Einladung, liebe Zuhörerinnen und Zuhörer, diese Folge heute zu kommentieren.

Nutzt sie, ich bin sehr, sehr gespannt darauf und freue mich sehr aufs nächste Mal und nochmal vielen Dank an euch beide, dass ihr da wart.

[Andreas Hohenstein]
Vielen, vielen Dank für die Einladung.

[Jen Shivel]
Danke Susanne. 

[Susanne Dube]
Übrigens, habt ihr uns schon abonniert? Ihr findet uns auf iTunes, auf Spotify, ach überall, wo ihr wollt.

Am besten gebt ihr Lernlust Podcast bei Google ein. Denkt auch daran, uns dort zu bewerten. Und wenn ihr Kommentare hinterlassen wollt, nutzt einfach LinkedIn oder Twitter.

Dort sind wir viel unterwegs. Wir freuen uns auf euch.