Formative Evaluation

Formative Evaluationen konzentrieren sich darauf festzustellen, welche Aspekte des Designs gut oder nicht gut funktionieren und warum. Diese Bewertungen finden während der gesamten Neugestaltung statt und liefern Informationen zur schrittweisen Verbesserung der Benutzeroberfläche Auf diese Weise können schon früh konkrete Verbesserungsmöglichkeiten aufgezeigt werden, das Produkt kann somit durch die Tests und das iterative Vorgehen aus Sicht der Gebrauchstauglichkeit stetig verbessert werden. Typisch für formative Evaluationen ist das mehrmalige Testen und Ändern des Produkts. Die Vorteile der formativen Evaluation sind eindeutig ihre hohe Effektivität und Effizienz. Durch das frühe Ansetzten im Entwicklungsprozess können potentielle Probleme früh erkannt und somit ausgebessert werden.

Anwendung

Die formative Evaluation kann formal (direkt) oder informal (indirekt) angewendet werden, d. h. als beschreibende, lernrelevante Rückmeldung im Gespräch zwischen Lehrkraft und Schülern oder auch als Eigenbeobachtung. Bei der formativen Rückmeldung sollten drei Aspekte (Fragen) im Vordergrund stehen:

1. Was ist das Lernziel? Was ist die ursprüngliche Intention? Was wollte man lernen?
2. Wo befindest man sich in seinem Lernprozess? Was wurde bereits erreicht? Was kann man schon?
3. Was brauchst man noch, damit das Ziel erreicht wird? Unterstützungen (Material, Methoden, personelle Ressource)

Cognitive Walktrough

Eine Art zur Überprüfung eines Produkts ist der Cognitive Walkthrough (zu deutsch: kognitiver Durchgang, Durchdenken eines Problems,). Ein Teammitglied durchläuft stellvertretend für die Benutzer einen Prototyp des Produkts. Dadurch sollen Probleme identifiziert werden, die die Lernfähigkeit und damit verbundene Fragen beeinträchtigen. Im Gegensatz zu heuristischen Evaluationen (siehe unten), fokussiert sich der Cognitive Walkthrough auf eine einzelne Dimension: die Erlernbarkeit. Maßgeblich werden drei Problembereiche erfasst:

1. Punkte, an denen die Konzepte der Nutzer und Entwicklern über die Aufgaben nicht übereinstimmen,
2. ungünstige Benennungen der Bedienelemente sowie
3. inadäquates Feedback des Systems.

Heuristische Evaluation

Bei der heuristischen Evaluation handelt es sich um eine Methode, bei der ein Produkt durch Experten überprüft wird, typischerweise sind dies Usability-Experten. Eine Gruppe von Evaluierenden bedient sich an einem Satz von Heuristiken bzw. Kriterien. Zum Beispiel können die Nielsen-Heuristiken oder die Grundsätze der Dialoggestaltung nach ISO 9241-110 herangezogen werden. Das System explorierend, versuchen sie Verstöße gegen die Forderungen in den Heuristiken aufzudecken. Indem die allgemeine Usability-Expertise mit dem Wissen über die Anwendungsdomäne und Zielgruppe verbunden wird, bemühen sich die Evaluierenden, die Sichtweise eines Nutzers aus der Zielgruppe einzunehmen. Die Usability-Experten sind quasi Stellvertreter der späteren Nutzenden.

Die von Nielsen entwickelten Heuristiken sind ein Satz an Richtlinien oder Faustregeln für die Benutzerfreundlichkeit. Obwohl diese Heuristiken ursprünglich für die Inspektion von Software entwickelt wurden, sind sie für jede Art von Produkt weit verbreitet. Das Ziel einer heuristischen Evaluation ist es, möglichst vollständig alle Usability-Probleme in einer Schnittstelle aufzudecken und so zu kategorisieren, dass die unterschiedlichen Aussagen der Evaluierenden möglichst eindeutig einem zugrundeliegenden Problem zugeordnet werden können.

Informelle heuristische Evaluationen, sind eine Variation, die mit nichts anderem als dem Wissen aus Erfahrung durchgeführt werden. Die Bewertung kann durch ein Memo oder ein Meeting erfolgen und von einem einzelnen Teilnehmer vorgenommen werden.

Beispiele

An der Fakultät für Psychologie der Universität Wien wurde Twitter verwendet, um Lehrveranstaltungen formativ zu evaluieren.

Eine Form der formativen Evaluation ist die Lernverlaufsdiagnostik, bei der die Lehrkraft den Lernfortschritt der Schülerinnen und Schüler mit kurzen, meist standardisierten Tests dokumentiert und die Ergebnisse nutzt, um ihren eigenen Unterricht zu evaluieren, zu verändern und dem Schüler über die Entwicklung Rückmeldung zu geben.

Siehe auch

• Ex-Post-Evaluation
• Formatives Assessment

Einzelnachweise

1. Joyce, A.: Formative vs. Summative Evaluations. Nielsen Norman Group, 2019, abgerufen am 5. Januar 2023. 
2. Sarodnick, F. & Brau, H. (2016). Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (3., unveränderte Auflage). Bern: Hogrefe.
3. Gediga, G., & Hamborg, K. C. Evaluation in der Software-Ergonomie: Methoden und Modelle im Software-Entwicklungsprozess. In Zeitschrift für Psychologie (210(1), S. 40–57).
4. Hix, D. & Harston, H. R. (1993). Developing user interfaces: ensuring usability through product & process. New York: John Wiley & Sons.
5. John Hattie: Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von "Visible learning". Hrsg.: Klaus Zierer. Schneider Verlag Hohengehren, Baltmannsweiler 2013, S. 215. 
6. Lewis, C., Polson, P. G., Wharton, C. & Rieman, J. (1992). Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces. In: J. C. Chew (Hrsg.), Empowering people. CHI '90 conference proceedings (Human factors in computing systems, Bd. 1990, S. 235–242). Reading, MA: Ad-dison-Wesley. Zugriff am 5. Januar 2023. Verfügbar unter: doi:10.1145/97243.97279
7. Polson, P. G., Lewis, C., Rieman, J. & Wharton, C. (1992). Cognitive walkthroughs: a method for theory-based evaluation of user interfaces. International Journal of Man-Machine Studies, 36(5), S. 741–773. doi:10.1016/0020-7373(92)90039-N
8. Barnum, C. M. (2011). Usability testing essentials. Ready, set – test! Amsterdam, Boston: Morgan Kaufmann Publishers.
9. Wharton, C., Rieman, J., Lewis C. & Polson, P. (1994). The cognitive walktrough method: A practitioner´s guide. Usability inspection methods, S. 105–140.
10. Nielsen, J. (1994). 10 Usability Heuristics for User Interface Design, Nielsen Norman Group. Zugriff am 5. Januar 2023. Verfügbar unter: [1]
11. DIN EN ISO, 9241 (2002-02-00). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten: Europäische Kommission für Normung.
12. Lavery, D., Cockton, G. & Atkinson, M. P. (1997). Comparison of evaluation methods using structured usability problem reports. Behaviour & Information Technology, 16(4-5), S. 246–266. doi:10.1080/014492997119824
13. Nielsen, J. (2010). Usability engineering [3.Nachdr.]. Amsterdam, Heidelberg: Kaufmann.
14. Christoph Burger, Stefan Stieger: 1st Mobile phone conference, London (UK), 18. Februar 2009, archiviert vom Original am 3. Dezember 2009; abgerufen am 18. Februar 2009 (englisch). 
15. Christoph Burger, Stefan Stieger: Let's go formative: Continuous student ratings with Web 2.0 application Twitter. GOR09, 8. April 2009, abgerufen am 7. Januar 2009 (englisch).