Journal of Research in Science, Mathematics and Technology Education

A Criteria-based Assessment Instrument to Assess the Quality of Explanatory Videos in Chemistry Education

Sarah Merk 1,
Dominik Diermann 1,
Katharina Forster 1 * ,
Jenna Koenen 1
1 Technical University of Munich* Corresponding Author
Download PDF
Journal of Research in Science, Mathematics and Technology Education, Volume 8, Issue SI, June 2025, pp. 161-194
OPEN ACCESS VIEWS: 278 DOWNLOADS: 129 Publication date: 15 Jun 2025
ABSTRACT
The availability and use of instructional and explanatory videos are becoming increasingly important in educational contexts, e.g., due to advancing digitalization and the rising popularity of video platforms. Empirical findings from various subject areas and disciplines examine and postulate relevant quality criteria for these videos. To ensure the positive learning effects of the chosen videos, a qualitative assessment is required based on findings from media education, educational science, and (scientific) subject education. There is a significant research gap in the systematic quality assessment of explanatory videos in chemistry. As a result, an assessment instrument for recording and evaluating the quality of explanatory videos specifically for chemistry was developed. Based on a systematic literature search and a qualitative expert survey, 28 empirically founded quality criteria from media pedagogy, educational science, and science education were collected and validated based on N = 16 videos. The results of the expert assessments largely underline the quality and validity of the assessment instrument developed. The experts graded the given videos similarly and comparable to the quality assessment instrument, but, on average, they only used nine of the 28 identified criteria from the instrument for their video assessment, which speaks in favor of a more differentiated video evaluation by the assessment instrument. The instrument also includes the option of setting individual priorities and is widely applicable to different video formats (e.g., experimental videos) for the subject area of chemistry. Furthermore, all of the studies provide many indications of high user-friendliness, satisfaction, comprehensibility, and ease of use of the assessment instrument.
KEYWORDS
Explanatory videos, Chemistry lessons, Assessment instrument, Quality assessment
CITATION (APA)
Merk, S., Diermann, D., Forster, K., & Koenen, J. (2025). A Criteria-based Assessment Instrument to Assess the Quality of Explanatory Videos in Chemistry Education. Journal of Research in Science, Mathematics and Technology Education, 8(SI), 161-194. https://doi.org/10.31756/jrsmte.417SI
SUPPLEMENTARY FILES
Assessment-instrument-for-explanatory-videos-in-chemistry
REFERENCES
  1. Ahmad, Z., Ammar, M., Al-Thani, N. J., & Sellami, A. (2023). Effective Pedagogical Approaches Used in High School Chemistry Education: A Systematic Review and Meta-Analysis. Journal of Chemical Education, 100(5), 1796–1810. https://doi.org/10.1021/acs.jchemed.2c00739
  2. Balcke, D. (2022). Erklärvideos – Eine kritische Analyse ihres Selbstanspruchs aus fach- und allgemeindidaktischer Perspektive. Bildung und Erziehung, 75(1), 24-40. https://doi.org/10.13109/buer.2022.75.1.24
  3. Beautemps, J., & Bresges, A. (2021). What Comprises a Successful Educational Science YouTube Video? A Five-Thousand User Survey on Viewing Behaviors and Self-Perceived Importance of Various Variables Controlled by Content Creators. Frontiers in Communication, 5. https://doi.org/10.3389/fcomm.2020.600595
  4. Bloom, B. S., Krathwohl, D. R., & Masia, B. B. (1984). Bloom taxonomy of educational objectives. In Allyn and Bacon: Pearson Education London.
  5. Brass, M., Bekkering, H., Wohlschläger, A. & Prinz, W. (2000). Compatibility between Observed and Executed Finger Movements: Comparing Symbolic, Spatial, and Imitative Cues. Brain and cognition, 44(2), 124-143. https://doi.org/10.1006/brcg.2000.1225
  6. Chen, C.-M. & Wu, C.-H. (2015). Effects of different video lecture types on sustained attention, emotion, cognitive load, and learning performance. Computers & Education, 80, 108-121. https://doi.org/10.1016/j.compedu.2014.08.015
  7. Churches, A. (2008). Bloom's digital taxonomy. Available at: https://www.researchgate.net/publication/228381038_Bloom's_Digital_Taxonomy (Accessed 21.11.2023).
  8. Coşkun, A., Büyükkeçeci, E., & Töre-Yargın, G. (2021). Exploring Success Criteria of Instructional Video Design in Online Learning Platforms. In Ö. D. Cordan, D. Arslan Dincay, Ç. Yurdakul Toker, E. Belkis Öksüz, & S. Semizoglu (Hrsg.) Game+ Design Education (pp. 393-407). Springer. https://doi.org/10.1007/978-3-030-65060-5
  9. Das Deutsche Schulportal (2022). Erstmals repräsentative Daten zum Fernunterricht. Availabel at: https://deutsches-schulportal.de/unterricht/lehrer-umfrage-deutsches-schulbarometer-spezial-corona-krise-april-2020/ (Accessed 04.12.2024).
  10. De Jong, T., Linn, M.C., Zacharia, Z.C. (2013). Physical and virtual laboratories in science and engineering education. Science, 340(6130), 305–308. https://doi.org/10.1126/science.1230579
  11. Dorgerloh, S. & Wolf, K. D. (2020). Lehren und Lernen mit Tutorials und Erklärvideos. Beltz.
  12. Findeisen, S., Horn, S. & Seifried, J. (2019). Lernen durch Videos: Empirische Befunde zur Gestaltung von Erklärvideos. MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, 35, 16-36. https://doi.org/10.21240/mpaed/00/2019.10.01.X
  13. Fiorella, L., van Gog, T., Hoogerheide, V. & Mayer, R. E. (2017). It’s All a Matter of Perspective: Viewing First-Person Video Modeling Examples Promotes Learning of an Assembly Task. Journal of educational psychology, 109(5), 653-665. https://doi.org/10.1037/edu0000161
  14. Guo, P. J., Kim, J., & Rubin, R. (2014). How video production affects student engagement: An empirical study of MOOC videos. Proceedings of the first ACM conference on Learning@ scale conference, 41-50. https://doi.org/10.1145/2556325.2566239
  15. Harmer, S. P. & Groß, K. (2021). CHEMideos – Fachdidaktische Analyse chemischer Erklärvideos. In S. Habig (Hrsg.). Naturwissenschaftlicher Unterricht und Lehrerbildung im Umbruch?. Gesellschaft für Didaktik der Chemie und PhGrysik, Online-Jahrestagung, pp. 589-592.
  16. Harmer, S. P. & Groß, K. (2022). Developing and Evaluating guidelines for analysing video tutorials for the chemistry Classroom. In G.S. Carvalho, A.S. Afonso & Z. Anastácio (Eds.), Fostering scientific citizenship in an uncertain world (Proceedings of ESERA 2021), pp. 332-342, Braga, Portugal.
  17. Heidig, S., Müller, J. & Reichelt, M. (2015). Emotional design in multimedia learning: Differentiation on relevant design features and their effects on emotions and learning. Computers in Human behavior, 44, 81-95. https://doi.org/10.1016/j.chb.2014.11.009
  18. Hommel, B. & Stränger, J. (1994). Wahrnehmung von Bewegung und Handlung. Enzyklopädie der Psychologie, Themenbereich C Theorie und Forschung, Serie II Kognition, 1, 529-603.
  19. Honkomp-Wilkens, V., Wolf, K. D., Jung, P. & Altmaier, N. (2022). Informelles Lernen auf YouTube: Entwicklung eines Analyseinstruments zur Untersuchung didaktischer und gestalterischer Aspekte von Erklärvideos und Tutorials. MedienPädagogik18 (Jahrbuch Medienpädagogik), 495-528. https://doi.org/10.21240/mpaed/jb18/2022.03.08.X
  20. Jegstad, K. M. (2023). Inquiry-based chemistry education: a systematic review. Studies in Science Education, 60(2), 251–313. https://doi.org/10.1080/03057267.2023.2248436
  21. Jebe, F., Konietzko, S., Lichtschlag, M., Liebau, E. (2019). Studie: "Jugend/YouTube/Kulturelle Bildung. Horizont 2019". Essen: Rat für Kulturelle Bildung e. V. Available at: https://www.bosch-stiftung.de/sites/default/files/publications/pdf/2019-06/Studie_Jugend%20Youtube%20Kulturelle%20Bildung%202019.pdf (Accessed 21.11.2023).
  22. Korossy, K. (2022). Modellierung schulischer Notenbildung. Springer. https://doi.org/10.1007/978-3-658-36197-6
  23. Krammer, K. & Reusser, K. (2005). Unterrichtsvideos als Medium der Aus- und Weiterbildung von Lehrpersonen. Beiträge zur Lehrerbildung, 23(1), 35-50. https://doi.org/10.25656/01:13561
  24. Kulgemeyer, C. (2018). Qualitätskriterien zur Gestaltung naturwissenschaftlicher Erklärvideos. In C. Maurer (Hrsg.), Naturwissenschaftliche Bildung als Grundlage für berufliche und gesellschaftliche Teilhabe. Gesellschaft für Didaktik der Chemie und Physik, Jahrestagung in Kiel. (pp. 285-288).
  25. Liu, C., Chen, S., Liu, S., Liu, J., Wang, J., & Han, Y. (2021). A Delphi Study and Verification of Assessment of Chemistry Experiments Videos. Croatian Journal of Education, 23(3), 903-934. https://doi.org/10.15516/cje.v23i3.4018
  26. Marquardt, K. (2016). Beurteilungsraster für Mathematik-Erklärvideos: Chancen, Grenzen und Durchführung einer Operationalisierung mittels Resultaten aus der Schulbuchforschung. [Diplomarbeit] Universität Wien. https://doi.org/10.25365/thesis.43166
  27. Martin, J.-P. & Kelchner, R. (1998). Lernen durch Lehren. In J. P. Timm (Hrsg.), Englisch lernen und lehren - Didaktik des Englischunterrichts, (pp. 211-219). Cornelsen.
  28. Mayer, R. (2014). The Cambridge Handbook of Multimedia Learning (2nd ed.). Cambridge University Press. https://doi.org/10.1017/CBO9781139547369
  29. Mayer, R. & Chandler, P. (2001). When learning is just a click away: Does simple user interaction foster deeper understanding of multimedia messages? Journal of Educational Psychology, 93(2), 390-397. https://psycnet.apa.org/doi/10.1037/0022-0663.93.2.390
  30. Meller, S. (2017). Erklärvideos als Bildungsressource – Wie YouTube und Co. Lernen verändern. Ph publico, 12, 115-124, https://doi.org/10.25656/01:28383
  31. Moher, D., Liberati, A., Tetzlaff, J. & Altman, D. (2011). Bevorzugte Report Items für systematische Übersichten und Meta-Analysen: Das PRISMA-Statement. DMW-Deutsche Medizinische Wochenschrift, 136(08), 9-15. https://doi.org/10.1055/s-0031-1272978
  32. Müller, F. & Oeste-Reiß, S. (2019). Entwicklung eines Bewertungsinstruments zur Qualität von Lernmaterial am Beispiel des Erklärvideos. In J. M. Leimeister & K. David (Hrsg.), Chancen und Herausforderungen des digitalen Lernens (pp. 51-73). Springer. https://doi.org/10.1007/978-3-662-59390-5_4
  33. Naggar, L. (2022). Erklärvideos im Mathematikunterricht in Grundschulen–Eine mehrperspektivische und qualitative Untersuchung zu möglichen Qualitätsmerkmalen von Erklärvideos. [Masterarbeit] Freie Universität Berlin. Refubium – Repositorium der freien Universität Berlin. https://refubium.fu-berlin.de/handle/fub188/33798
  34. Nerdel, C. (2017). Grundlagen der Naturwissenschaftsdidaktik: Kompetenzorientiert und aufgabenbasiert für Schule und Hochschule. Berlin, Heidelberg: Springer Spektrum. http://doi.org/10.1007/978-3-662-53158-7
  35. Nordhausen, T. & Hirt, J. (2020). RefHunter. Manual zur Literaturrecherche in Fachdatenbanken. Version 5.0 (Martin-Luther-Universität Halle-Wittenberg & OST (ehemals FHS St.Gallen), Hrsg.). Halle (Saale). Avaiable at: https://refhunter.eu/manual/ (Accessed 21.11.2023).
  36. Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimhaw, J. M., Hróbjartsson, A., Lalu, M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., McGuinness, L. A., Stewart, L. A., Thomas, J., Tricco, A. C., Welch, V. A., Whiting, P., & Moher, D. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ (Clinical research ed.), 372(71). https://doi.org/10.1136/bmj.n71
  37. Plass, J. L., Heidig, S., Hayward, E. O., Homer, B. D. & Um, E. (2014). Emotional design in multimedia learning: Effects of shape and color on affect and learning. Learning and Instruction, 29, 128-140. https://doi.org/10.1016/j.learninstruc.2013.02.006
  38. Preston, G., Phillips, R., Gosper, M., McNeill, M., Woo, K., & Green, D. (2010). Web-based lecture technologies: Highlighting the changing nature of teaching and learning. Australasian Journal of Educational Technology, 26(6), 717-728. https://doi.org/10.14742/ajet.1038
  39. Renkl, A. (1997). Lernen durch Lehren. Springer. https://doi.org/10.1007/978-3-663-08696-3
  40. Riedl, A. (2008). Innere Differenzierung–Herausforderung für modernen Unterricht. In Föderale Ausbildungsagentur, Staatliche technische Uraler Universität (Hrsg.), Wirtschaft und Linguistik: Wege einer Wechselwirkung. Eine Sammlung von Materialien einer inernationalen wissenschaftlich-praktischen Konferenz von Studierenden und Doktoranden (pp. 122-128). Jekaterinburg: USTU-UPI. https://www.yumpu.com/de/document/view/27692177/innere-differenzierung-lehrstuhl-fur-padagogik-technische-
  41. Rummler, K. & Wolf, K. D. (2012). Lernen mit geteilten Videos: aktuelle Ergebnisse zur Nutzung, Produktion und Publikation von Onlinevideos durch Jugendliche. In W. Sützl, F. Stalder, R. Maier, & T. Hug (Hrsg.), Kulturen und Ethiken des Teilens (pp. 253-266). Innsbruck University Press. https://doi.org/10.25969/mediarep/2163
  42. Rüsseler, M., Sterz, J., Kalozoumi-Paisi, P., Schill, A., Bender, B., Hoefer, S. H., Schleicher, I., Damankis, A. I., Josephs, D., Ochsendorf, F., Stefanescu, C., Hoffmann, H., Schreckenbach, T. & Walcher, F. (2017). Qualitätssicherung in der Lehre–Entwicklung und Analyse von Checklisten zur Beurteilung von Lehrvideos zum Erlernen praktischer Fertigkeiten. Zentralblatt für Chirurgie-Zeitschrift für Allgemeine, Viszeral-, Thorax- und Gefäßchirurgie, 142(01), 32-38. https://doi.org/10.1055/s-0042-124416
  43. Seethaler, S., Burgasser, A. J., Bussey, T. J., Eggers, J., Lo, S. M., Rabin, J. M., Stevens, L. & Weizman, H. (2020). A research-based checklist for development and critique of STEM instructional videos. Journal of College Science Teaching, 50(1), 21-27. http://dx.doi.org/10.1080/0047231X.2020.12290671
  44. Sommer, K., Wambach-Laicher, J., & Pfeifer, P. (2018). Konkrete Fachdidaktik Chemie - Grundlagen für das Lernen und Lehren im Chemieunterricht. Seelze: Friedrich Verlag GmbH.
  45. Sterzing, F., Szabone Varnai, A., & Reinhold, P. (2021). Theoriebasierte Gestaltung & Validierung der Qualität von Erklärvideos. In S. Habig (Hrsg.), Naturwissenschaftlicher Unterricht und Lehrerbildung im Umbruch?. Gesellschaft für Didaktik der Chemie und Physik, Online Jahrestagung 2020. (pp. 113-117).
  46. Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive science, 12(2), 257-285. https://doi.org/10.1207/s15516709cog1202_4
  47. Tenberg, R. (2021). Didaktische Erklärvideos: Ein Praxis-Handbuch. Franz Steiner Verlag.
  48. Wolf, K. D. (2015). Video-Tutorials und Erklärvideos als Gegenstand, Methode und Ziel der Medien- und Filmbildung. In A. Hartung, T. Ballhausen, C. Trültzsch-Wijnen, A. Barberi, & K. Kaiser-Müller (Hrsg.), Filmbildung im Wandel (pp. 121-131). New Academic Press.
LICENSE
Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.