Journal of Research in Science, Mathematics and Technology Education

Difficulty-Generating Features of Text-based Physics Tasks

Knut Schwippert 1,
Kendra Zilz 2,
Dietmar Hoettecke 2 *
1 University of Hamburg, Faculty of Education, Evaluation of Educational Systems2 Universität Hamburg Faculty of Education, Department of Social Sciences, Mathematics and Natural Sciences Education (EW5) Von-Melle-Park 8 20146 Hamburg* Corresponding Author
Download PDF
Journal of Research in Science, Mathematics and Technology Education, Online-First Articles, pp. 1-24
OPEN ACCESS VIEWS: 61 DOWNLOADS: 48 Publication date: 15 May 2024
ABSTRACT
Influencing the difficulty of performance tasks is of great interest in science education as in several other subjects. In the context of the VAMPS project, difficulty-generating features with respect to the cognitive demand of text-based physics tasks were systematically varied at three levels. Based on preliminary work and two pilot studies presented here briefly, a model was developed by which cognitive requirement was varied according to three features. The viability of this model was empirically tested with a sample of n = 414 secondary school students. The feature cognitive activity proved to be a significant factor influencing the empirically measured difficulty of tasks. With the help of the feature number of information obtained from task stem and number of subject-specific mental procedures, no systematic influence on task difficulty could be shown. The influence of the test persons’ individual prior knowledge on the actual task difficulty is generally assumed to be a confounding factor. Overall, the present study contributes to a better understanding of construct representation in assessments of subject-specific proficiency and empirically confirms that a systematic variation of the task feature cognitive activity on three levels affects task difficulty
KEYWORDS
Test items, Item difficulty, Teaching and learning electricity
CITATION (APA)
Schwippert, K., Zilz, K., & Hoettecke, D. (2024). Difficulty-Generating Features of Text-based Physics Tasks. Journal of Research in Science, Mathematics and Technology Education. https://doi.org/10.31756/jrsmte.721
REFERENCES
  1. Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., & Wittrock, M.C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom's taxonomy of educational objectives. New York: Longman.
  2. Bernholt, S., & Parchmann, I. (2011). Assessing the complexity of students' knowledge in chemistry. Chemistry Education Research and Practice, 12, 167–173. https://doi.org/10.1039/C1RP90021H
  3. Brown, G.T.L., Andrade, H.L., & Chen, F. (2015). Accuracy in student self-assessment: directions and cautions for research. Assessment in Education: Principles, Policy & Practice, 22(4), 444-457, https://doi.org/10.1080/0969594X.2014.996523.
  4. Carney, R. N., & Levin, J. R. (2002). Pictorial illustrations still improve students’ learning from text. Educational Psychology Review, 14(1), 5–26. https://doi.org/10.1023/A:1013176309260
  5. Cruz Neri, N., Guill, K., & Retelsdorf, J. (2021). Language in science performance: Do good readers perform better? European Journal of Psychology of Education, 36, 45–46. https://doi.org/10.1007/s10212-019-00453-5
  6. Engelhardt, P. V., & Beichner, R. J. (2004). Students’ understanding of direct current resistive electrical circuits. American Journal of Physics, 72(1), 98–115. https://doi.org/10.1119/1.1614813
  7. Feser, M. & Höttecke, D. (2023). Development of a test in German language to assess middle school students' physics proficiency. The Physics Educator, 5(1), Article 2320002. https://doi.org/10.1142/S2661339523200020.
  8. Gut-Glanzmann, C. (2012). Modellierung und Messung experimenteller Kompetenz. Analyse eines large-scale Experimentiertests. Berlin: Logos.
  9. Hackemann, T. (2023). Textverständlichkeit sprachlich variierter physikbezogener Sachtexte. Diss., Universität Hamburg.
  10. Hadenfeldt, J. C., Bernholt, S., Liu, X., Neumann, K., & Parchmann, I. (2013). Developing an instrument using ordered multiple choice items to access Students’ understanding of the structure and composition of matter. Journal of Chemical Education 90(12), 1602–1608. https://doi.org/10.1021/ed3006192
  11. Härtig, H., Heitmann, P., & Retelsdorf, J. (2015). Analyse der Aufgaben zur Evaluation der Bildungsstandards in Physik – Differenzierung von schriftsprachlichen Fähigkeiten und Fachlichkeit. Zeitschrift für Erziehungswissenschaft, 18, 763–779. https://doi.org/10.1007/s11618-015-0646-2
  12. Hartig, J., & Frey, A. (2012). Konstruktvalidierung und Skalenbeschreibung in der Kompetenzdiagnostik durch die Vorhersage von Aufgabenschwierigkeiten. Psychologische Rundschau, 63(1), 43–49. https://doi.org/10.1026/0033-3042/a000109
  13. Härtig, S., Bernholt, S., Fraser, N., Cromley, J. G., & Retelsdorf, J. (2022). Comparing reading comprehension of narrative and expository texts based on the direct and inferential mediation model. International Journal of Science and Mathematics Education, 20, 17–41. https://doi.org/10.1007/s10763-022-10302-5
  14. Heine, L., Domenech, M., Otto, L., Neumann, A., Krelle, M., Leiß, D., Höttecke, D., Ehmke, T., & Schwippert, K. (2018). Modellierung sprachlicher Anforderungen in Testaufgaben verschiedener Unterrichtsfächer: Theoretische und empirische Grundlagen. Zeitschrift für angewandte Linguistik, 69, 69-96. https://doi.org/10.1515/zfal-2018-0017
  15. Höttecke, D., Feser, M., Heine, L., & Ehmke, T. (2018). Do linguistic features influence item difficulty in physics assessments? Science Education Review Letters, https://doi.org/10.18452/19188.
  16. Impara, J. C., & Plake, B. S. (1998). Teachers’ ability to estimate item difficulty: A test of the assumptions in the Angoff standard setting method. Journal of Educational Measurement, 35(1), 69–81. https://doi.org/10.1111/j.1745-3984.1998.tb00528.x
  17. Jaeger, D., & Müller, R. (2019). Einflussfaktoren beim Lösen physikalischer Aufgaben. In C. Maurer (Hrsg.), Naturwissenschaftliche Bildung als Grundlage für berufliche und gesellschaftliche Teilhabe. Gesellschaft für Didaktik der Chemie und Physik, Jahrestagung in Kiel 2018 (S. 293–296). Regensburg: Universität Regensburg.
  18. Kauertz, A. (2008). Schwierigkeitserzeugende Merkmale physikalischer Leistungsaufgaben. Berlin: Logos.
  19. Kesten, B. (2020). Die Wirkungen sprachlicher und kognitiv-fachlicher Aufgabenmerkmale in Physik auf ihre Bearbeitung durch Schüler*innen. Unpublished Master Thesis, University Hamburg
  20. Kieffer, M. J., Lesaux, N. K., Rivera, M., & Francis, D. J. (2009). Accommodations for English language learners taking large-scale assessments: A meta-analysis on effectiveness and validity. Review of Educational Research, 79(3), 1168–1201. https://doi.org/10.3102/0034654309332490
  21. Kintsch, W., & van Dijk, T. A. (1978). Toward a model of text comprehension and production. Psychological Review, 85(5), 363–394. https://doi.org/10.1037/0033-295X.85.5.363
  22. Knoche, N., & Lind, D. (2004). Eine differenzielle Itemanalyse zu den Faktoren Bildungsgang und Geschlecht. In M. Neubrand (Hrsg.), Mathematische Kompetenzen von Schülerinnen und Schülern in Deutschland. Vertiefende Analysen im Rahmen von PISA 2000 (S. 73–86). Wiesbaden: VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-322-80661-1_5
  23. Kulgemeyer, C., & Schecker, H. (2009). Kommunikationskompetenz in der Physik: Zur Entwicklung eines domänenspezifischen Kommunikationsbegriffs. Zeitschrift für Didaktik der Naturwissenschaften, 15, 131–153.
  24. Kunter, M., J. Baumert and O. Köller (2007), “Effective classroom management and the development of subject-related interest”, Learning and Instruction, Vol. 17/5, pp. 494-509, https://doi.org/10.1016/j.learninstruc.2007.09.002.
  25. Le Hebel, F., Montpied, P., Tiberghien, A., & Fontanieu, V. (2017). Sources of difficulty in assessment: Example of PISA science items. International Journal of Science Education, 39(4), 468–487. https://doi.org/10.1080/09500693.2017.1294784
  26. Maier, U., Kleinknecht, M., Metz, K., & Bohl, T. (2010). Ein allgemeindidaktisches Kategoriensystem zur Analyse des kognitiven Potenzials von Aufgaben. Beiträge zur Lehrerinnen- und Lehrerbildung, 28, 84–96.
  27. Mannel, S., Sumfleth, E., & Walpuski, M. (2009). Schwierigkeitsbestimmende Faktoren von Aufgaben zu experimentell-naturwissenschaftlichen Arbeitsweisen für den unteren Leistungsbereich. In D. Höttecke (Hrsg.), Chemie- und Physikdidaktik für die Lehramtsausbildung (S. 380–382). Berlin: Lit.
  28. Mesic, V., & Muratovic, H. (2011). Identifying predictors of physics item difficulty: A linear regression approach. Physical Review Special Topics – Physics Education Research, 7. https://doi.org/10.1103/PhysRevSTPER.7.010110
  29. Mullis, I. V. S., Martin, M. O., Foy, P., Kelly, D. L., & Fishbein, B. (2020). TIMSS 2019 International Results in Mathematics and Science. Retrieved from Boston College, TIMSS & PIRLS International Study Center website: https://timssandpirls.bc.edu/timss2019/international-results/
  30. Nagy, G., Lüdtke, O., Köller, O., & Heine, J.-H. (2017). IRT-Skalierung des Tests im PISA-Längsschnitt 2012/2013: Auswirkungen von Testkontexteffekten auf die Zuwachsschätzung. Zeitschrift für Erziehungswissenschaft, 20(Suppl. 2), 229–258. https://doi.org/10.1007/s11618-017-0749-z
  31. Nakagawa, S., & Schielzeth, H. (2013). A general and simple method for obtaining R2 from generalized linear mixed-effects models. Methods in Ecology and Evolution, 4, 133–142. https://doi.org/10.1111/j.2041-210x.2012.00261.x
  32. Nakagawa, S., Johnson, P. C. D., & Schielzeth, H. (2017). The coefficient of determination R2 and intra-class correlation coefficient from generalized linear mixed-effects models revisited and expanded. Journal of The Royal Society Interface, 14. https://doi.org/10.1098/rsif.2017.0213
  33. Neumann, I. (2011). Beyond physics content knowledge. Modeling competence regarding nature of scientific inquiry and nature of scientific knowledge. Berlin: Logos.
  34. Neumann, K., Viering, T., & Fischer, H. (2010). Die Entwicklung physikalischer Kompetenz am Beispiel des Energiekonzepts. Zeitschrift für Didaktik der Naturwissenschaften, 16, 285–298.
  35. Neumann, K., Vollstedt, M., Lindmeier, A., Bernholt, S. Eckhardt, M., Harms, U., Härtig, H., Heinze, A., & Parchmann, I. (2013). Strukturmodelle allgemeiner Kompetenz in Mathematik und den Naturwissenschaften und Implikationen für die Kompetenzentwicklung im Rahmen der beruflichen Ausbildung in ausgewählten kaufmännischen und gewerblich-technischen Berufen. In R. Nickolaus, J. Retelsdorf, E. Winther & O. Köller (Hrsg.), Mathematisch-naturwissenschaftliche Kompetenzen in der beruflichen Erstausbildung. Stand der Forschung und Desiderate. Zeitschrift für Berufs- und Wirtschaftspädagogik, 26. Beiheft, 113–138.
  36. OECD (2021), 21st-Century Readers: Developing Literacy Skills in a Digital World, PISA, OECD Publishing, Paris, https://doi.org/10.1787/a83d84cb-en.
  37. OECD (2023), PISA 2022 Results (Volume II): Learning During – and From – Disruption, PISA, OECD Publishing, Paris, https://doi.org/10.1787/a97db61c-en.
  38. Prediger, S. & Aufschnaiter, C.v. (2023, 2nd ed.). Umgang mit heterogenen Lernvoraussetzungen aus fachdidaktischer Perspektive: Fachspezifische Anforderungs- und Lernstufungen berücksichtigen. In T. Bohl, J. Budde & M. Rieger-Ladich (eds.), Umgang mit Heterogenität in Schule und Unterricht. Grundlagentheoretische Beiträge und didaktische Reflexionen (pp. 299–316). Bad Heilbrunn: Klinkhardt.
  39. Prenzel, M., Häußler, P., Rost, J., & Senkbeil, M. (2002). Der PISA-Naturwissenschaftstest: Lassen sich die Aufgabenschwierigkeiten vorhersagen? Unterrichtswissenschaft, 30(2), 120–135.
  40. Ropohl, M., Walpuski, M., & Sumfleth, E. (2015). Welches Aufgabenformat ist das richtige? – Empirischer Vergleich zweier Aufgabenformate zur standardbasierten Kompetenzmessung. Zeitschrift für Didaktik der Naturwissenschaften, 21, 1–15. https://doi.org/10.1007/s40573-014-0020-6
  41. Schmidt-Barkow, I. (2010). Lesen – Lesen als Testverstehen. In V. Frederking et al. (eds.), Taschenbuch des Deutschunterrichts (pp. 218-231). Vol. 1, 9th ed., Baltmannsweiler: Schneider Hohengehren.
  42. Schnotz, W. (2006). Was geschieht im Kopf des Lesers? Mentale Konstruktionsprozesse beim Textverstehen aus der Sicht der Psychologie und der kognitiven Linguistik. In H. Blühdorn, E. Breindl & U. H. Waßner (Hrsg.), Text – Verstehen. Grammatik und darüber hinaus (S. 222–238). Berlin: de Gruyter.
  43. Solano-Flores, G., & Wang, C. (2015). Complexity of illustrations in PISA 2009 science items and its relationship to the performance of students from Shanghai-China, the United States, and Mexico. Teachers College Record, 117(1), 1–18. https://doi.org/10.1177/016146811511700103
  44. Stiller, J., Hartmann, S., Mathesius, S., Straube, P., Tiemann, R., Nordmeier, V., Krüger, D., & Upmeier zu Belzen, A. (2016). Assessing scientific reasoning: A comprehensive evaluation of item features that affect item difficulty. Assessment & Evaluation in Higher Education, 41(5), 721–732. https://doi.org/10.1080/02602938.2016.1164830
  45. Sweller, J., Ayres, P., & Kalyuga, S. (2011). Cognitive load theory. New York: Springer. https://doi.org/10.1007/978-1-4419-8126-4
  46. Walpuski, M., & Ropohl, M. (2014). Statistische Verfahren für die Analyse des Einflusses von Aufgabenmerkmalen auf die Schwierigkeit. In D. Krüger, I. Parchmann & H. Schecker (Hrsg.), Methoden in der naturwissenschaftsdidaktischen Forschung (S. 385–398). Berlin: Springer. https://doi.org/10.1007/978-3-642-37827-0_30
  47. Wellnitz, N., Fischer, H. E., Kauertz, A., Mayer, J., Neumann, I., Pant, H. A., Sumfleth, E., & Walpuski, M. (2012). Evaluation der Bildungsstandards – eine fächerübergreifende Testkonzeption für den Kompetenzbereich Erkenntnisgewinnung. Zeitschrift für Didaktik der Naturwissenschaften, 18, 261–291.
  48. Ziepprecht, K., Schwanewedel, J., Heitmann, P., Jansen, M., Fischer, H. E., Kauertz, A., Kobow, I., Mayser, J., Sumfleth, E., & Walpuski, M. (2017). Modellierung naturwissenschaftlicher Kommunikationskompetenz – ein fächerübergreifendes Modell zur Evaluation der Bildungsstandards. Zeitschrift für Didaktik der Naturwissenschaften, 23, 113–125. https://doi.org/10.1007/s40573-017-0061-8
LICENSE
Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.