Abstract
Educators and researchers have been struggling for decades to isolate and measure the factors that contribute to science career decisions. However, there are limited instruments available to measure these factors, particularly across different educational levels. This study describes the adaptation and characteristics of the middle school NextGen Scientist Survey as an assessment for elementary students. Internal validity of the survey was investigated using confirmatory factor analysis (CFA). Also, measurement invariance between the surveys for middle school and elementary students and across gender was examined. Confirmatory factor analyses found a 5-factor solution for both surveys. Partial scalar invariance across elementary and middle school students could be confirmed, i.e., the factor means can be compared across groups. Furthermore, full scalar invariance can be assumed for gender. Altogether, the NextGen Scientist Survey is a valid assessment that can be used across elementary and middle school educational levels.
Conclusions and limitations
To conclude, our research efforts have tested and found acceptable reliability and validity for a new elementary level assessment of science capital, science attitudes, and science experiences, factors that contribute to career aspirations (Blanchard & Lichtenberg, 2003). Furthermore, the elementary school version of the NextGen Scientist Survey can be used in parallel to the middle school version to allow for assessments across educational levels and age. The ability to measure factors which contribute to career aspirations in elementary students is important because youths at this age are already forming and establishing ideas about future careers. In order to provide the support necessary to sustain interest in science from elementary ages to middle school (and beyond) there is a need to have a longitudinal understanding of the resources to which youths have access. There is much concern about the “leaky STEM pipeline” (Makarova, Aeschlimann, & Herzog, 2016) and the loss of interest in STEM (science, technology, engineering, mathematics) disciplines as they get older. The development of this survey provides researchers with the opportunity to examine factors that contribute to career aspirations that can be measured through the critical transitional years when youths begin to lose interest in science. Therefore, the parallel forms of this instrument, for elementary and middle school youths, can allow for documentation of how youths’ attitudes toward science can change over time through the lens of family science capital and family science habitus as well as how female and male students vary in their science attitudes and experiences.
Altogether, the two versions of the NextGen Scientist Survey can be described as questionnaires with well-grounded structural validity and they meet important quality characteristics concerning measurement invariance across different age groups and genders. Thus the surveys can be effectively used. However, future research to further explore reliability by assessing the same children twice within a short period of time would be desirable. Additional validity supportive evidence might come from studies investigating cross-age differences in larger samples and from more distant age categories. It would be also worthwhile to assess reliability and validity within the data set as well as beyond the data set and to set up new studies with measures of construct validity, discriminant and convergent validity. This research will help refine the survey and, perhaps more importantly, advance our understanding of factors that contribute to future science task value.
It is possible that there may have been some selection bias present in the samples that volunteered to participate in the study. The percentage of ethnicities in the elementary school sample differs from the percentage in the state in which the research was carried out. Also, a larger size for the elementary student sample would have been desirable. Despite these limitations, this study gives a first insight into the promising development of an instrument to capture the science capital, attitudes, and future science task value of children. Further sampling is needed to determine important characteristics of the questionnaire, for example invariance between genders. Additional research is needed to establish construct, convergent, and discriminant validity, criterion-related validity, and test-retest reliability.
Download full report Measuring science capital, science attitudes, and science experiences in elementary and middle school students
- vertaling Google translate -
Abstract
Opvoeders en onderzoekers worstelen al tientallen jaren met het isoleren en meten van de factoren die bijdragen aan wetenschappelijke loopbaanbeslissingen. Er zijn echter beperkte instrumenten beschikbaar om deze factoren te meten, met name over verschillende onderwijsniveaus heen. Deze studie beschrijft de aanpassing en kenmerken van de NextGen Scientist Survey van de middelbare school als een beoordeling voor basisschoolleerlingen. De interne validiteit van de enquête werd onderzocht met behulp van confirmatieve factoranalyse (CFA). Ook werd de meetinvariantie tussen de enquêtes voor middelbare scholieren en basisschoolleerlingen en tussen geslachten onderzocht. Confirmatieve factoranalyses vonden voor beide onderzoeken een 5-factoroplossing. Gedeeltelijke scalaire invariantie tussen basis- en middelbare scholieren kan worden bevestigd, d.w.z. de factorgemiddelden kunnen tussen groepen worden vergeleken. Verder kan volledige scalaire invariantie worden aangenomen voor geslacht. Al met al is de NextGen Scientist Survey een geldige beoordeling die kan worden gebruikt op basis- en middelbare schoolonderwijsniveaus.
Conclusies en beperkingen
Concluderend, onze onderzoeksinspanningen hebben een aanvaardbare betrouwbaarheid en validiteit getest en gevonden voor een nieuwe beoordeling op elementair niveau van wetenschappelijk kapitaal, wetenschappelijke attitudes en wetenschappelijke ervaringen, factoren die bijdragen aan loopbaanambities (Blanchard & Lichtenberg, 2003). Bovendien kan de basisschoolversie van de NextGen Scientist Survey parallel aan de middelbare schoolversie worden gebruikt om beoordelingen over verschillende onderwijsniveaus en leeftijden mogelijk te maken. Het vermogen om factoren te meten die bijdragen aan loopbaanambities bij basisschoolleerlingen is belangrijk omdat jongeren op deze leeftijd al ideeën vormen over toekomstige carrières. Om de ondersteuning te bieden die nodig is om de interesse in wetenschap te behouden vanaf de basisschoolleeftijd tot de middelbare school (en daarna), is er behoefte aan een longitudinaal begrip van de bronnen waartoe jongeren toegang hebben. Er is veel bezorgdheid over de "lekkende STEM-pijplijn" (Makarova, Aeschlimann, & Herzog, 2016) en het verlies van interesse in STEM-disciplines (wetenschap, technologie, engineering, wiskunde) naarmate ze ouder worden. De ontwikkeling van dit onderzoek biedt onderzoekers de mogelijkheid om factoren te onderzoeken die bijdragen aan loopbaanambities die kunnen worden gemeten tijdens de kritieke overgangsjaren waarin jongeren hun interesse in wetenschap beginnen te verliezen. Daarom kunnen de parallelle vormen van dit instrument, voor basis- en middelbare schooljongeren, het mogelijk maken om te documenteren hoe de houding van jongeren ten opzichte van wetenschap in de loop van de tijd kan veranderen door de lens van gezinswetenschapskapitaal en gezinswetenschapsgewoonten, evenals hoe vrouwelijke en mannelijke studenten verschillen in hun wetenschappelijke attitudes en ervaringen.
Al met al kunnen de twee versies van de NextGen Scientist Survey worden beschreven als vragenlijsten met goed onderbouwde structurele validiteit en voldoen ze aan belangrijke kwaliteitskenmerken met betrekking tot meetinvariantie tussen verschillende leeftijdsgroepen en geslachten. Zo kunnen de enquêtes effectief worden gebruikt. Toekomstig onderzoek om de betrouwbaarheid verder te onderzoeken door dezelfde kinderen binnen een korte tijd twee keer te beoordelen, zou echter wenselijk zijn. Bijkomend validiteitsondersteunend bewijs zou kunnen komen uit onderzoeken naar leeftijdsoverschrijdende verschillen in grotere steekproeven en uit verder weg gelegen leeftijdscategorieën. Het zou ook de moeite waard zijn om de betrouwbaarheid en validiteit binnen de dataset en buiten de dataset te beoordelen en om nieuwe studies op te zetten met maten van constructvaliditeit, discriminante en convergente validiteit. Dit onderzoek zal helpen het onderzoek te verfijnen en, misschien nog belangrijker, ons begrip van factoren die bijdragen aan toekomstige wetenschappelijke taakwaarde te vergroten.
Het is mogelijk dat er enige selectiebias aanwezig was in de steekproeven die vrijwillig deelnamen aan het onderzoek. Het percentage etniciteiten in de steekproef van de basisschool wijkt af van het percentage in de staat waar het onderzoek is uitgevoerd. Ook zou een grotere omvang voor de steekproef van elementaire leerlingen wenselijk zijn geweest. Ondanks deze beperkingen geeft deze studie een eerste inzicht in de veelbelovende ontwikkeling van een instrument om het wetenschapskapitaal, de attitudes en de toekomstige wetenschapstaakwaarde van kinderen vast te leggen. Verdere steekproeven zijn nodig om belangrijke kenmerken van de vragenlijst vast te stellen, bijvoorbeeld invariantie tussen geslachten. Aanvullend onderzoek is nodig om constructvaliditeit, convergente en discriminantvaliditeit, criteriumvaliditeit en test-hertestbetrouwbaarheid vast te stellen.
Download full report Measuring science capital, science attitudes, and science experiences in elementary and middle school students