Comment utiliser l'analytique d'apprentissage pour soutenir la collecte de preuves d'accréditation d'Abet

L'Intersection de l'Analyse de l'apprentissage et l'Accréditation ABET

L'accréditation ABET est une caractéristique de qualité pour les programmes d'ingénierie et de calcul dans le monde entier, en validant que les diplômés répondent à des normes professionnelles rigoureuses.Le processus exige des preuves complètes que les étudiants atteignent des résultats définis du programme, allant de la résolution de problèmes techniques au raisonnement éthique et au travail d'équipe.

L'analyse de l'apprentissage offre une alternative transformatrice. En mesurant, recueillant et analysant systématiquement les données sur les apprenants et leur contexte d'apprentissage, les établissements peuvent générer des données concrètes et fondées sur des données qui appuient directement le cadre d'évaluation axé sur les résultats de l'ABET.

Cet article fournit un guide pratique et approfondi pour tirer parti de l'analyse d'apprentissage pour l'accréditation ABET – couvrant les points de données essentiels, les stratégies de mise en oeuvre, les avantages et les pièges communs.

Définition de l'analytique de l'apprentissage dans le contexte de l'accréditation

L'analyse de l'apprentissage est la mesure, la collecte, l'analyse et la communication des données sur les apprenants et leur environnement afin de comprendre et d'optimiser l'apprentissage et les paramètres dans lesquels il se produit. Dans le contexte de l'ETAB, cela signifie transformer les données brutes des étudiants en données probantes démontrant à quel point les étudiants atteignent les résultats du programme (OS) et les résultats des étudiants (OS) définis par ABET=s critères d'accréditation.

Les critères d'accréditation des programmes de génie (2023-2024) exigent que les programmes aient un processus d'évaluation qui documente et démontre périodiquement le degré d'atteinte des résultats des étudiants.L'analyse de l'apprentissage fournit l'infrastructure nécessaire pour automatiser une grande partie de cette documentation, passant de la preuve sporadique et anecdotique à la collecte continue et systématique de données.

Contrairement à la simple présentation de rapports sur les notes, l'analyse de l'apprentissage intègre plusieurs sources de données - rubriques d'évaluation, activité du système de gestion de l'apprentissage (SGL), réponses au sondage, présentations de documents de portfolio électroniques et même participation co-scolaire - pour brosser un tableau holistique des réalisations des élèves.

La clé de cet alignement est la cartographie de chaque tâche d'évaluation en fonction des résultats des étudiants.Par exemple, un projet final d'un cours de conception de capstone pourrait être directement lié au résultat (c) : - une capacité à concevoir un système, un composant ou un processus pour répondre aux besoins souhaités. - Les outils d'analyse d'apprentissage peuvent recueillir des notes de rubrique, des textes de réflexion des étudiants et des évaluations par les pairs de ce projet, les regroupant dans un portefeuille de résultats qui démontre l'atteinte de résultats sur plusieurs semestres.

Points de données essentiels pour la collecte de données

L'utilisation efficace de l'analyse d'apprentissage pour l'accréditation commence par identifier les points de données qui fournissent les données les plus significatives. Les catégories suivantes englobent les données de base que les programmes devraient systématiquement saisir et analyser.

Données d'évaluation directe

Les évaluations directes mesurent le rendement des élèves par rapport à des résultats précis, notamment :

Évaluations des cours en cours en cours en cours :[ Les notes sur les examens, les quiz, les laboratoires et les projets qui sont explicitement cartographiés aux résultats du programme.
Les projets de cap et de conception:[ Les projets de l'année finale intègrent souvent plusieurs résultats. L'analytique peut suivre les notes de rubrique, les réalisations d'étape et les évaluations du corps professoral.
Examens normalisés et mesures de l'autorisation : Taux de réussite à l'examen FE, ou résultats d'examens de fin de carrière élaborés localement qui permettent de comparer l'atteinte des résultats.
E-portfolio artefacts:[ Des échantillons de travail soumis par les étudiants et étiquetés par résultat et notés à l'aide de rubriques de référence.

Données d'évaluation indirecte

Les mesures indirectes reflètent les perceptions et les autoévaluations qui complètent les données probantes directes :

Enquêtes auprès des étudiants : Enquêtes de fin de cours, enquêtes auprès des personnes âgées et enquêtes auprès des diplômés qui demandent aux élèves de s'autoévaluer sur leur rendement, qui peuvent être administrées par l'entremise du SMT ou d'outils comme la Qualtrics.
Rétroaction de l'employeur: Les enquêtes auprès des superviseurs de stages ou des employeurs de diplômés fournissent une validation externe de la réalisation des résultats.
Transcriptions de groupe et d'entrevue :[ Données qualitatives issues de discussions avec des étudiants ou des professeurs qui peuvent être codées en fonction des résultats en utilisant l'analyse de texte.

Engagement et données comportementales

Bien que les indicateurs de l'engagement ne soient pas des preuves directes de l'atteinte des résultats, ils peuvent indiquer des domaines où les élèves peuvent se battre, ce qui permet une intervention proactive.

activité LMS:[ Fréquence des connexions, modèles d'accès au contenu, délais de soumission des affectations, participation au forum.
Attendance et participation:[ Engagement en classe capturé par des outils de sondage ou de suivi de la présence.
Temps de travail :[ Temps approximatif consacré aux activités d'apprentissage, disponibles dans certaines plateformes d'évaluation.
Analyse des réseaux sociaux :[ Affectations co-auteures, participation à l'examen par les pairs et modèles de collaboration de groupe qui reflètent les résultats du travail d'équipe.

Données démographiques et contextuelles

Pour assurer une réalisation équitable des résultats, les programmes devraient également recueillir et analyser des données ventilées par caractéristiques des étudiants, comme le sexe, le statut de minorité sous-représentée, la fréquentation des collèges de première génération et l'expérience socioéconomique.

Bâtir une infrastructure d'analyse d'apprentissage pour l'accréditation

La mise en place d'un cadre d'analyse d'apprentissage pour l'ABET exige une planification minutieuse, une sélection technologique et l'adhésion des intervenants.

Étape 1 : Carter les résultats aux points d'évaluation

Commencez par créer une matrice qui relie chaque résultat de l'ETAB à des cours, des affectations et des rubriques spécifiques. Pour chaque résultat, identifiez au moins deux à trois points d'évaluation directs répartis dans l'ensemble du programme. Cette cartographie est la base de toute collecte et analyse de données subséquentes. Utilisez un dépôt centralisé – comme un tableur ou un outil de cartographie des programmes intégré à votre SML – pour maintenir et mettre en version la cartographie.

Étape 2: Sélectionnez les outils de collecte et d'analyse de données

La pile technologique est essentielle. De nombreuses institutions commencent par leur système de gestion d'apprentissage existant (p. ex., Canvas, Blackboard, Moodle) et l'ajoutent à des plateformes spécialisées.

Apprendre les plateformes d'analyse: Des outils comme Directus (un CMS sans tête open source qui peut être personnalisé pour les données éducatives), Tableau pour la visualisation, ou l'analyse intégrée dans les produits LMS. Directus est particulièrement flexible pour créer des tableaux de bord personnalisés qui tirent des données de plusieurs systèmes – LMS, SIS, outils d'enquête – dans un seul centre de données d'accréditation.
Systèmes de gestion d'évaluation:[ Plateformes comme AEFIS, Watermark ou LiveRubric qui appuient directement l'évaluation des résultats et produisent des rapports sur les résultats des élèves.
E-Portfolio Systems: Des solutions comme Portfolium, Mahara ou Folio pour la collecte et la classification des artefacts.
Outils d'enquête et de rétroaction:[ Qualtrics, Microsoft Forms ou modules d'enquête intégrés sur le SML pour la collecte de données d'évaluation indirecte.

Étape 3 : Établir des politiques de gouvernance des données et de protection des renseignements personnels

L'analyse de l'apprentissage consiste à traiter des données sensibles des étudiants.

Transparence: Informer les élèves des données recueillies, de la façon dont elles seront utilisées et de la façon dont ils peuvent accéder à leurs propres données.
Options de consentement et de refus :[ Fournir des mécanismes permettant aux étudiants de refuser d'analyser dans la mesure du possible (p. ex., pour le suivi comportemental non lié aux évaluations obligatoires).
Sécurité des données:[ Chiffrer les données en transit et au repos, limiter l'accès au personnel autorisé et se conformer à la FERPA (ou à des règlements équivalents) et à toute exigence du comité d'examen institutionnel.
Dé-identification:[ Pour les tableaux de bord partagés avec des équipes d'accréditation, agréger et dé-identifier les données pour protéger la vie privée des personnes.

Étape 4: Conception de tableaux de bord analytiques pour les parties prenantes

Les tableaux de bord devraient servir des publics différents et présenter différents niveaux de granularité :

Faculté: Tableau de bord en temps réel montrant comment leurs étudiants progressent sur les résultats de leurs cours, avec des alertes pour les étudiants en difficulté.
Coordonnateurs de programmes et chefs de département :[ Récapitulez les points de vue sur la réalisation des résultats selon les sections et les semestres, les lignes de tendance et les comparaisons par rapport aux repères.
Comités d'accréditation:[ Rapports de haut niveau qui cartographient les preuves d'évaluation à chaque critère de l'ETAB, avec des artefacts et des interprétations de données à l'appui.
Étudiants: Tableaux de bord qui montrent leurs propres progrès sur les résultats, en identifiant les forces et les domaines à améliorer (facultatif mais pouvant améliorer l'engagement des étudiants).

Étape 5 : Intégrer l'analyse dans les cycles d'amélioration continue

L'accréditation de l'ABET n'est pas une activité ponctuelle, mais elle nécessite une évaluation et une amélioration continues. L'analyse de l'apprentissage devrait alimenter un processus formel d'amélioration continue (souvent appelé cycle d'évaluation -) Chaque semestre ou année, examiner les données sur l'atteinte des résultats, cerner les lacunes et mettre en oeuvre des changements, comme la révision des affectations, la mise à jour des rubriques, la modification des conditions préalables ou l'offre de tutorat ciblé.

Avantages pratiques d'un processus d'accréditation adapté à l'analyse d'apprentissage

Les établissements qui investissent dans l'analyse de l'apprentissage pour l'ABET présentent plusieurs avantages importants au-delà de la simple satisfaction des exigences d'accréditation.

Prise de décision fondée sur les données

Au lieu de s'appuyer sur des opinions ou des commentaires anecdotiques, les départements peuvent fonder les décisions relatives aux programmes sur des preuves objectives. Par exemple, si l'analyse révèle que seulement 60 % des étudiants rencontrent le résultat du raisonnement éthique en conception senior, la faculté peut introduire un nouveau module d'éthique dans le programme d'études de premier cycle et suivre l'amélioration au cours de l'année suivante.

Identification précoce des étudiants à risque

Les interventions – comme le tutorat, le mentorat ou les groupes d'étude – peuvent être déployées avant les évaluations finales, ce qui améliore le succès des étudiants et réduit le nombre d'étudiants qui ne parviennent pas à atteindre les résultats.

Préparation simplifiée de l'accréditation

Avec un système d'analyse bien conçu, les preuves nécessaires pour un rapport d'auto-étude d'accréditation sont déjà organisées et à jour. Au lieu de se brouiller pour recueillir des artefacts et compiler des données dans les mois avant une visite, les équipes peuvent générer des rapports instantanément.

Évaluation comparative améliorée des programmes

Avec le temps, les données analytiques cumulatives permettent aux ministères de comparer les résultats obtenus dans différentes sections, semestres ou même institutions par des pairs (s'il existe des ententes de partage de données).

Démontrer une culture de la qualité

Les évaluateurs de l'ETAB apprécient de plus en plus les preuves qu'un programme s'engage dans une assurance de la qualité systématique fondée sur des données probantes.

Défis et considérations dans la mise en oeuvre de l'analyse de l'apprentissage

Malgré les avantages, les institutions sont confrontées à plusieurs obstacles dans le déploiement de l'analyse pour l'accréditation.

Silos de données et complexité d'intégration

Les données des étudiants vivent souvent dans des systèmes distincts – le SML, le système d'information des étudiants (SIS), la plateforme de portail électronique et des outils d'évaluation de tiers. L'intégration de ces sources dans un pipeline d'analyse cohérent peut être techniquement exigeante.

Appuyé par la Faculté et formation

Pour surmonter ce problème, il faut une communication claire sur la façon dont l'analyse soutiendra l'enseignement (pas l'évaluer), ainsi que sur le perfectionnement professionnel en matière de création de rubriques alignées sur les résultats et en utilisant des outils de tableau de bord.

Qualité et cohérence de la rubrique

Si les rubriques sont mal conçues, ne sont pas alignées sur les résultats ou appliquées de façon incohérente par les instructeurs, les données obtenues ne seront pas fiables. Investir dans les séances de normalisation où les professeurs étalonnent les rubriques et envisager d'utiliser la notation automatisée pour des critères bien définis afin d'améliorer la cohérence.

Volume de données surchargé

Sans conception réfléchie, les tableaux de bord analytiques peuvent présenter autant de mesures que les décideurs souffrent de surcharge d'information. Se concentrer sur un petit ensemble d'indicateurs de rendement clés (ICP) qui relient directement à chaque résultat étudiant, et fournir des options de forage pour une analyse plus approfondie au besoin.

Maintenir l'instantum

Pour maintenir l'élan, intégrer l'analyse dans la gouvernance académique régulière, comme les réunions du ministère, les examens des comités des programmes et les rapports annuels des programmes. Nommer un coordonnateur ou un comité d'analyse dédié pour s'assurer que le système demeure actif et évolue selon des critères changeants.

Exemples et études de cas dans le monde réel

Plusieurs institutions ont intégré avec succès l'analyse de l'apprentissage dans leurs processus d'accréditation ABET. Bien que des détails particuliers varient, des thèmes communs émergent.

Dans une grande école publique de génie du Midwest, le cours de conception principale a été repensé pour inclure un système de soumission numérique qui permet automatiquement d'identifier les résultats attendus du projet aux résultats de l'ETAB (a) à (k). Les notes de lecture des professeurs et des mentors de l'industrie ont été intégrées à un tableau de bord personnalisé construit sur un SGC sans tête semblable à Directus.

Un collège privé d'ingénieurs plus petit a utilisé une plateforme de portail électronique et un outil d'analyse d'apprentissage pour recueillir des artefacts de tous les cours requis. Ils ont automatisé la génération de rapports d'évaluation --des résultats -qui ont montré des pourcentages d'étudiants qui rencontrent chaque résultat, ventilés par année, cours et groupe démographique. Le système a également signalé quand un cours -les résultats d'évaluation étaient statistiquement inférieurs à la moyenne du ministère, ce qui a entraîné une révision du programme.

Un autre exemple notable est celui d'une université qui a utilisé l'analyse de l'apprentissage pour corriger une faiblesse particulière identifiée dans un cycle d'accréditation précédent : résultat de l'étudiant (d) – capacité de fonctionner en équipe multidisciplinaire. . En analysant les données de collaboration provenant des forums de discussion et des notes d'évaluation par les pairs du SGM, le programme a constaté que de nombreux étudiants ne participaient pas de façon égale aux projets d'équipe.

Tendances futures : Analyse et accréditation de l'apprentissage

Le paysage de l'analyse et de l'accréditation de l'apprentissage évolue et les dirigeants du programme devraient surveiller ces développements émergents.

Éducation axée sur les compétences et microcrédences

Comme plus de programmes d'ingénierie adoptent une formation axée sur les compétences (CEP) et offrent des badges numériques ou des microcrédences, l'analyse de l'apprentissage deviendra encore plus granulaire. Plutôt que de suivre le niveau de réussite au niveau du cours, les systèmes suivront la maîtrise individuelle des compétences dans l'ensemble du programme.

Intelligence artificielle et analyse prédictive

Les modèles d'apprentissage automatique peuvent prédire quels étudiants risquent de ne pas atteindre des résultats précis bien avant la fin d'un cours. Ces analyses prédictives, combinées à des recommandations d'intervention automatisées, deviendront plus courantes. Cependant, les programmes doivent utiliser de tels outils de façon éthique, en évitant les biais et en veillant à ce que les prédictions soient utilisées pour soutenir, non pénaliser, les étudiants.

Tableau de bord d'accréditation en temps réel

La prochaine génération de logiciels d'accréditation offrira probablement des tableaux de bord interactifs en direct que les évaluateurs pourront explorer lors de visites sur place, ce qui remplacerait les rapports PDF statiques par des visualisations dynamiques des données, favoriserait une enquête plus approfondie et réduirait le fardeau de la préparation des documents avant la visite.

Normes d'interopérabilité

Des initiatives telles que la norme IMS Global Learning Consortiums Caliper Analytics et la spécification OneRoster facilitent l'échange de données entre les outils éducatifs. À mesure que ces normes mûrissent, l'intégration de l'analyse de l'apprentissage entre les plateformes deviendra plus simple, réduisant ainsi la barrière technique pour les petites institutions.

Commencer: un plan d'action pratique

Si votre programme est au début de ce voyage, envisagez les étapes à court terme suivantes :

Saisir les pratiques d'évaluation actuelles :[ Identifier les cours qui ont déjà des affectations et des rubriques alignées sur les résultats. Déterminer quelles données sont déjà saisies (même si elles sont manuellement).
Former une équipe interfonctionnelle :[ Inclure les professeurs, les conseillers, le personnel de TI, les coordonnateurs de l'évaluation et un administrateur principal pour promouvoir l'initiative.
Sélectionnez un cours ou un résultat pilote :[ Au lieu d'essayer de tout transformer en même temps, choisissez un cours ou un résultat unique pour démontrer la valeur de l'analyse.
Investir dans une plateforme de données flexible:[ Évaluer les options open-source comme Directus ou des solutions commerciales qui permettent la personnalisation à votre institution. La capacité de se connecter à plusieurs sources est critique.
Communiquez tôt et souvent : Partagez votre vision avec les professeurs, les étudiants et les conseils consultatifs. La transparence renforce la confiance et réduit la résistance.
Plan d'amélioration continue:[ Établir un cycle d'examen régulier – trimestriel ou semestriel – où les données sont analysées, les actions discutées et les changements documentés. Ce rythme deviendra le cœur de votre processus d'accréditation.

En prenant ces mesures, votre programme peut passer de la préparation manuelle et stressante à une pratique simplifiée et fondée sur les données qui non seulement répond aux exigences de l'ABET, mais améliore aussi vraiment l'apprentissage des étudiants. L'analyse d'apprentissage n'est pas une solution magique, mais lorsqu'elle est mise en œuvre de façon réfléchie, elle devient un allié puissant dans la poursuite de l'excellence éducative et de la responsabilité professionnelle.