La préparation des professeurs d'ingénieurs à une évaluation et à une évaluation efficaces de l'ETAB est une responsabilité fondamentale pour tout programme qui demande une accréditation initiale ou continue.Les professeurs sont les principaux moteurs de l'exécution des programmes, de l'apprentissage des étudiants et de la collecte de données qui démontrent la qualité du programme.Sans leur participation active et éclairée, même les plans d'évaluation les plus bien conçus seront limités.Le défi est que de nombreux professeurs d'ingénieurs sont embauchés pour leur expertise technique, non pour leur connaissance de la terminologie de l'évaluation ou de l'accréditation axée sur les résultats.

Comprendre les critères d'accréditation de l'ABET

Avant de pouvoir contribuer de façon significative à l'évaluation, les professeurs doivent avoir une compréhension claire et opérationnelle des critères d'accréditation de l'ABET. Le cadre actuel, ABET Critères d'accréditation des programmes d'ingénierie (2024-2025), s'appuie sur un modèle axé sur les résultats qui met l'accent sur ce que les étudiants peuvent faire au moment de l'obtention de leur diplôme, plutôt que sur les cours qu'ils ont terminés.

  • Objectifs du programme en matière d'éducation :[ Des énoncés généraux décrivant les réalisations professionnelles et professionnelles que le programme prépare les diplômés à atteindre dans quelques années suivant leur diplôme. La Faculté doit comprendre comment leurs cours et leur mentorat contribuent à ces objectifs à long terme.
  • Résultats des étudiants (OS) :[ Ce sont les compétences, les connaissances et les comportements spécifiques que les étudiants sont censés posséder au moment de l'obtention de leur diplôme. L'ABET définit sept résultats des étudiants (1 à 7) applicables à tous les programmes d'ingénierie.
  • Amélioration continue (IC) :[ Le critère 4 (Amélioration continue) est au cœur du processus d'évaluation. Il exige que les programmes utilisent les données des évaluations pour apporter des améliorations au programme. La Faculté doit comprendre que l'évaluation n'est pas seulement un exercice de rapport mais un outil pour la prise de décisions.
  • Critères de programme:[ Au-delà des critères généraux, chaque discipline de génie (civil, mécanique, électrique, etc.) a des critères de programme spécifiques qui définissent des exigences supplémentaires.

Pour développer cette compréhension, il ne suffit pas de fournir un aperçu ponctuel. La faculté a besoin d'occasions continues de s'engager avec les critères dans le contexte de son propre enseignement.Les animateurs d'atelier peuvent utiliser les critères officiels d'ABET[ comme ressource principale, mais devraient compléter avec des exemples de discipline spécifique et des études de cas.Par exemple, un membre du corps professoral en génie mécanique pourrait voir comment l'évaluation du résultat 3 (capacité de communiquer efficacement) est effectuée au moyen de rapports de projet et de présentations de conception seniors.

Il est également essentiel de clarifier les idées fausses communes. Par exemple, de nombreux professeurs croient que l'ABET exige d'abord que 100 % des étudiants obtiennent une note de passage sur chaque résultat. En réalité, l'ABET s'attend à ce que les programmes définissent des critères de rendement (p. ex., 80 % des étudiants obtiendront une note de 3 ou plus sur une rubrique en 4 points) et utilisent ensuite les résultats pour améliorer les résultats.

Stratégies de préparation des facultés

La préparation des professeurs à l'évaluation de l'ETAB est un processus continu qui nécessite une approche multiforme. Voici les stratégies clés qui se sont avérées efficaces dans les programmes d'ingénierie aux États-Unis et à l'étranger.

1. Ateliers de formation

Les ateliers interactifs réguliers sont la pierre angulaire de la préparation des professeurs. Plutôt que d'une seule séance de «mort par PowerPoint», envisager une série d'ateliers espacés tout au long de l'année académique. Les sujets devraient passer des connaissances fondamentales à la pratique avancée.

  • ABET 101: Aperçu des critères, de la terminologie et du processus d'accréditation. Inclure un examen simulé où le corps professoral joue un rôle d'examinateur.
  • Écrire des résultats efficaces d'apprentissage des étudiants :[ Pratiquer l'écriture de résultats mesurables alignés sur la Taxonomie de Bloom. Comparer des exemples faibles par rapport à des exemples forts.
  • Conception des rubriques:[ Conseils étape par étape sur la création de rubriques analytiques et holistiques pour les projets, les rapports et les présentations. Inclure des exercices d'étalonnage où les élèves de scores de professeurs travaillent ensemble pour assurer la cohérence.
  • Closing the Loop:[ Études de cas de programmes qui ont utilisé des données d'évaluation pour apporter des changements significatifs.
  • Outils et technologies: Démonstration de systèmes de gestion d'évaluation (p. ex., flux de tâches, Weave, ou outils d'origine) et de techniques de visualisation des données.

Les ateliers devraient être dirigés par des champions du corps professoral qui ont de l'expérience avec l'ABET, idéalement en coordination avec le coordonnateur de l'évaluation du programme. L'invitation de facilitateurs externes d'autres établissements ou de l'ABET lui-même peut apporter de nouvelles perspectives, mais devrait être complétée par un contexte interne. Il est également efficace de prendre une approche de formation-le-formateur : identifier quelques professeurs pour devenir hautement formés, puis les faire encadrer leurs collègues dans des groupes plus petits ou des séances individuelles.

2. Évaluation de l ' alphabétisation

La littératie en évaluation va au-delà de la connaissance des critères; elle implique la compréhension des principes d'une bonne conception de l'évaluation et de l'interprétation des données.

  • Validité et fiabilité:[ L'évaluation mesure-t-elle réellement le résultat prévu? Deux évaluateurs différents donneraient-ils la même note? Utilisez des exemples de contextes d'ingénierie, p. ex., classifier un rapport de laboratoire pour les compétences en analyse.
  • Mesures directes et indirectes:[ Les mesures directes (examens, projets, portefeuilles) fournissent des preuves de l'apprentissage réel; les mesures indirectes (enquêtes, auto-rapports) fournissent des perceptions.
  • Échantillonnage et regroupement:[ Il n'est pas nécessaire d'évaluer chaque affectation pour chaque résultat. Les programmes peuvent utiliser un échantillonnage ciblé pour réduire la charge de travail tout en obtenant des données représentatives.
  • Critères de rendement et points de repère :[ Établir des objectifs réalistes pour la réussite des étudiants. Par exemple, « 80 % des étudiants obtiendront une note de 3 ou plus sur une rubrique en 4 points pour le résultat 5 ».

Une façon efficace de construire l'alphabétisation en évaluation est de faire une session de normalisation en milieu de travail. La faculté se rassemble pour marquer un échantillon de travail étudiant en utilisant une rubrique commune. Ils discutent des écarts et étalonnent leur notation. Cela améliore non seulement la fiabilité inter-évaluateurs, mais aussi approfondit leur compréhension de ce que le rendement « acceptable » ressemble.

3. Cartographie des programmes d ' études

La cartographie des programmes d'études est une représentation visuelle ou tabulaire de la façon dont les cours et les exigences du programme contribuent aux résultats des étudiants. C'est un outil puissant pour les professeurs de voir l'image générale et leur rôle en elle.

  • Quels sont les résultats qui sont largement couverts?
  • Y a-t-il une progression logique de l'initiation à l'apprentissage avancé?
  • Où sont les meilleurs endroits pour recueillir des données d'évaluation pour chaque résultat?

Un processus typique consiste à organiser une retraite ou une série de réunions où chaque membre du corps professoral identifie les résultats visés dans ses cours et indique le niveau d'apprentissage (introduit, renforcé ou maîtrisé). Ce processus collaboratif révèle souvent des lacunes ou des licenciements surprenants. Par exemple, un programme peut découvrir que le travail d'équipe (Résultat 5) n'est enseigné que dans un cours au choix ou que le résultat est évalué de façon informelle sans rubrique.Une fois les lacunes identifiées, le corps professoral peut proposer des changements : ajouter un projet de groupe dans un cours de base, réviser une affectation pour traiter explicitement du travail d'équipe ou élaborer une rubrique commune pour les produits livrables par l'équipe.

La cartographie des programmes d'études appuie également l'articulation des résultats d'apprentissage des cours[ aux résultats du programme. Lorsque les professeurs rédigent des objectifs d'apprentissage des cours, ils peuvent indiquer explicitement quels résultats du programme sont abordés et comment ils seront évalués.

4. Pratiques en matière de documentation

L'accréditation de l'ABET repose en grande partie sur des preuves documentées de ce que le programme fait et de la façon dont il s'améliore continuellement.

  • Tenir un dossier pour chaque cours contenant un programme, un échantillon de travail étudiant (anonymisé), des rubriques utilisées, et un résumé des résultats d'évaluation et des changements apportés.
  • Rapports d'évaluation:[ Un modèle standard pour les professeurs de déclarer les données d'évaluation pour un résultat précis, y compris les constatations, l'interprétation et les améliorations prévues.
  • » Procès-verbal de la réunion :[ Documenter les discussions sur les données d'évaluation et les décisions prises. Par exemple, les procès-verbaux d'une réunion d'un comité du programme qui a décidé de réviser une condition préalable en raison de la faible performance dans un cours subséquent.
  • Contrôle de la version:[ Tenir un suivi de la façon dont les affectations, les rubriques et les syllabes évoluent au fil du temps en réponse aux résultats d'évaluation, ce qui démontre le cycle de « fermeture de la boucle ».

Pour réduire le fardeau de la documentation, les ministères peuvent créer des modèles et des dépôts numériques[. Un lecteur partagé ou une structure de dossiers de gestion du système d'apprentissage peut normaliser l'endroit où les documents sont stockés. La Faculté devrait être présentée des exemples de dossiers de cours bien organisés de collègues.

Il est important de souligner que la documentation n'est pas seulement destinée à l'accréditation, mais aussi au perfectionnement professionnel du corps professoral et à l'amélioration de l'enseignement. Lorsque le corps professoral constate que la documentation de son travail d'évaluation entraîne moins de surprises lors des examens et fournit des preuves de promotion et de prix d'enseignement, il est plus probable qu'il investit dans la pratique.

Mise en œuvre de méthodes d'évaluation efficaces

Avec une faculté préparée, la prochaine étape consiste à mettre en place des méthodes d'évaluation qui produisent des données valides et fiables sans instructeurs accablants. Le mantra devrait être « emboîté, ne pas ajouter ».

Types d'évaluations divers

Une méthode unique englobe rarement toutes les dimensions d'un résultat. Les programmes devraient comprendre :

  • Exams et quizs:[ Bon pour tester les connaissances et les compétences analytiques, mais moins efficaces pour le travail d'équipe ou la communication.
  • Projets de conception:[ Idéal pour évaluer simultanément plusieurs résultats (résolution de problèmes, conception, travail d'équipe, communication).
  • Rapports de laboratoire: Évaluer l'expérimentation, l'analyse des données et la communication écrite.
  • Portfolios: Les portefeuilles Capstone recueillent des données probantes sur plusieurs cours. Ils sont utiles pour démontrer la croissance et pour l'évaluation au niveau du programme des résultats comme la conception ou l'apprentissage tout au long de la vie.
  • Présentations et examens par les pairs:[ Utile pour la communication orale et les résultats du travail d'équipe.

Collecte et analyse de données

Par exemple, un programme peut recueillir des données à partir du cours de conception senior chaque semestre, mais seulement à partir du cours de base une fois par année. Une autre approche consiste à établir une « évaluation commune » dans toutes les sections d'un cours de plusieurs sections. Par exemple, toutes les sections de la mécanique d'ingénierie pourraient administrer le même problème d'examen final qui évalue un résultat précis. La Faculté peut ensuite regrouper des données pour obtenir une image de programme.

L'analyse des données devrait être simple : calculer les pourcentages ou la répartition des notes de rubrique, comparer à la cible de rendement et identifier les points faibles. La faculté a besoin d'orientations sur l'interprétation des données de façon significative. Par exemple, si 75 % des étudiants ont atteint la cible, mais que le programme s'attendait à ce que 80 % de la population soit touchée, qu'est-ce que cela signifie? L'écart est-il attribuable à une lacune dans l'enseignement, à une évaluation trop difficile ou à une question de cohorte? La faculté devrait être formée pour poser ces questions et pour trianguler les constatations avec d'autres éléments probants (p. ex., rétroaction des employeurs, sondages auprès des diplômés, distributions de grade).

Utilisation de la technologie

La technologie peut simplifier les processus d'évaluation et réduire la charge de travail des professeurs.Les outils comme les systèmes de gestion de l'apprentissage (SGE) avec le suivi des résultats (p. ex., Canvas Outcomes, Blackboard Goals) permettent aux professeurs de marquer les affectations aux résultats et d'agréger automatiquement les notes. D'autres plateformes de gestion de l'évaluation, comme Taskstream, Weave ou Nuventive, fournissent des tableaux de bord pour l'analyse au niveau du programme. Cependant, la technologie n'est utile que si les professeurs sont formés à l'utiliser de façon cohérente.

Favoriser une culture d'amélioration continue

L'objectif ultime de l'évaluation de l'ETAB n'est pas de produire des rapports, mais de favoriser une amélioration continue, ce qui exige un changement culturel, qui passe de l'évaluation comme complément à la perception de l'évaluation comme partie intégrante de l'enseignement et de l'apprentissage.

Rôle du leadership et du soutien

Les présidents, les coordonnateurs de programmes et les doyens du Ministère doivent démontrer leur engagement par des mesures, et non par des mots, notamment :

  • Ressources allocatives:[ Fournissez un délai de publication pour les coordonnateurs de l'évaluation ou un comité d'évaluation du corps professoral.
  • Fournit des incitatifs :[ Reconnaître le travail d'évaluation dans les évaluations annuelles, la rémunération au mérite et les critères de promotion.
  • Structures de création :[ Établir des comités permanents (p. ex., comité des programmes d'études, comité d'évaluation) qui se réunissent régulièrement et ont des chartes claires.
  • Modèle comportement:[ Les dirigeants devraient participer à des séances de formation, partager leurs propres résultats d'évaluation et discuter publiquement des améliorations qu'ils ont apportées à leurs cours.

Collaboration avec les professeurs et communauté

Il faut encourager la faculté à travailler en équipe pour concevoir des évaluations, partager des rubriques et discuter des résultats. Par exemple, un « cercle d'enseignants » qui enseignent le même cours d'initiation peut se réunir tous les mois pour parler des évaluations communes et des difficultés des étudiants.

De plus, les programmes peuvent créer un répertoire de ressources d'évaluation [, comme des exemples de rubriques, des exemples annotés de travaux d'étudiants et des résumés des améliorations réussies. Les nouveaux professeurs peuvent avoir accès à ces documents pendant leur séjour.

Fermeture de la boucle : des données à l'amélioration

La phrase « fermer la boucle » renvoie au cycle de collecte des données d'évaluation, de l'interprétation, des améliorations et de la réévaluation pour voir si les changements ont fonctionné. La Faculté a besoin d'exemples explicites de ce cycle. Un exemple puissant pourrait être : Un programme constate que seulement 60 % des aînés atteignent l'objectif de rendement du résultat 2 (conception). La Faculté analyse que de nombreux étudiants échouent parce qu'ils ne considèrent pas les contraintes réalistes (p. ex., économiques, environnementales). Par conséquent, le programme ajoute un module de cours sur les contraintes de conception dans le cours de préparation au capstone de niveau subalterne et révise la rubrique de conception de niveau supérieur pour en tenir compte des contraintes de poids.

Il est essentiel de documenter ces histoires de « boucle » : la faculté devrait tenir un journal ou un registre des changements effectués à partir des données d'évaluation. Même de petits changements – comme des sujets de réorganisation dans un cours ou une affectation- sont à noter. Les évaluateurs de l'ABET cherchent à prouver que le programme est un organisme d'apprentissage qui s'adapte au fil du temps.

Étapes pratiques pour commencer

Si votre programme commence à peine à préparer le corps professoral à l'évaluation de l'ETAB, voici une approche progressive :

  1. Phase 1: Accroître la sensibilisation (semestre 1) — Organiser un atelier de lancement expliquant les critères de l'ETAB et l'importance de la participation des professeurs.
  2. Phase 2 : Établir l'infrastructure (semestre 2) — Former un comité d'évaluation, créer une carte du programme (ou mettre à jour les programmes existants) et adopter un ensemble de résultats pour les étudiants au niveau du programme.
  3. Phase 3: Élaborer des outils (été)[ — Rédiger ou réviser les résultats d'apprentissage des cours en fonction des résultats du programme.
  4. Phase 4: Évaluation pilote (semestre d'automne)[ — Mettre en oeuvre les nouvelles rubriques et recueillir des données de quelques cours. Tenir une séance de normalisation. Discuter des résultats dans une réunion du comité d'évaluation.
  5. Phase 5 : Mise en oeuvre complète (semestre du printemps et au-delà) — Échelle à tous les cours. Établir des cycles de rapports réguliers. Commencer à « fermer la boucle » en apportant des changements basés sur les données.

Conclusion

La préparation des professeurs d'ingénieurs à une évaluation et à une évaluation efficaces de l'ETAB n'est pas un événement ponctuel, mais un parcours continu qui renforce l'ensemble du programme d'enseignement.Lorsque les professeurs comprennent bien les critères d'accréditation, sont dotés de connaissances en évaluation, ont des cartes claires des programmes et adoptent une documentation systématique, ils peuvent transformer l'évaluation d'un fardeau de conformité en un outil puissant pour améliorer l'apprentissage des étudiants.Les stratégies décrites dans cet article – ateliers de formation, alphabétisation en évaluation, cartographie des programmes, pratiques documentaires, diverses méthodes d'évaluation et culture d'amélioration continue – fournissent une feuille de route pour les programmes à n'importe quel stade de préparation.