Wie man Ingenieurfakultät für effektive Abet-Bewertung und -Bewertung vorbereitet

Es ist auch wichtig, häufige Missverständnisse zu klären. Zum Beispiel glauben viele Dozenten zunächst, dass ABET von 100 % der Schüler verlangt, bei jedem Ergebnis eine Punktzahl zu erzielen. In Wirklichkeit erwartet ABET, dass Programme Leistungskriterien definieren (z. B. 80% der Schüler werden eine Punktzahl von 3 oder höher in einer 4-Punkt-Rubrik erreichen) und dann die Ergebnisse verwenden, um Verbesserungen zu ermöglichen. In ähnlicher Weise denken die Dozenten oft, dass Bewertung zusätzliche Arbeit wie Exit-Umfragen oder Alumni-Fragebögen bedeutet. Während diese Teil des Bewertungsplans eines Programms sein können, stammen die aussagekräftigsten Beweise aus direkten Klassenbewertungen, die in den Lehrplan eingebettet sind.

Strategien für die Fakultät Vorbereitung

Die Vorbereitung der Fakultät auf die ABET-Bewertung ist ein fortlaufender Prozess, der einen vielschichtigen Ansatz erfordert. Im Folgenden sind die wichtigsten Strategien aufgeführt, die sich in Ingenieurprogrammen in den Vereinigten Staaten und international bewährt haben. Jede Strategie sollte auf die spezifische Kultur, Ressourcen und Bedürfnisse der Abteilung zugeschnitten sein.

1. Schulungsworkshops

Regelmäßige, interaktive Workshops sind der Eckpfeiler der Fakultätsvorbereitung. Statt einer einzelnen "Death by PowerPoint"-Sitzung sollten Sie eine Reihe von Workshops in Betracht ziehen, die während des gesamten akademischen Jahres stattfinden. Themen sollten sich vom grundlegenden Wissen bis zur fortgeschrittenen Praxis entwickeln.

• ABET 101: Überblick über Kriterien, Terminologie und Akkreditierungsprozess.
• Effektives Lernen von Schülern schreiben: Übe das Schreiben messbarer Ergebnisse, die mit Blooms Taxonomie übereinstimmen.
• Rubriken entwerfen: Schritt-für-Schritt Anleitung zum Erstellen von analytischen und ganzheitlichen Rubriken für Projekte, Berichte und Präsentationen.
• Schließen der Schleife: Fallstudien von Programmen, die Bewertungsdaten verwendet haben, um sinnvolle Änderungen vorzunehmen. Zeigen Sie die Daten, die Entscheidung und die Auswirkungen auf das Lernen der Schüler.
• Tools und Technologie: Demonstration von Assessment Management Systemen (z.B. Taskstream, Weave oder Homegrown Tools) und Datenvisualisierungstechniken.

Workshops sollten von Meistern der Fakultät geleitet werden, die Erfahrung mit ABET haben, idealerweise in Abstimmung mit dem Bewertungskoordinator des Programms. Externe Moderatoren von anderen Institutionen oder von ABET selbst können neue Perspektiven bringen, sollten aber durch einen internen Kontext ergänzt werden. Es ist auch effektiv, einen train-the-trainer Ansatz zu verfolgen: einige wenige Fakultäten zu identifizieren, um hochqualifiziert zu werden, dann haben sie ihre Kollegen in kleineren Gruppen oder Einzelsitzungen zu betreuen. Dies baut interne Kapazitäten auf und schafft Peer-Rechenschaftspflicht.

2. Beurteilung der Kompetenz

Beurteilungskompetenz geht über die Kenntnis der Kriterien hinaus; sie beinhaltet das Verständnis der Prinzipien eines guten Bewertungsdesigns und der Dateninterpretation. Viele Ingenieurfakultäten haben wenig formale Ausbildung in pädagogischer Messung.

• Gültigkeit und Zuverlässigkeit: Messt die Bewertung tatsächlich das beabsichtigte Ergebnis? Würden zwei verschiedene Bewerter die gleiche Punktzahl liefern? Verwenden Sie Beispiele aus technischen Kontexten, z. B. die Einstufung eines Laborberichts für Analysefähigkeiten.
• Direkte vs. Indirekte Maßnahmen: Direkte Maßnahmen (Prüfungen, Projekte, Portfolios) liefern den Nachweis des tatsächlichen Lernens; indirekte Maßnahmen (Umfragen, Selbstberichte) liefern Wahrnehmungen.
• Sampling und Aggregation: Nicht jede Aufgabe muss für jedes Ergebnis bewertet werden. Programme können eine zielgerichtete Probenahme verwenden, um die Arbeitsbelastung zu reduzieren und gleichzeitig repräsentative Daten zu erhalten.
• Leistungskriterien und Benchmarks: Setzen realistischer Ziele für die Schülerleistung.

Eine effektive Möglichkeit, Assessment-Kenntnisse aufzubauen, ist eine rubric Norming Session. Fakultäten treffen sich, um eine Stichprobe von Studentenarbeiten mit einer gemeinsamen Rubrik zu bewerten. Sie diskutieren Diskrepanzen und kalibrieren ihre Bewertung. Dies verbessert nicht nur die Zuverlässigkeit zwischen den Ratern, sondern vertieft auch ihr Verständnis davon, wie "akzeptable" Leistung aussieht. Solche Sitzungen können zu Beginn jedes Semesters für wichtige Bewertungen wie Senior Design-Projekte oder Schlusssteinberichte wiederholt werden.

3. Curriculum Mapping

Die Lehrplan-Mapping ist eine visuelle oder tabellarische Darstellung, wie Kurse und Programmanforderungen zu den Ergebnissen der Schüler beitragen. Es ist ein mächtiges Werkzeug für die Fakultät, um das große Ganze und ihre Rolle darin zu sehen. Eine gut konstruierte Karte hilft bei der Beantwortung von Fragen wie:

• Welche Ergebnisse sind stark abgedeckt? Welche sind nicht ausreichend abgedeckt oder fehlen?
• Gibt es eine logische Weiterentwicklung vom Einführungs- zum fortgeschrittenen Lernen?
• Wo sind die besten Orte, um Bewertungsdaten für jedes Ergebnis zu sammeln?

Die Fakultät sollte in die Erstellung und Aktualisierung der Lehrplankarte einbezogen werden. Ein typischer Prozess beinhaltet ein Retreat oder eine Reihe von Meetings, bei denen jedes Fakultätsmitglied die in seinen Kursen angesprochenen Ergebnisse identifiziert und den Lernstand anzeigt (eingeführt, verstärkt oder gemeistert). Diese kollaborative Kartierung zeigt oft überraschende Lücken oder Redundanzen. Zum Beispiel könnte ein Programm entdecken, dass Teamarbeit (Ergebnis 5) nur in einem Wahlfachkurs gelehrt wird oder dass das Ergebnis informell ohne Rubrik bewertet wird. Sobald Lücken identifiziert sind, kann die Fakultät Änderungen vorschlagen: Hinzufügen eines Gruppenprojekts in einem Kernkurs, Überarbeitung einer Aufgabe, um Teamarbeit explizit anzugehen, oder Entwicklung einer gemeinsamen Rubrik für Teamleistungen.

Curriculum Mapping unterstützt auch Artikulation der Lernergebnisse zu den Lernergebnissen. Wenn Fakultät Kurs-Syllabi-Lernziele schreiben, können sie explizit angeben, welche Programmergebnisse angesprochen werden und wie sie bewertet werden. Diese Ausrichtung ist ein Schlüsselelement von ABET-Evidenz und hilft den Schülern, die Relevanz ihrer Kursarbeit zu verstehen.

4. Dokumentationspraxis

Die ABET-Akkreditierung stützt sich in hohem Maße auf dokumentierte Nachweise darüber, was das Programm leistet und wie es sich kontinuierlich verbessert. Fakultät benötigt Schulungen zu Dokumentationserwartungen und bewährten Praktiken. Dazu gehören:

• Kursdateien: Pflegen Sie einen Ordner für jeden Kurs mit Lehrplan, Beispielstudienarbeit (anonymisiert), verwendeten Rubriken und einer Zusammenfassung der Bewertungsergebnisse und vorgenommenen Änderungen.
• Assessment Reports: Eine Standardvorlage für Fakultäten, um Bewertungsdaten für ein bestimmtes Ergebnis zu melden, einschließlich Befunden, Interpretation und geplanten Verbesserungen.
• Meeting Minutes: Dokumentation von Diskussionen über Bewertungsdaten und getroffene Entscheidungen, z. B. Protokolle aus einer Sitzung des Lehrplankomitees, in der beschlossen wurde, eine Voraussetzung wegen geringer Leistung in einem späteren Kurs zu überarbeiten.
• Versionskontrolle: Nachverfolgen, wie sich Zuordnungen, Rubriken und Silben im Laufe der Zeit als Reaktion auf Bewertungsergebnisse entwickeln.

Um die Dokumentation weniger belastend zu gestalten, können Abteilungen digitale Vorlagen und Repositories erstellen. Eine Ordnerstruktur für gemeinsame Laufwerke oder Lernmanagementsysteme kann standardisieren, wo Dokumente gespeichert sind. Der Fakultät sollten Beispiele für gut organisierte Kursdateien von Kollegen gezeigt werden. Es hilft auch, eine Punktperson (Bewertungskoordinator oder Mitarbeiterunterstützung) zu benennen, die Fragen beantworten und Dateien regelmäßig auf Vollständigkeit überprüfen kann, bevor Sie ein Selbststudium oder einen Besuch vor Ort machen.

Es ist wichtig zu betonen, dass Dokumentation nicht nur für die Akkreditierung, sondern auch für die eigene berufliche Entwicklung der Fakultät und für die Verbesserung der Lehre ist. Wenn die Fakultät sieht, dass die Dokumentation ihrer Bewertungsarbeit zu weniger Überraschungen während der Bewertungen führt und Beweise für Beförderungen und Lehrpreise liefert, sind sie eher in die Praxis zu investieren.

Durchführung wirksamer Bewertungsmethoden

Mit einer vorbereiteten Fakultät ist der nächste Schritt die Implementierung von Bewertungsmethoden, die gültige, zuverlässige Daten liefern, ohne die Lehrer zu überfordern. Das Mantra sollte "einbetten, nicht hinzufügen." Wo immer möglich, bestehende Kurszuweisungen, Prüfungen und Projekte als Bewertungsinstrumente verwenden. Dies erfordert sorgfältiges Design im Voraus.

Diverse Bewertungstypen

Eine einzige Methode erfasst selten alle Dimensionen eines Ergebnisses.

• Prüfungen und Quiz: Gut für das Testen von Wissen und analytischen Fähigkeiten, aber weniger effektiv für Teamarbeit oder Kommunikation.
• Design-Projekte: Ideal für die gleichzeitige Bewertung mehrerer Ergebnisse (Problemlösung, Design, Teamarbeit, Kommunikation).
• Lab Reports: Bewerten Sie Experimente, Datenanalysen und schriftliche Kommunikation. Stellen Sie sicher, dass die Rubriken jedes Ergebnis explizit ansprechen.
• Portfolios: Capstone-Portfolios sammeln Evidenz in mehreren Kursen. Sie sind wertvoll für die Demonstration von Wachstum und für die Bewertung von Ergebnissen auf Programmebene wie Design oder lebenslanges Lernen.
• Präsentationen und Peer Reviews: Nützlich für die mündliche Kommunikation und Teamarbeit Ergebnisse. Peer-Evaluierungsinstrumente (z. B. CATME) liefern Daten über einzelne Beiträge an Teams.

Datenerhebung und -analyse

Die Fakultät muss entscheiden, wie Daten effizient gesammelt und aggregiert werden. Probenahmen sind oft notwendig, wenn die Klassengrößen groß sind. Beispielsweise kann ein Programm Daten aus dem Senior-Design-Kurs jedes Semester sammeln, aber nur einmal im Jahr. Ein anderer Ansatz besteht darin, eine "gemeinsame Bewertung" für alle Abschnitte eines mehrstufigen Kurses zu erstellen. Zum Beispiel können alle Abschnitte des Ingenieursmechanikers dasselbe Abschlussprüfungsproblem verwalten, das ein bestimmtes Ergebnis bewertet.

Die Datenanalyse sollte einfach sein: Prozentsätze oder Verteilungen von Rubrikenwerten berechnen, mit dem Leistungsziel vergleichen und Schwachstellen identifizieren. Fakultät braucht Anleitung zur sinnvollen Interpretation von Daten. Zum Beispiel, wenn 75% der Studenten das Ziel erreicht haben, das Programm jedoch 80% erwartet hat, was bedeutet das? Ist die Lücke auf einen Fehler im Unterricht, eine übermäßig schwierige Bewertung oder ein Kohortenproblem zurückzuführen? Fakultät sollte geschult werden, diese Fragen zu stellen und Ergebnisse mit anderen Beweisen zu triangulieren (z. B. Feedback von Arbeitgebern, Alumni-Umfragen, Notenverteilungen).

Einsatz von Technologie

Technologie kann Bewertungsprozesse rationalisieren und die Arbeitsbelastung der Fakultät reduzieren. Tools wie Learning Management Systems (LMS) mit Ergebnisverfolgung (z. B. Canvas Outcomes, Blackboard Goals) ermöglichen es der Fakultät, Zuweisungen zu Ergebnissen zu markieren und automatisch Ergebnisse zu aggregieren. Andere dedizierte Bewertungsmanagementplattformen wie Taskstream, Weave oder Nuventive bieten Dashboards für die Analyse auf Programmebene. Technologie ist jedoch nur nützlich, wenn die Fakultät für die konsistente Verwendung geschult ist. Einfache Excel-Tabellen können genauso gut für kleine Programme funktionieren. Der Schlüssel ist, Tools auszuwählen, die der Reife und dem Komfort des Programms entsprechen.

Förderung einer Kultur der kontinuierlichen Verbesserung

Das ultimative Ziel der ABET-Bewertung ist nicht die Erstellung von Berichten, sondern die Förderung kontinuierlicher Verbesserungen. Dies erfordert einen kulturellen Wandel von der Betrachtung von Bewertung als Add-on zu der Betrachtung als integraler Bestandteil des Lehrens und Lernens. Die Pflege dieser Kultur liegt in der Verantwortung der Abteilungsleitung, aber jedes Fakultätsmitglied spielt eine Rolle.

Rolle von Führung und Unterstützung

Abteilungsleiter, Programmkoordinatoren und Dekane müssen Engagement durch Taten zeigen, nicht nur durch Worte. Dazu gehören:

• Ressourcen zuweisen: Geben Sie Veröffentlichungszeit für Assessment-Koordinatoren oder ein Fakultäts-Assessment-Komitee an.
• Incentives: Anerkennen von Bewertungsarbeiten in jährlichen Bewertungen, Verdienstvergütung und Beförderungskriterien.
• Strukturen schaffen: Ständige Ausschüsse (z. B. Curriculum Committee, Assessment Committee) einrichten, die regelmäßig zusammenkommen und klare Chartas haben.
• Modellierungsverhalten: Führungskräfte sollten an Schulungen teilnehmen, ihre eigenen Bewertungsergebnisse teilen und öffentlich über Verbesserungen diskutieren, die sie in ihren Kursen gemacht haben.

Fakultät Zusammenarbeit und Gemeinschaft

Die Bewertung ist am effektivsten, wenn sie zu einer gemeinschaftlichen Aktivität und nicht zu einer individuellen Belastung wird. Die Fakultät sollte ermutigt werden, in Teams zu arbeiten, um Bewertungen zu entwerfen, Rubriken auszutauschen und Ergebnisse zu diskutieren. Zum Beispiel kann ein "Lehrkreis" von Lehrern, die denselben Einführungskurs unterrichten, monatlich zusammenkommen, um über gemeinsame Bewertungen und Schwierigkeiten der Schüler zu sprechen. Solche Gemeinschaften reduzieren die Isolation und erzeugen kollektives Eigentum am Erfolg der Schüler.

Darüber hinaus können Programme ein -Repository von Bewertungsressourcen erstellen, wie Beispiel-Rubriken, kommentierte Studienbeispiele und Zusammenfassungen erfolgreicher Verbesserungen. Neue Fakultäten können während des Onboardings auf diese Materialien zugreifen. Wenn die Fakultät Beispiele dafür sieht, wie ihre Kollegen das Lernen von Schülern basierend auf Bewertungsdaten verbessern, sind sie eher bereit, sich selbst zu engagieren.

Schließen der Schleife: Von Daten zur Verbesserung

Der Ausdruck "Schließen der Schleife" bezieht sich auf den Zyklus des Sammelns von Bewertungsnachweisen, Interpretierens, Vornehmens von Verbesserungen und dann Neubewertung, um zu sehen, ob Änderungen funktioniert haben. Fakultät braucht explizite Beispiele für diesen Zyklus. Ein starkes Beispiel könnte sein: Ein Programm findet heraus, dass nur 60% der Senioren das Leistungsziel von Ergebnis 2 (Design) erreichen. Fakultät analysiert, dass viele Studenten scheitern, weil sie keine realistischen Einschränkungen (z. B. wirtschaftliche, ökologische) berücksichtigen. Infolgedessen fügt das Programm ein Vorlesungsmodul zu Designbeschränkungen in der Junior-Level-Kennsteinvorbereitung hinzu und überarbeitet die Rubrik Senior Design stärker auf Gewichtsbeschränkungen. Im nächsten Bewertungszyklus verbessert sich die Leistung auf 80%. Diese Geschichte ist ein überzeugender Beweis für einen Besuch vor Ort und zeigt, dass Fakultät nicht nur Daten sammelt, sondern sie verwendet.

Die Dokumentation dieser "Closing the Loop"-Geschichten ist wichtig. Die Fakultät sollte ein Tagebuch führen oder Aufzeichnungen über Änderungen führen, die auf der Grundlage von Bewertungsdaten vorgenommen wurden. Selbst kleine Änderungen - wie das Neuordnen von Themen in einem Kurs oder das Bereitstellen einer Musterzuordnung - sind erwähnenswert. ABET-Rezensenten suchen nach Beweisen, dass das Programm eine Lernorganisation ist, die sich im Laufe der Zeit anpasst.