Как подготовить инженерный факультет к эффективной оценке и оценке абета

Например, многие преподаватели изначально считают, что ABET требует 100% студентов для достижения проходного балла по каждому результату. В действительности, ABET ожидает, что программы определяют критерии эффективности (например, 80% студентов будут достигать 3 или выше по 4-балльной рубрике) и затем используют результаты для информирования об улучшениях. Аналогично, преподаватели часто думают, что оценка означает добавление дополнительной работы, такой как опросы выпускников или анкеты выпускников. Хотя они могут быть частью плана оценки программы, наиболее значимые доказательства исходят из прямых оценок в классе, встроенных в учебную программу. Помогая факультету рассматривать оценку как естественное расширение их оценки и работы по обратной связи имеет решающее значение для снижения сопротивления.

Стратегии подготовки факультета

Подготовка преподавателей к оценке ABET - это непрерывный процесс, требующий многогранного подхода. Ниже приведены ключевые стратегии, которые доказали свою эффективность в инженерных программах в Соединенных Штатах и на международном уровне. Каждая стратегия должна быть адаптирована к конкретной культуре, ресурсам и потребностям отдела.

1. Учебные семинары

Регулярные интерактивные семинары являются краеугольным камнем подготовки преподавателей. Вместо одной сессии «Смерть от PowerPoint» рассмотрим серию семинаров, размещённых в течение учебного года. Темы должны прогрессировать от фундаментальных знаний до передовой практики. Предлагаемые модули семинара включают:

• ABET 101: Обзор критериев, терминологии и процесса аккредитации. Включите макет обзора, где преподаватели играют роль рецензентов.
• Писать эффективные результаты обучения студентов: Практика написания измеримых результатов, согласованных с таксономией Блума. Сравните слабые и сильные примеры.
• Разработка рубрик: Пошаговое руководство по созданию аналитических и целостных рубрик для проектов, отчетов и презентаций. Включает калибровочные упражнения, где студенты с оценкой факультета работают вместе, чтобы обеспечить согласованность.
• Закрытие петли: Примеры программ, которые использовали данные оценки для внесения значимых изменений.Показать данные, решение и влияние на обучение студентов.
• Инструменты и технологии: Демонстрация систем управления оценкой (например, Taskstream, Weave или домашние инструменты) и методы визуализации данных.

Рабочие семинары должны проводиться преподавателями, имеющими опыт работы с ABET, в идеале в координации с координатором программы оценки. Приглашение внешних координаторов из других учреждений или из самого ABET может принести новые перспективы, но должно быть дополнено внутренним контекстом. Также эффективно использовать подход инструктора : определить несколько преподавателей, чтобы стать высококвалифицированными, затем наставлять своих коллег в небольших группах или один на один. Это создает внутренний потенциал и создает подотчетность коллег.

2. Оценка грамотности

Оценка грамотности выходит за рамки знания критериев; она включает в себя понимание принципов хорошего проектирования оценки и интерпретации данных. Многие инженерные факультеты имеют небольшую формальную подготовку в области образовательных измерений. Ключевые концепции для охвата включают:

• Достоверность и надежность: Действительно ли оценка измеряет предполагаемый результат? Дадут ли два разных оценщика одинаковый балл? Используйте примеры из инженерных контекстов, например, оценивая лабораторный отчет для навыков анализа.
• Прямые и косвенные меры: Прямые меры (экзамены, проекты, портфели) предоставляют доказательства фактического обучения; косвенные меры (опросы, самоотчеты) обеспечивают восприятие.
• Выборка и агрегация: Не каждое задание должно оцениваться для каждого результата. Программы могут использовать целенаправленную выборку для снижения рабочей нагрузки при получении репрезентативных данных. Факультет должен понимать, как данные из нескольких разделов и курсов могут быть объединены.
• Критерии эффективности и бенчмарки: Установление реалистичных целей для достижения студентов. Например, «80% студентов достигнут 3 балла или выше по 4-балльной рубрике для результата 5».

Один из эффективных способов построения грамотности оценки - это сессия рубрикальной нормировки. Факультет собирается, чтобы забить выборочный набор студенческих работ с использованием общей рубрики. Они обсуждают расхождения и калибруют свои оценки. Это не только повышает надежность между ратерами, но и углубляет их понимание того, как выглядит «приемлемая» производительность. Такие сессии могут повторяться в начале каждого семестра для ключевых оценок, таких как старшие проектные проекты или отчеты Capstone.

3. Картографирование учебных программ

Картографирование учебных программ - это визуальное или табличное представление того, как курсы и требования к программе способствуют результатам студентов. Это мощный инструмент для преподавателей, чтобы увидеть общую картину и их роль в ней. Хорошо построенная карта помогает ответить на такие вопросы, как:

• Какие результаты сильно покрыты, какие скрыты или отсутствуют?
• Есть ли логическая прогрессия от вводного к продвинутому обучению?
• Где лучше всего собирать данные об оценке для каждого результата?

Факультет должен участвовать в создании и обновлении карты учебной программы. Типичный процесс включает в себя отступление или серию встреч, где каждый преподаватель определяет результаты, адресованные в их курсах, и указывает уровень обучения (введенный, усиленный или освоенный). Это совместное отображение часто выявляет удивительные пробелы или увольнения. Например, программа может обнаружить, что командная работа (Результат 5) преподается только в одном факультативном курсе или что результат оценивается неофициально без рубрики. Как только пробелы определены, факультет может предложить изменения: добавление группового проекта в основной курс, пересмотр задания для явного решения командной работы или разработка общей рубрики для результатов команды.

Картирование учебных программ также поддерживает артикуляцию результатов обучения по курсу к результатам программы. Когда преподаватели пишут учебные цели курса, они могут явно указать, какие результаты программы рассматриваются и как они будут оцениваться. Это выравнивание является ключевым элементом доказательств ABET и помогает студентам понять актуальность их курсовой работы.

4. Документационная практика

Аккредитация ABET в значительной степени зависит от документально подтвержденных доказательств того, что программа делает и как она постоянно улучшается. Факультет нуждается в обучении по ожиданиям документации и передовой практике. Это включает в себя:

• Файлы курсов: Ведение папки для каждого курса, содержащего учебный план, образец студенческой работы (анонимизированный), используемые рубрики, а также резюме результатов оценки и внесенных изменений.
• Отчеты об оценке: Стандартный шаблон для преподавателей, чтобы сообщать данные оценки для конкретного результата, включая выводы, интерпретацию и запланированные улучшения.
• Минуты встречи: Документирование обсуждений данных об оценке и принятых решениях. Например, минуты с заседания комитета по учебной программе, на котором было принято решение пересмотреть предпосылку из-за низкой производительности в последующем курсе.
• Контроль над вехами: Ведение отслеживания того, как задания, рубрики и силлаби развиваются с течением времени в ответ на результаты оценки. Это демонстрирует цикл «замыкания петли».

Чтобы сделать документацию менее обременительной, отделы могут создавать цифровые шаблоны и репозитории. Структура папок системы управления общим диском или обучением может стандартизировать, где хранятся документы. Факультету должны быть показаны примеры хорошо организованных файлов курса от коллег. Также помогает назначить точечного человека (координатора оценки или поддержки персонала), который может отвечать на вопросы и периодически просматривать файлы для полноты перед самостоятельным изучением или посещением сайта.

Важно подчеркнуть, что документация предназначена не только для аккредитации, но и для собственного профессионального развития факультета и для улучшения преподавания.Когда преподаватели видят, что документирование их оценочной работы приводит к меньшему количеству сюрпризов во время обзоров и предоставляет доказательства для поощрения и присуждения наград за преподавание, они с большей вероятностью инвестируют в практику.

Реализация эффективных методов оценки

С подготовленным факультетом следующим шагом является внедрение методов оценки, которые дают достоверные, надежные данные без подавляющих инструкторов. Мантра должна быть «встроена, не добавляйте». По возможности используйте существующие задания курса, экзамены и проекты в качестве средств оценки. Это требует тщательного проектирования заранее.

Разнообразные типы оценки

Один метод редко фиксирует все измерения результата. Программы должны использовать сочетание:

• Экзамены и квизы: Хороши для тестирования знаний и аналитических навыков, но менее эффективны для командной работы или общения. Используйте для бенчмаркинга концептуальные кадастры (например, Force Concept Inventory for Physics).
• Проекты: Идеально подходит для оценки нескольких результатов одновременно (решение проблем, дизайн, командная работа, коммуникация).
• Отчеты по лаборатории: Оценка экспериментов, анализ данных и письменное сообщение. Убедитесь, что рубрики явно адрес каждого результата.
• Портфолио: портфолио Capstone собирает доказательства на нескольких курсах. Они ценны для демонстрации роста и оценки результатов на уровне программ, таких как дизайн или обучение на протяжении всей жизни.
• Презентации и рецензии: Полезно для устной коммуникации и результатов командной работы. Инструменты оценки сверстников (например, CATME) предоставляют данные об отдельных взносах в команды.

Сбор и анализ данных

Факультет должен решить, как эффективно собирать и агрегировать данные. Отбор проб часто необходим, когда размеры классов велики. Например, программа может собирать данные из старшего курса проектирования каждый семестр, но только из основного курса один раз в год. Другой подход заключается в том, чтобы установить «общую оценку» во всех разделах курса по нескольким разделам. Например, все разделы инженерной механики могут управлять той же проблемой окончательного экзамена, которая оценивает конкретный результат. Факультет может затем объединить данные, чтобы получить картину на уровне программы.

Анализ данных должен быть простым: вычислить проценты или распределения рубрик оценки, сравнить с целевым показателем производительности, и определить области слабости. Факультет нуждается в руководстве по интерпретации данных осмысленно. Например, если 75% студентов достигли цели, но программа ожидала 80%, что это означает? Пробел из-за недостатка в обучении, чрезмерно сложной оценки или когортной проблемы? Факультет должен быть обучен задавать эти вопросы и триангулировать выводы с другими доказательствами (например, отзывы работодателей, опросы выпускников, распределения классов).

Использование технологии