Как использовать обучающую аналитику для поддержки сбора доказательств аккредитации

Пересечение учебной аналитики и аккредитации ABET

Аккредитация ABET служит отличительной чертой качества инженерных и вычислительных программ во всем мире, подтверждая, что выпускники соответствуют строгим профессиональным стандартам. Процесс требует исчерпывающих доказательств того, что студенты достигают определенных результатов программы - от технического решения проблем до этических рассуждений и совместной работы. Традиционный сбор данных аккредитации часто опирается на ручные процессы, разрозненные артефакты оценки и оценки конечного курса, которые могут быть трудоемкими и склонными к пробелам.

Аналитика обучения предлагает преобразующую альтернативу. Систематическое измерение, сбор и анализ данных об учащихся и их контекстах обучения позволяет учреждениям создавать действенные, основанные на данных доказательства, которые непосредственно поддерживают систему оценки на основе результатов ABET. Этот подход не только упрощает процесс сбора доказательств аккредитации, но и позволяет постоянно совершенствовать учебные программы, обучение и поддержку студентов.

Эта статья предоставляет практическое, глубокое руководство по использованию аналитики обучения для аккредитации ABET - охватывая основные точки данных, стратегии внедрения, преимущества и общие подводные камни. Независимо от того, являетесь ли вы руководителем инженерного отдела, координатором аккредитации или преподавателем, вы найдете практические идеи для укрепления аккредитационной позиции вашей программы.

Определение аналитики обучения в контексте аккредитора

Аналитика обучения - это измерение, сбор, анализ и отчетность данных об учащихся и их средах с целью понимания и оптимизации обучения и настроек, в которых оно происходит. В контексте ABET это означает преобразование необработанных данных учащихся в значимые доказательства, которые демонстрируют, насколько хорошо студенты достигают результатов программы (SOs) и результатов студентов (SOs), определенных критериями аккредитации ABET .

Критерии ABET для аккредитации инженерных программ (2023–2024) требуют, чтобы программы имели «процесс оценки и оценки, который периодически документирует и демонстрирует степень, в которой достигаются результаты обучения». Аналитика обучения обеспечивает инфраструктуру для автоматизации большей части этой документации, переходя от спорадических, анекдотических доказательств к непрерывному, систематическому сбору доказательств.

В отличие от простой отчетности о классах, аналитика обучения объединяет несколько источников данных - рубрики оценки, деятельность системы управления обучением (LMS), ответы на опросы, представления электронных портфолио и даже участие в совместной учебной программе - чтобы нарисовать целостную картину достижений учащихся. При согласовании с результатами ABET эти данные могут использоваться для создания панелей мониторинга, отчетов и визуализаций, которые оценщики аккредитации считают убедительными и прозрачными.

Ключом к этому выравниванию является сопоставление каждой задачи оценки с конкретными результатами учащихся. Например, окончательный проект в рамках основного курса проектирования может быть непосредственно связан с результатом (c): «способность проектировать систему, компонент или процесс для удовлетворения желаемых потребностей». Инструменты аналитики обучения могут собирать баллы по рубрикам, тексты отражения учащихся и оценки сверстников из этого проекта, агрегируя их в портфолио результатов, которое демонстрирует достижение в течение нескольких семестров.

Основные точки данных для сбора доказательств ABET

Эффективное использование обучающей аналитики для аккредитации начинается с выявления точек данных, которые предоставляют наиболее значимые доказательства. Следующие категории охватывают основные данные, которые программы должны систематически собирать и анализировать.

Прямые данные оценки

Прямые оценки оценивают успеваемость учащихся по конкретным результатам.

Косвенные данные оценки

Косвенные меры отражают восприятие и самооценку, которые дополняют прямые доказательства:

Вовлеченность и поведенческие данные

Хотя это не является прямым доказательством достижения результатов, показатели вовлеченности могут сигнализировать о областях, где студенты могут испытывать трудности, что позволяет проводить упреждающее вмешательство.

Демографические и контекстуальные данные

Для обеспечения справедливого достижения результатов программы должны также собирать и анализировать данные, дезагрегированные по признакам учащихся, таким как пол, недопредставленный статус меньшинства, посещаемость колледжа первого поколения и социально-экономическое положение. Это поддерживает акцент ABET на инклюзивное превосходство и позволяет программам выявлять пробелы в достижениях среди студенческого населения.

Создание инфраструктуры для обучения аналитике для аккредитации

Внедрение системы обучающей аналитики для ABET требует тщательного планирования, выбора технологий и участия заинтересованных сторон. Следующие шаги определяют практическую дорожную карту.

Шаг 1: Результаты картографирования в точки оценки

Начните с создания матрицы, которая связывает каждый результат обучения ABET с конкретными курсами, заданиями и рубриками. Для каждого результата определите по крайней мере от двух до трех прямых точек оценки, распределенных по учебной программе. Это отображение является основой для всех последующих сборов и анализа данных. Используйте централизованное хранилище, такое как электронная таблица или инструмент отображения учебной программы, интегрированный с вашей LMS, для поддержания и версии отображения.

Шаг 2: Выберите инструменты сбора данных и аналитики

Многие учреждения начинают с существующей системы управления обучением (например, Canvas, Blackboard, Moodle) и дополняют ее специализированными платформами. Рассмотрим следующие категории:

Шаг 3: Установить политику управления данными и конфиденциальности

Аналитика обучения включает обработку конфиденциальных данных студентов.Учреждения должны разработать четкую политику, которая направлена на:

Шаг 4: панели инструментов аналитики дизайна для заинтересованных сторон

Панели управления должны обслуживать разные аудитории с различными уровнями детализации:

Шаг 5: Интеграция аналитики в циклы непрерывного улучшения

Аккредитация ABET не является одноразовым мероприятием; она требует постоянной оценки и улучшения. Анализ обучения должен входить в формальный процесс непрерывного улучшения (часто называемый «циклом оценки»). Каждый семестр или год, анализ данных о достижении результатов, выявление пробелов и внедрение изменений, таких как пересмотр заданий, обновление рубрик, изменение предпосылок или предложение целевого обучения. Документируйте каждое изменение и его обоснование, поскольку это доказательство замкнутого цикла высоко ценится оценщиками ABET.

Практические преимущества процесса аккредитации с помощью обучающей аналитики

Учреждения, которые инвестируют в обучение аналитике для ABET, сообщают о нескольких значительных преимуществах, помимо простого удовлетворения требований аккредитации.

Принятие решений на основе данных

Вместо того, чтобы полагаться на мнения или анекдотические отзывы, кафедры могут основывать решения учебной программы на объективных доказательствах. Например, если аналитика покажет, что только 60% студентов отвечают результатам для «этического мышления» в старшем дизайне, факультет может ввести новый модуль этики в учебную программу младшего уровня и отслеживать улучшение в течение следующего года.

Ранняя идентификация студентов из группы риска

Панели взаимодействия и производительности позволяют консультантам и преподавателям выявлять студентов, которые отстают от достижения результатов в начале семестра. Вмешательства, такие как репетиторство, наставничество или учебные группы, могут быть развернуты до окончательных оценок, улучшая успех студентов и уменьшая число студентов, которые не достигают результатов.

Упорядоченная подготовка к аккредитации

С хорошо разработанной системой аналитики доказательства, необходимые для отчета об аккредитации, уже организованы и обновлены. Вместо того, чтобы скремблировать для сбора артефактов и сбора данных за месяцы до посещения, команды могут мгновенно генерировать отчеты. Это снижает стресс, экономит время и оставляет больше места для анализа и рассказывания историй.

Улучшенная программная бенчмаркинг

Со временем накопительные аналитические данные позволяют департаментам сравнивать результаты по различным разделам курса, семестрам или даже одноранговым учреждениям (если соглашения об обмене данными существуют). Этот бенчмаркинг может выделить лучшие практики и области для улучшения.

Демонстрация культуры качества

Оценки ABET все больше ценят доказательства того, что программа участвует в систематическом, основанном на фактических данных обеспечении качества. Надежная программа аналитики обучения сигнализирует оценщикам, что учреждение серьезно относится к аккредитации и стремится к постоянному улучшению, основанному на данных.

Проблемы и соображения при внедрении учебной аналитики

Несмотря на преимущества, учреждения сталкиваются с несколькими препятствиями при развертывании аналитики для аккредитации. Осознание этих проблем может помочь вам эффективно планировать.

Силосы данных и интеграционная сложность

Данные учащихся часто живут в отдельных системах — LMS, студенческой информационной системе (SIS), платформе электронного портфеля и сторонних инструментах оценки. Интеграция этих источников в согласованный аналитический конвейер может быть технически сложной. Использование гибкой платформы данных, такой как Directus или специализированный хранилище данных об образовании, может помочь объединить разрозненные источники, но это требует инвестиций в разработку API и картирование данных.

Факультет Buy-In и обучение

Факультет может сопротивляться изменениям в своей практике оценки, особенно если они воспринимают аналитику как наблюдение или дополнительную административную нагрузку. Преодоление этого требует четкого информирования о том, как аналитика будет поддерживать преподавание (не оценивать его), а также профессионального развития по созданию ориентированных на результат рубрик и использованию инструментов панели инструментов. Вовлечение преподавателей в проектирование аналитической системы способствует собственности и принятию.

Качество рубрики и последовательность

Аналитика обучения так же хороша, как и данные, которые она потребляет. Если рубрики плохо спроектированы, не согласованы с результатами или применяются непоследовательно преподавателями, полученные доказательства будут ненадежными. Инвестируйте в сессии нормирования, где преподаватели калибруют использование рубрики, и рассмотрите возможность использования автоматизированного подсчета баллов для четко определенных критериев для повышения согласованности.

Потрясающий объем данных

Без продуманного дизайна аналитические панели могут представить так много показателей, что лица, принимающие решения, страдают от информационной перегрузки. Сосредоточьтесь на небольшом наборе ключевых показателей эффективности (KPI), которые напрямую связаны с каждым результатом студента, и предоставьте варианты более глубокого анализа, когда это необходимо. Используйте принципы проектирования из рассказывания данных, чтобы выделить наиболее важные результаты.

Поддержание импульса

Циклы аккредитации длинные (обычно шесть лет). Для аналитических инициатив характерно терять темп после успешного самостоятельного изучения. Чтобы поддерживать импульс, встраивайте аналитику в регулярное академическое управление - например, заседания департаментов, обзоры комитетов по учебной программе и ежегодные отчеты по программам. Назначайте специального координатора аналитики или комитет, чтобы гарантировать, что система остается активной и развивается с изменением критериев.

Примеры из реального мира и тематические исследования

Несколько учреждений успешно интегрировали аналитические данные обучения в свои процессы аккредитации ABET. Хотя конкретные детали различаются, появляются общие темы.

В крупной государственной инженерной школе на Среднем Западе, старший курс дизайна Capstone был переработан, чтобы включить цифровую систему представления, которая автоматически помечает результаты проекта к результатам ABET (а) через (k). Рубрика баллы от преподавателей и отраслевых наставников были подан в кастомной панели приборов, построенных на безголовой CMS, подобной Directus. В течение четырех лет программа продемонстрировала устойчивое улучшение в достижении результатов, которые были задокументированы в их аккредитации самостоятельного изучения и похвалил оценщики.

Небольшой частный инженерный колледж использовал платформу для электронного портфеля и инструмент аналитики обучения для сбора артефактов со всех необходимых курсов. Они автоматизировали генерацию «отчетов о результатах», которые показывали проценты студентов, отвечающих каждому результату, разбитые по годам, курсу и демографической группе. Система также помечалась, когда результаты оценки курса были статистически ниже, чем в среднем по отделу, что побудило к пересмотру учебной программы. Во время посещения сайта ABET команда смогла поднять живые панели приборов для оценщиков, значительно сократив время, затрачиваемое на ответы на вопросы о доказательствах.

Другой примечательный пример взят из университета, который использовал обучающую аналитику для решения конкретной слабости, выявленной в предыдущем цикле аккредитации: результат (d) студента - «способность функционировать в многопрофильных командах». Анализируя данные о сотрудничестве с дискуссионных форумов LMS и оценок оценки сверстников, программа определила, что многие студенты не участвовали одинаково в командных проектах. Они реализовали командный учебный модуль и реструктурировали задания проекта, и следующий раунд аналитики показал заметное улучшение. Эта прямая связь между данными, действиями и улучшенными результатами сформировала мощный нарратив в их промежуточном отчете.

Будущие тенденции: обучение аналитике и аккредитации

Пейзаж обучения аналитике и аккредитации развивается. Руководители программ должны следить за этими новыми событиями.

Обучение на основе компетенций и микрокредитов

По мере того, как все больше инженерных программ внедряют обучение на основе компетенций (CBE) и предлагают цифровые значки или микрокриденции, аналитика обучения станет еще более детализированной. Вместо отслеживания достижения результатов на уровне курса системы будут отслеживать индивидуальное мастерство в области компетенций по всей учебной программе. ABET уже начал изучать критерии нетрадиционных путей образования, и аналитика будет иметь важное значение для предоставления доказательств в этих моделях.

Искусственный интеллект и прогнозная аналитика

Модели машинного обучения могут предсказывать, какие студенты рискуют не достичь конкретных результатов задолго до окончания курса. Эти прогнозные аналитики в сочетании с рекомендациями по автоматизированному вмешательству станут более распространенными. Однако программы должны использовать такие инструменты этически, избегая предвзятости и обеспечивая, чтобы прогнозы использовались для поддержки, а не наказания студентов.

Реальные панели аккредитации

Следующее поколение программного обеспечения для аккредитации, вероятно, предложит интерактивные панели мониторинга, которые оценщики могут исследовать во время посещений сайта. Это заменит статические отчеты PDF с динамическими визуализациями данных, поддерживая более углубленное исследование и уменьшая бремя подготовки документов перед посещением.

Стандарты функциональной совместимости

Такие инициативы, как стандарт IMS Global Learning ConsortiumCaliper Analytics и спецификация OneRoster, облегчают обмен данными между образовательными инструментами.По мере созревания этих стандартов интеграция аналитики обучения на разных платформах станет проще, уменьшая технический барьер для небольших учреждений.

Начало работы: практический план действий

Если ваша программа находится в начале этого путешествия, рассмотрите следующие краткосрочные шаги:

  1. Аудит текущей практики оценки: Определите, какие курсы уже имеют ориентированные на результат задания и рубрики. Определите, какие данные уже собираются (даже если они получены вручную).
  2. Формируйте кросс-функциональную команду: Включите преподавателей, консультантов, ИТ-персонал, координаторов по оценке и старшего администратора, чтобы поддержать инициативу.
  3. Выберите один пилотный курс или результат: Вместо того, чтобы пытаться изменить все сразу, выберите один курс или один результат, чтобы продемонстрировать ценность аналитики.
  4. Инвестируйте в гибкую платформу данных: Оцените варианты с открытым исходным кодом, такие как Directus или коммерческие решения, которые позволяют настраивать схему данных вашего учреждения.
  5. Общайтесь рано и часто: Делитесь своим видением с преподавателями, студентами и консультативными советами.Прозрачность укрепляет доверие и снижает сопротивление.
  6. План непрерывного совершенствования: Установите регулярный цикл обзора — ежеквартальный или семестровый — где анализируются данные, обсуждаются действия и документируются изменения.

Принимая эти меры, ваша программа может перейти от ручной, стрессовой подготовки к аккредитации к оптимизированной, основанной на данных практике, которая не только удовлетворяет требованиям ABET, но и действительно улучшает обучение студентов. Изучение аналитики не является волшебным решением, но при продуманной реализации она становится мощным союзником в стремлении к образовательному совершенству и профессиональной ответственности.