Come utilizzare l'analisi di apprendimento per supportare la raccolta di prove di accreditamento di Abet

L'intersezione di Learning Analytics e l'accreditamento ABET

L'accreditamento ABET è un marchio di qualità per i programmi di ingegneria e di calcolo in tutto il mondo, convalidando che i laureati soddisfano standard professionali rigorosi. Il processo richiede una prova completa che gli studenti stanno ottenendo risultati di programma definiti - che vanno dal problem solving tecnico al ragionamento etico e il lavoro di squadra.

Attraverso la misurazione sistematica, la raccolta e l'analisi dei dati sugli studenti e sui loro contesti di apprendimento, le istituzioni possono generare prove attuabili e basate sui dati che supportano direttamente il quadro di valutazione basato sui risultati di ABET. Questo approccio non solo semplifica il processo di raccolta delle prove di accreditamento, ma consente anche il miglioramento continuo dei curricula, delle istruzioni e del supporto degli studenti.

Questo articolo fornisce una guida pratica e approfondita per sfruttare l’analisi dell’apprendimento per l’accreditamento ABET, che copre i punti essenziali dei dati, le strategie di implementazione, i benefici e le trappole comuni.

Definizione di Analytics di apprendimento nel contesto dell’accreditatore

L’analisi dell’apprendimento è la misurazione, la raccolta, l’analisi e la segnalazione dei dati sugli studenti e sui loro ambienti allo scopo di comprendere e ottimizzare l’apprendimento e le impostazioni in cui si verifica. Nel contesto ABET, questo significa trasformare i dati degli studenti in prove significative che dimostrano come gli studenti stanno raggiungendo i risultati del programma (SO) e i risultati degli studenti (SO) definiti da ABET’s accreditation Criteri.

I Criteri di ABET per i programmi di accreditamento di ingegneria (2023–2024) richiedono programmi per avere "un processo di valutazione e valutazione che documenta periodicamente e dimostra il grado in cui i risultati degli studenti sono raggiunti."

A differenza della semplice segnalazione dei gradi, l'analisi dell'apprendimento integra più fonti di dati, la valutazione delle rubriche, l'attività del sistema di gestione dell'apprendimento (LMS), le risposte alle indagini, le sottomissioni di e-portfolio e anche la partecipazione co-curricolare, per dipingere un quadro olistico del raggiungimento degli studenti.

Per esempio, un progetto finale in un corso di progettazione di capstone potrebbe essere direttamente collegato al risultato (c): “una capacità di progettare un sistema, un componente, o un processo per soddisfare le esigenze desiderate.” Strumenti di analisi di apprendimento possono raccogliere punteggi di rubriche, testi di riflessione degli studenti e valutazioni pari da quel progetto, aggregandoli in un portafoglio che dimostra il raggiungimento di più semestri.

Punti essenziali di dati per la raccolta di prove ABET

L'utilizzo efficace di analisi di apprendimento per l'accreditamento inizia con l'identificazione dei punti di dati che forniscono le prove più significative.Le seguenti categorie comprendono i dati fondamentali che i programmi dovrebbero acquisire sistematicamente e analizzare.

Dati di valutazione diretti

Le valutazioni dirette misurano le prestazioni degli studenti contro i risultati specifici, tra cui:

Valutazioni dei corsi integrate:[ Punteggi sugli esami, quizze, laboratori e progetti che sono esplicitamente mappati ai risultati del programma.
Progetti di design e di capitalizzazione:[ I progetti di fine anno spesso integrano più risultati. L'analisi può monitorare i punteggi di rubriche, i risultati di pietre miliari e le valutazioni della facoltà.
Standardized esami e metriche di licensure:[ tassi di esame FE, o risultati da esami di uscita localmente sviluppati che il risultato di benchmark.
E-portfolio artefatti:[[] Campioni di lavoro subordinati agli studenti contrassegnati dal risultato e valutato utilizzando rubriche a riferimento dei criteri. Piattaforme come Portfolium o e-portfolios localmente costruito possono alimentare i dati direttamente in dashboard di analisi.

Dati di valutazione indiretta

Misure indirette catturano percezioni e autovalutazioni che completano le prove dirette:

Indagini sconosciute:[] Indagini finali, sondaggi di uscita senior e sondaggi di alunni che chiedono agli studenti di auto-valutare il loro raggiungimento dei risultati.
Risposte dei datori di lavoro:[ Indagini dei supervisori di stage o dei datori di lavoro dei laureati forniscono una validazione esterna del risultato.
Gruppo di studio e trascrizioni di intervista:[ Dati qualitativi da discussioni studentesche o di facoltà che possono essere codificati per i risultati utilizzando l'analisi del testo.

Engagement e dati comportamentali

Sebbene non sia una prova diretta del raggiungimento dei risultati, le metriche di engagement possono segnalare aree in cui gli studenti possono essere in difficoltà, permettendo un intervento proattivo.

LMS attività:[[] Frequenza di accesso, schemi di accesso ai contenuti, tempi di presentazione di assegnazione, partecipazione del forum.
Attendenza e partecipazione:[] Impegno in classe catturato tramite strumenti di inquinamento o monitoraggio della frequenza.
Tempo-sul-task:[ Tempo approssimativo trascorso sulle attività di apprendimento, disponibile da alcune piattaforme di valutazione.
Analisi della rete sociale:[[] Assegnazioni co-autori, partecipazione di revisione paritaria e modelli di collaborazione di gruppo che riflettono i risultati del lavoro di squadra.

Dati demografici e contestuali

Per garantire un equo raggiungimento dei risultati, i programmi dovrebbero anche raccogliere e analizzare i dati disaggregati da caratteristiche studentesche come il sesso, lo stato minoritario sottorappresentato, la frequenza del college di prima generazione e lo sfondo socioeconomico.

Costruire un'infrastruttura di analisi di apprendimento per l'accreditamento

L'implementazione di un framework di analisi di apprendimento per ABET richiede un'attenta pianificazione, selezione di tecnologie e buy-in degli stakeholder.

Passo 1: Mappa Risultati per Punti di valutazione

Inizia creando una matrice che collega ogni risultato dello studente ABET a corsi specifici, assegnazioni e rubriche. Per ogni risultato, identifica almeno due o tre punti di valutazione diretti distribuiti nel curriculum. Questa mappatura è la base per tutta la raccolta e l'analisi dei dati successivi.

Passo 2: Selezionare Strumenti di raccolta e analisi dati

Molti istituti iniziano con il loro sistema di gestione dell'apprendimento esistente (ad esempio, Canvas, Blackboard, Moodle) e lo incrementano con piattaforme specializzate.

Piattaforme di analisi di apprendimento:[ Strumenti come [Directus] (un CMS senza testa aperta che può essere personalizzato per i dati educativi), Tableau per la visualizzazione, o built-in analisi nei prodotti LMS. Directus è particolarmente flessibile per la creazione di dashboard personalizzati che tirano i dati da sistemi multipli—LMS, SIS, strumenti di indagine.
Sistemi di gestione dell'assessment:[ Piattaforme come AEFIS, Watermark, o liveRubric che supportano direttamente la valutazione dei risultati e generano rapporti di raggiungimento dei risultati degli studenti.
E-Portfolio Systems:[ Soluzioni come Portfolium, Mahara, o Folio per la raccolta e la valutazione di artefatti.
Strumenti di ricerca e feedback:[[ Qualitrics, Microsoft Forms, o moduli di indagine LMS integrati per la raccolta di dati di valutazione indiretta.

Passo 3: Stabilire la governance dei dati e le politiche sulla privacy

L'analisi di apprendimento comporta la gestione dei dati sensibili degli studenti. Le istituzioni devono sviluppare politiche chiare che affrontano:

Trasparenza:[] Informare gli studenti su quali dati vengono raccolti, come verranno utilizzati e come potranno accedere ai propri dati.
Opzioni di consenso e di opt-out:[ Fornire meccanismi per gli studenti di opt out di analisi, dove possibile (ad esempio, per il monitoraggio comportamentale non legato a valutazioni obbligatorie).
Sicurezza dei dati:[[] Crittografare i dati in transito e a riposo, limitare l'accesso al personale autorizzato e rispettare FERPA (o regolamenti equivalenti) e qualsiasi requisito della commissione di revisione istituzionale.
De-identificazione:[] Per dashboard condivisi esternamente con team di accreditamento, aggregare e de-identificare i dati per proteggere la privacy individuale.

Passo 4: Dashboard di analisi di progettazione per gli stakeholder

I Dashboard dovrebbero servire diversi spettatori con diversi livelli di granularità:

Facoltà:[] dashboard in tempo reale che mostrano come i loro studenti stanno progredendo sui risultati dei loro corsi, con avvisi per gli studenti in lotta.
Coordinatori e capi di reparto del programma:[] Aggregate opinioni del raggiungimento dei risultati attraverso sezioni e semestri, linee di tendenza e confronti contro i benchmark.
Comitati di accreditamento:[] High-level riporta che la valutazione della mappa prova ad ogni criterio ABET, completo di artefatti e interpretazioni dei dati.
Studenti:[] Dashboards che mostrano il proprio progresso sui risultati, identificando i punti di forza e le aree per il miglioramento (opzionale ma in grado di migliorare l'impegno degli studenti).

Passo 5: Integrare le analisi nei cicli di miglioramento continuo

L’accreditamento ABET non è un evento di una volta; richiede una valutazione e un miglioramento continuo. L’analisi dei risultati deve essere utilizzata in un processo formale di miglioramento continuo (spesso chiamato “ciclo di valutazione”). Ogni semestre o anno, esamina i dati di raggiungimento dei risultati, identifica le lacune e implementa i cambiamenti, come la revisione delle assegnazioni, l’aggiornamento delle rubriche, la modifica dei prerequisiti o l’offerta di tutoraggio mirato.

Vantaggi pratici di un processo di accreditamento abilitato a Analytics di apprendimento

Le istituzioni che investono nell'apprendimento di analisi per ABET segnalano diversi vantaggi significativi oltre a soddisfare semplicemente i requisiti di accreditamento.

Decisioni basate sui dati

Invece di affidarsi a opinioni o feedback aneddotico, i dipartimenti possono basare le decisioni di curriculum su prove oggettive. Ad esempio, se l'analisi rivela che solo il 60% degli studenti sta incontrando il risultato per "giustizie etiche" nel design senior, la facoltà può introdurre un nuovo modulo etico nel curriculum di livello junior e tracciare il miglioramento nel corso dell'anno successivo.

Identificazione precoce degli studenti a rischio

I dashboard di inserimento e di performance consentono ai consulenti e ai docenti di individuare gli studenti che stanno cadendo dietro il raggiungimento dei risultati all'inizio del semestre. Le interazioni, come tutoraggio, mentoring o gruppi di studio, possono essere implementate prima delle valutazioni finali, migliorando il successo degli studenti e diminuendo il numero di studenti che non soddisfano i risultati.

Preparazione semplificata di accreditamento

Con un sistema di analisi ben progettato, le prove richieste per un rapporto di auto-studio di accreditamento sono già organizzate e aggiornate. Invece di effettuare lo scrambling per raccogliere artefatti e compilare i dati nei mesi prima della visita, i team possono generare report istantaneamente.

Benchmarking programma migliorato

Nel corso del tempo, i dati di analisi cumulativa consentono ai dipartimenti di confrontare il raggiungimento dei risultati in diverse sezioni del corso, semestri o anche istituzioni paritetiche (se esistono accordi di condivisione dei dati).

Dimostrare una cultura della qualità

Gli evacuatori ABET valutano sempre più la prova che un programma si impegna a garantire la qualità sistematica e basata su prove. Un programma di analisi di apprendimento robusto segnala agli evacuatori che l'istituto prende l'accreditamento seriamente e si impegna a un miglioramento continuo basato sui dati.

Sfide e considerazioni quando implementare l'analisi dell'apprendimento

Nonostante i vantaggi, le istituzioni affrontano diversi ostacoli nell'implementazione di analisi per l'accreditamento. Essere consapevoli di queste sfide può aiutare a pianificare in modo efficace.

Silos e complessità di integrazione dei dati

I dati degli studenti spesso vivono in sistemi separati: LMS, il sistema informativo degli studenti (SIS), la piattaforma e-portfolio e strumenti di valutazione di terze parti. L'integrazione di queste fonti in un oleodotto di analisi coerente può essere tecnicamente impegnativo.

Facoltà Buy-In e Formazione

La Facoltà può resistere alle modifiche alle loro pratiche di valutazione, soprattutto se percepiscono l'analisi come sorveglianza o un onere amministrativo aggiuntivo. Superando questo richiede una chiara comunicazione su come l'analisi supporterà l'insegnamento (non valutarlo), insieme allo sviluppo professionale sulla creazione di rubriche estese e utilizzando strumenti di dashboard.

Qualità e coerenza

Se i rubriche sono scarsamente progettati, non allineati ai risultati, o applicati in modo inconsistente dagli istruttori, le prove risultanti saranno inaffidabili. Investi nelle sessioni di norming in cui la facoltà calibra l'uso rubrico, e considera l'utilizzo di punteggi automatizzati per criteri ben definiti per migliorare la coerenza.

Sovraffollante volume di dati

Senza un design attento, i cruscotti di analisi possono presentare così tante metriche che i decisori soffrono di sovraccarico di informazioni. Concentrati su un piccolo insieme di indicatori di performance chiave (KPI) che si collegano direttamente a ogni risultato studentesco, e forniscono opzioni di perforazione per un'analisi più approfondita quando necessario.

Mantenere il Momento

Per sostenere la momentum, incorporare analisi in una regolare governance accademica, come riunioni di dipartimento, recensioni dei comitati di curriculum e report annuali del programma. Nomina un coordinatore di analisi dedicato o un comitato di analisi per garantire che il sistema rimanga attivo ed evolve con i criteri di cambiamento.

Esempi reali e studi di casi

Diversi istituti hanno integrato con successo l'analisi dell'apprendimento nei loro processi di accreditamento ABET, mentre i dettagli specifici variano, i temi comuni emergono.

In una grande scuola di ingegneria pubblica nel Midwest, il corso di capstone di design senior è stato ridisegnato per includere un sistema di presentazione digitale che tagga automaticamente i risultati del progetto ABET (a) attraverso (k).

Un istituto di ingegneria privata più piccolo ha utilizzato una piattaforma e-portfolio e uno strumento di analisi di apprendimento per raccogliere artefatti da tutti i corsi richiesti. Hanno automatizzato la generazione di "relazioni di raggiungimento dei risultati" che hanno mostrato percentuali di studenti che incontrano ogni risultato, suddivisi per anno, corso e gruppo demografico. Il sistema ha anche segnalato quando i risultati di valutazione del corso sono staticamente inferiori alla media del dipartimento, sollecitando una revisione del programma.

Un altro esempio notevole proviene da un'università che ha usato l'analisi dell'apprendimento per affrontare una specifica debolezza identificata in un precedente ciclo di accreditamento: risultato degli studenti (d) – "una capacità di funzionare su team multidisciplinari."Analizzando i dati di collaborazione da forum di discussione LMS e punteggi di valutazione dei pari, il programma ha identificato che molti studenti non stavano impegnando ugualmente nei progetti di squadra.

Tendenze future: Analisi dell'apprendimento e Accreditamento

Il paesaggio di analisi e accreditamento dell'apprendimento si sta evolvendo. I leader del programma dovrebbero guardare per questi sviluppi emergenti.

Formazione basata sulla competenza e microcrisi

Poiché più programmi di ingegneria adottano l'istruzione basata sulle competenze (CBE) e offrono badge digitali o microcredentials, l'analisi dell'apprendimento diventerà ancora più granulare. Piuttosto che il raggiungimento dei risultati di tracciamento a livello del corso, i sistemi seguiranno la masterizzazione delle competenze individuali in tutto il curriculum.

Intelligenza artificiale e analisi predittiva

I modelli di apprendimento automatico possono prevedere quali studenti rischiano di non raggiungere risultati specifici molto prima della fine di un corso.Queste analisi predittive, combinate con raccomandazioni di intervento automatizzate, diventeranno più comuni. Tuttavia, i programmi devono utilizzare tali strumenti eticamente, evitando pregiudizi e assicurando che le previsioni siano utilizzate per sostenere, non penalizzare, gli studenti.

Dashboards di accreditamento in tempo reale

La prossima generazione di software di accreditamento offrirà dashboard interattivi dal vivo che gli evacuatori possono esplorare durante le visite al sito, che sostituiranno i rapporti statici PDF con visualizzazioni dinamiche dei dati, supportando una più approfondita indagine e riducendo l'onere della preparazione dei documenti pre-visita.

Standard di interoperabilità

Iniziative come lo standard IMS Global Learning Consortium ]Caliper Analytics] e le specifiche OneRoster semplificano lo scambio di dati tra strumenti educativi.

Iniziare: un piano di azione pratico

Se il tuo programma è all'inizio di questo viaggio, considera i seguenti passi a breve termine:

Le pratiche di valutazione corrente udite:[] Identificare quali corsi hanno già incarichi e rubriche esiti. Determinare quali dati sono già stati catturati (anche se manualmente).
Form a cross-functional team:[] Includere docenti, consulenti, personale IT, coordinatori di valutazione e un amministratore senior per sostenere l'iniziativa.
Seleziona un corso pilota o un risultato:[] Invece di cercare di trasformare tutto in una sola volta, scegli un singolo corso o un unico risultato per dimostrare il valore dell'analisi.
Investire in una piattaforma dati flessibile:[] Valutare opzioni open source come Directus o soluzioni commerciali che permettono la personalizzazione dello schema dati dell'istituzione. La capacità di connettersi a più fonti è fondamentale.
Comunicare presto e spesso:[] Condividi la tua visione con docenti, studenti e consiglieri. La trasparenza costruisce fiducia e riduce la resistenza.
Plan per un miglioramento continuo:[] Stabilire un ciclo di revisione regolare – basato su trimestrale o semestrale – dove vengono analizzati i dati, le azioni vengono discusse e i cambiamenti sono documentati.

Prendendo questi passaggi, il programma può passare da preparazione di accreditamento manuale e stressante ad una pratica semplificata e informata che non solo soddisfa i requisiti ABET, ma migliora anche sinceramente l'apprendimento degli studenti.