Table of Contents

De Intersectie van leeranalyses en ABET-accreditatie

ABET accreditatie dient als een kenmerk van kwaliteit voor engineering en computerprogramma's wereldwijd, waarbij wordt bevestigd dat afgestudeerden voldoen aan strenge professionele normen. Het proces vereist uitgebreid bewijs dat studenten de vastgestelde programmaresultaten bereiken, variërend van technische probleemoplossing tot ethische redenering en teamwork. Traditionele accreditatiegegevensverzameling is vaak gebaseerd op handmatige processen, verspreide beoordelingsartefacten en eind-van-cursus evaluaties, die tijdrovend en gevoelig kunnen zijn voor lacunes.

Door systematisch gegevens over lerenden en hun leercontexten te meten, te verzamelen en te analyseren, kunnen instellingen actieerbare, datagestuurde bewijzen genereren die direct ondersteuning bieden aan het resultaatgebaseerde evaluatiekader van ABET. Deze aanpak stroomlijnt niet alleen het proces voor het verzamelen van accreditatie-informatie, maar maakt ook continue verbetering van curricula, instructie en studentenondersteuning mogelijk.

Dit artikel biedt een praktische, diepgaande gids voor het benutten van leeranalyses voor ABET accreditatie.Het gaat over de essentiële datapunten, implementatiestrategieën, voordelen en gemeenschappelijke valkuilen. Of u nu hoofd van de engineeringafdeling, een accreditatiecoördinator of een faculteitslid bent, u vindt bruikbare inzichten om uw programma's accreditatiehouding te versterken.

Definieren van leeranalyses in de context van de accreditor

Leeranalyse is de meting, verzameling, analyse en rapportage van gegevens over leerlingen en hun omgevingen met het oog op het begrijpen en optimaliseren van leren en de instellingen waarin het plaatsvindt. In de ABET-context betekent dit het omzetten van ruwe studentengegevens in betekenisvol bewijs dat aantoont hoe goed studenten de programmaresultaten (SO's) en studentenresultaten (SO's) bereiken die zijn gedefinieerd door ]ABET

De criteria van ABET voor het accrediteren van technische programma's (2023

In tegenstelling tot eenvoudige rapportage van cijfers, leeranalyses integreert meerdere gegevensbronnen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Sleutel tot deze afstemming is het in kaart brengen van elke beoordelingstaak aan specifieke studentenresultaten. Bijvoorbeeld, een eindproject in een capstone ontwerpcursus kan direct gekoppeld zijn aan uitkomst (c): .Een vermogen om een systeem, component of proces te ontwerpen om aan de gewenste behoeften te voldoen. .Learning analytics tools kunnen ruric scores, studenten reflectie teksten en peer evaluaties van dat project verzamelen, samenbrengend in een uitkomst portfolio dat prestaties over meerdere semesters demonstreert.

Essentiële gegevenspunten voor het verzamelen van ABET-gegevens

Doeltreffende toepassing van leeranalyses voor accreditatie begint met het identificeren van de datapunten die het meest betekenisvolle bewijs leveren. De volgende categorieën omvatten de kerngegevens die programma's systematisch moeten vastleggen en analyseren.

Gegevens directe beoordeling

Directe beoordelingen meten de prestaties van de student aan de hand van specifieke resultaten, zoals:

  • Geëmde cursusbeoordelingen: Scores op examens, quizzen, labs en projecten die expliciet zijn afgestemd op de programmaresultaten. Met behulp van een op rubric gebaseerde scorebenadering zorgt ervoor dat elk beoordelingsitem in overeenstemming is met de ABET-criteria.
  • Kapsteen- en ontwerpprojecten: Eindjaarsprojecten integreren vaak meerdere uitkomsten. Analyses kunnen de resultaten van de resultaten van de rurics, mijlpalen en de evaluaties van de faculteit bijhouden.
  • Gestandaardiseerde examens en licensure metrics: FE examen slagen, of resultaten van lokaal ontwikkelde exit examens die benchmark resultaat bereiken.
  • E-portfolio artefacten: Door studenten ingediende werkmonsters die op basis van resultaten zijn gemerkt en beoordeeld met behulp van criterium-gerelateerde rubrics. Platforms zoals Portfolium of lokaal gebouwde e-portfolio's kunnen gegevens rechtstreeks in analyse dashboards voeden.

Gegevens indirecte beoordeling

Indirecte maatregelen geven percepties en zelfevaluaties weer die direct bewijsmateriaal aanvullen:

  • Studentenenquêtes: Eindexamenenquêtes, senior exitenquêtes en alumnienquêtes die studenten vragen zelf te beoordelen hoe ze de resultaten bereiken.Deze kunnen worden toegediend via LMS of tools zoals Qualtrics.
  • Mededeling van de werkgever: Enquêtes van stage-toezichthouders of werkgevers van afgestudeerden leveren externe validatie van resultaatresultaten.
  • Focusgroep en interview transcripten: Kwalitatieve gegevens van studenten- of faculteitsdiscussies die gecodeerd kunnen worden naar uitkomsten met behulp van tekstanalyses.

Verloving en gedragsgegevens

Hoewel niet direct bewijs van resultaatverwerving, kunnen engagementmetrics gebieden waar studenten kunnen worstelen signaleren, waardoor proactieve interventie mogelijk is.

  • LMS-activiteit: Inlogfrequentie, toegangspatronen voor inhoud, tijdig indienen van opdrachten, deelname aan forums.
  • Bijwoning en deelname: In-class engagement vastgelegd via steminstrumenten of aanwezigheidstracking.
  • Tijd-op-taak: Geschatte tijd besteed aan leeractiviteiten, beschikbaar van sommige evaluatieplatforms.
  • Sociale netwerkanalyse: Mede-geauthoreerde opdrachten, deelname van collega's en groepssamenlevingspatronen die teamworkresultaten weerspiegelen.

Demografische en contextuele gegevens

Om een billijke uitkomst te garanderen, moeten programma's ook gegevens verzamelen en analyseren die worden verkregen door studentenkenmerken zoals geslacht, ondervertegenwoordigde minderheidsstatus, aanwezigheid van eerste generatie colleges en sociaaleconomische achtergrond. Dit ondersteunt de nadruk op inclusieve excellentie en maakt het mogelijk om programma's om hiaten in de prestaties van studentenpopulaties te identificeren.

Bouwen aan een infrastructuur voor het leren van analyses voor accreditatie

De implementatie van een leeranalysekader voor ABET vereist zorgvuldige planning, technologieselectie en inkoop van belanghebbenden. De volgende stappen schetsen een praktische routekaart.

Stap 1: Kaart van de resultaten van de evaluatiepunten

Begin met het maken van een matrix die elke ABET-studentresultaten koppelt aan specifieke cursussen, opdrachten en rubrics. Voor elk resultaat, identificeer ten minste twee tot drie directe assessmentpunten verdeeld over het curriculum. Deze mapping is de basis voor alle daaropvolgende dataverzameling en analyse. Gebruik een gecentraliseerde repository .Zoals een spreadsheet of een curriculum mapping tool geïntegreerd met uw LMS .

Stap 2: Selecteer het verzamelen van gegevens en de hulpmiddelen voor analyse

De juiste technologie stack is essentieel. Veel instellingen beginnen met hun bestaande leermanagement systeem (bijv., Canvas, Blackboard, Moodle) en augment it met gespecialiseerde platforms. Overweeg de volgende categorieën:

  • Leren van Analytics Platforms: Tools zoals Directus (een open-source hoofdloze CMS die kan worden aangepast voor educatieve gegevens), Tableau voor visualisatie, of ingebouwde analytics in LMS-producten. Directus is bijzonder flexibel voor het creëren van aangepaste dashboards die gegevens uit meerdere systemen slepen .LMS, SIS, enquête tools ..in een enkele accreditatie bewijshub.
  • Assessment Management Systems: Platforms zoals AEFIS, Watermark, of liveRubric die de uitkomstenbeoordeling rechtstreeks ondersteunen en studenten-outcome-attainmentrapporten genereren.
  • E-Portfolio Systems: Oplossingen zoals Portfolium, Mahara of Folio voor het verzamelen en beoordelen van artefacten.
  • Survey en feedback-tools: Qualtrics, Microsoft Forms, of ingebouwde LMS-enquêtemodules voor het verzamelen van indirecte beoordelingsgegevens.

Stap 3: Vaststelling van gegevensgovernance en privacybeleid

Leeranalyse houdt in dat gevoelige studentengegevens worden verwerkt. Instellingen moeten duidelijke beleidsmaatregelen ontwikkelen die gericht zijn op:

  • Transparantie: Informeer studenten over welke gegevens worden verzameld, hoe deze zullen worden gebruikt en hoe ze toegang kunnen krijgen tot hun eigen gegevens.
  • Consent- en opt-outopties: Zorg voor mechanismen die studenten ertoe aanzetten om zich waar mogelijk af te melden van analyses (bv. voor gedragstracking die niet gebonden is aan verplichte beoordelingen).
  • Gegevensbeveiliging: Versleutel gegevens in doorvoer en rust, beperkt de toegang tot bevoegd personeel en voldoet aan FERPA (of gelijkwaardige voorschriften) en eventuele vereisten van het institutioneel beoordelingscomité.
  • De-identificatie: Voor dashboards die extern worden gedeeld met accreditatieteams, worden gegevens samengevoegd en gede-identificeerd om individuele privacy te beschermen.

Stap 4: Ontwerpen van analytics Dashboards voor belanghebbenden

Dashboards dienen verschillende doelgroepen te bedienen met verschillende niveaus van granulariteit:

  • Faculteit: Real-time dashboards tonen hoe hun studenten vooruitgang boeken met de resultaten van hun cursussen, met waarschuwingen voor studenten die het moeilijk hebben.
  • Programmacoördinatoren en afdelingshoofden: Samengevate standpunten over resultatenverwerving in de secties en semesters, trendlijnen en vergelijkingen met benchmarks.
  • Accreditatiecomités: Op hoog niveau rapporten die beoordelingsmateriaal aan elk ABET-criterium in kaart brengen, compleet met ondersteunende artefacten en datainterpretaties.
  • Studenten: Dashboards die hun eigen vooruitgang op het gebied van resultaten tonen, sterke punten en gebieden voor verbetering identificeren (facultatief maar kunnen de betrokkenheid van studenten vergroten).

Stap 5: Integreer de analyse in de continue verbeteringscycli

ABET accreditatie is geen eenmalige gebeurtenis; het vereist voortdurende beoordeling en verbetering. Leeranalyse moet zich voeden met een formeel continu verbeteringsproces (vaak de ..inspection cyclus genaamd).Elk semester of jaar, evaluatie van resultaten resultaten, hiaten identificeren, en veranderingen implementeren zoals het herzien van opdrachten, het bijwerken van rubrics, het aanpassen van voorwaarden, of het aanbieden van gerichte tutoring. Documenteer elke verandering en de reden ervan, aangezien dit bewijs van een gesloten lus wordt hoog gewaardeerd door ABET-beoordelaars.

Praktische voordelen van een proces van lerende analysen en een accrediteringsproces

Instellingen die investeren in leeranalyses voor ABET rapporteren verschillende belangrijke voordelen die verder gaan dan alleen maar voldoen aan accreditatievereisten.

Besluitvorming met gegevens

In plaats van te vertrouwen op meningen of anekdotische feedback, kunnen afdelingen curriculum beslissingen baseren op objectief bewijs. Bijvoorbeeld, als analyse blijkt dat slechts 60% van de studenten voldoen aan de uitkomst voor ..ethische redenatie .. in senior design , de faculteit kan een nieuwe ethische module in het junior-level curriculum en track verbetering in het volgende jaar .

Vroegtijdige identificatie van At-Risk studenten

Verloving en prestatie dashboards laten adviseurs en faculteit om studenten die achterlopen op het bereiken van resultaten te spotten vroeg in het semester. Interventies zoals tutoring, mentoring, of studiegroepen kunnen worden ingezet voordat eindevaluaties, het verbeteren van het succes van de student en het verminderen van het aantal studenten die niet aan de resultaten voldoen.

Gestroomlijnde accreditatievoorbereiding

Met een goed ontworpen analysesysteem is het bewijs dat nodig is voor een accreditatie-zelfstudierapport al georganiseerd en bijgewerkt. In plaats van artefacten te verzamelen en gegevens te verzamelen in de maanden voor een bezoek, kunnen teams direct rapporten genereren. Dit vermindert stress, bespaart tijd en laat meer ruimte voor analyse en verhaalvertelling.

Verbeterde benchmarking van het programma

Mettertijd kunnen de diensten met cumulatieve analysegegevens resultaten vergelijken tussen verschillende cursusafdelingen, semesters of zelfs peer-instellingen (als er overeenkomsten voor gegevensuitwisseling bestaan). Deze benchmarking kan beste praktijken en gebieden voor verbetering belichten.

Een cultuur van kwaliteit demonstreren

ABET-beoordelaars waarderen steeds meer het bewijs dat een programma betrokken is bij systematische, op feiten gebaseerde kwaliteitsborging. Een robuust leeranalyseprogramma geeft aan beoordelaars aan dat de instelling accreditatie serieus neemt en zich inzet voor continue verbetering van data.

Uitdagingen en overwegingen bij de implementatie van leeranalyses

Ondanks de voordelen, worden instellingen geconfronteerd met verschillende hindernissen in het implementeren van analyses voor accreditatie. Zich bewust van deze uitdagingen kan helpen bij het effectief plannen.

Gegevenssilos en integratiecomplexiteit

Studentengegevens leven vaak in afzonderlijke systemen . De LMS, het studenteninformatiesysteem (SIS), het e-portfolioplatform en de evaluatietools van derden. Het integreren van deze bronnen in een coherente analysepijplijn kan technisch veeleisend zijn. Het gebruik van een flexibel dataplatform zoals Directus of een speciaal onderwijsdata warehouse kan helpen verschillende bronnen te verenigen, maar het vereist investeringen in API-ontwikkeling en data-kartering.

Faculteit Buy-In en Training

De faculteit kan zich verzetten tegen veranderingen in hun beoordelingspraktijken, vooral als ze analytics zien als surveillance of extra administratieve lasten. Om dit te overwinnen, is duidelijke communicatie nodig over hoe analytics het onderwijs zal ondersteunen (niet evalueren), samen met professionele ontwikkeling op het creëren van resultaatgebonden rubrics en het gebruik van dashboard tools. Het betrekken van de faculteit bij het ontwerp van het analysesysteem bevordert eigendom en adoptie.

Rubrische kwaliteit en consistentie

Leeranalyse is slechts zo goed als de gegevens die het inneemt. Als de rubrics slecht zijn ontworpen, niet zijn afgestemd op de resultaten, of inconsistent worden toegepast door instructeurs, zal het resulterende bewijs onbetrouwbaar zijn. Investeer in normeringsessies waar faculteits kalibreren rubric gebruik, en overwegen met behulp van geautomatiseerde scores voor goed gedefinieerde criteria om de consistentie te verbeteren.

Overweldigend datavolume

Zonder doordacht ontwerp kunnen analytics dashboards zo veel metrics presenteren dat beslissers te lijden hebben van informatieoverbelasting. Focus op een kleine set van belangrijke prestatie-indicatoren (KPI's) die direct verband houden met elke student uitkomst, en bieden boor-down opties voor diepere analyse wanneer nodig. Gebruik ontwerpprincipes van data storytelling om de meest kritische bevindingen te benadrukken.

Momentje behouden

Accreditatiecycli zijn lang (typisch zes jaar). Het is gebruikelijk voor analytische initiatieven om stoom te verliezen na een succesvolle zelfstudie. Om momentum te ondersteunen, inbedden analytics in regelmatige academische governance . zoals afdeling vergaderingen, curriculum commissie beoordelingen, en jaarverslagen van programma's. Aanstellen van een speciale analytics coördinator of commissie om ervoor te zorgen dat het systeem actief blijft en evolueert met veranderende criteria.

Voorbeelden en casestudies in de praktijk

Verschillende instellingen hebben met succes leeranalyses geïntegreerd in hun ABET-accreditatieprocessen. Hoewel specifieke details variëren, komen gemeenschappelijke thema's naar voren.

Op een grote openbare ingenieursschool in het Midwesten werd de senior design capstone cursus herontworpen met een digitaal inschrijfsysteem dat automatisch projectleverbaar maakt aan ABET uitkomsten (a) tot (k). Rubric scores van faculteiten en industrie mentoren werden gevoed in een aangepaste dashboard gebouwd op een hoofdloze CMS vergelijkbaar met Directus. Gedurende vier jaar, het programma toonde een gestage verbetering in het resultaat bereiken, die werd gedocumenteerd in hun accreditatie zelfstudie en geprezen door evaluatoren.

Een kleinere particuliere ingenieursschool gebruikte een e-portfolio platform en een leeranalyse tool om artefacten te verzamelen van alle vereiste cursussen. Ze geautomatiseerde de generatie van .outcome diplomation reports . die percentages van studenten die elk resultaat ontmoetten, uitgesplitst naar jaar, cursus en demografische groep . Het systeem ook gemarkeerd wanneer een cursus . beoordeling resultaten statistisch lager waren dan de afdeling gemiddelde , wat aanleiding gaf tot een curriculum review . Tijdens hun ABET site bezoek , het team was in staat om live dashboards voor de evaluatoren op te halen , waardoor de tijd besteed aan het beantwoorden van vragen over bewijs , aanzienlijk verminderen .

Een ander opmerkelijk voorbeeld komt van een universiteit die gebruik maakte van leeranalyses om een specifieke zwakte aan te pakken die in een eerdere accreditatiecyclus werd geïdentificeerd: student outcome (d)

Het landschap van leren analytics en accreditatie is in ontwikkeling. Programmaleiders moeten oppassen voor deze opkomende ontwikkelingen.

Competency Based Onderwijs en Microcides

Naarmate meer technische programma's op competentie-gebaseerde onderwijs (CBE) aannemen en digitale badges of micro-intelligentie aanbieden, zal het leren van analytics nog korreliger worden. In plaats van het volgen van resultaat op cursusniveau, zullen systemen individuele competentie mastery volgen in het hele curriculum. ABET is al begonnen met het onderzoeken van criteria voor niet-traditionele onderwijstrajecten, en analytics zal essentieel zijn voor het leveren van bewijs in deze modellen.

Artificiële intelligentie en voorspellende analytics

Machine learning modellen kunnen voorspellen welke studenten het risico lopen om niet het bereiken van specifieke resultaten lang voor het einde van een cursus. Deze voorspellende analytics, in combinatie met geautomatiseerde interventie aanbevelingen, zal meer gebruikelijk worden. Echter, programma's moeten dergelijke tools ethisch gebruiken, voorkomen vooroordelen en ervoor zorgen dat voorspellingen worden gebruikt om te ondersteunen, niet bestraffen, studenten.

Real-time accreditatie Dashboards

De volgende generatie accreditatiesoftware zal waarschijnlijk live, interactieve dashboards aanbieden die beoordelaars kunnen verkennen tijdens bezoeken aan sites. Dit zou statische PDF-rapporten vervangen door dynamische datavisualisaties, meer diepgaand onderzoek ondersteunen en de lasten van voorbereiding van documenten vóór het bezoek verminderen.

Interoperabiliteitsnormen

Initiatieven zoals de IMS Global Learning-consent. Caliper Analytics[-norm en de OneRoster-specificatie maken het makkelijker om gegevens uit te wisselen tussen educatieve instrumenten. Naarmate deze normen rijpen, zal het integreren van leeranalyses tussen platforms eenvoudiger worden, waardoor de technische barrière voor kleinere instellingen wordt verminderd.

Starten: een praktisch actieplan

Als uw programma aan het begin van deze reis is, overweeg dan de volgende korte termijn stappen:

  1. Audit huidige beoordelingspraktijken: Identificeer welke cursussen al resultaatgebonden opdrachten en rubrics hebben. Bepaal welke gegevens al worden verzameld (zelfs al handmatig).
  2. Form een cross-functioneel team: Include faculteit, adviseurs, IT-personeel, beoordelingscoördinatoren, en een senior beheerder om het initiatief te verdedigen.
  3. Selecteer één pilootcursus of resultaat: In plaats van alles tegelijk te transformeren, kies één cursus of één resultaat om de waarde van analytics aan te tonen. Bouw een klein dashboard en verzamel feedback.
  4. Investeer in een flexibel dataplatform: Evalueer open-source opties zoals Directus of commerciële oplossingen die aanpassing mogelijk maken aan uw instelling. Het vermogen om verbinding te maken met meerdere bronnen is cruciaal.
  5. Communiceren vroeg en vaak: Deel je visie met faculteiten, studenten en adviesraden. Transparantie bouwt vertrouwen op en vermindert weerstand.
  6. Plan voor continue verbetering: Stel een regelmatige cyclus van toetsing op quarterly of semester-gebaseerde ..waar gegevens worden geanalyseerd, acties worden besproken en veranderingen worden gedocumenteerd. Dit ritme zal het hart van uw accreditatieproces worden.

Door deze stappen te nemen, kan uw programma van handmatige, stressvolle accreditatievoorbereiding overstappen naar een gestroomlijnde, data-geïnformeerde praktijk die niet alleen voldoet aan de ABET-eisen, maar ook echt het leren van studenten verbetert. Leren analytics is geen magische oplossing, maar wordt, wanneer ze doordacht wordt geïmplementeerd, een krachtige bondgenoot in het streven naar onderwijsexcellentie en professionele verantwoordingsplicht.