Table of Contents

A Interseção de Análise de Aprendizagem e Acreditação ABET

A acreditação ABET serve como uma marca de qualidade para programas de engenharia e computação em todo o mundo, validando que os graduados cumprem padrões profissionais rigorosos. O processo exige evidências abrangentes de que os alunos estão alcançando resultados definidos de programas – variando desde a resolução de problemas técnicos até o raciocínio ético e o trabalho em equipe. A coleta tradicional de dados de acreditação muitas vezes depende de processos manuais, artefatos de avaliação dispersos e avaliações finais, que podem ser demorados e propensos a lacunas.

A análise de aprendizagem oferece uma alternativa transformadora. Ao medir sistematicamente, coletar e analisar dados sobre os alunos e seus contextos de aprendizagem, as instituições podem gerar evidências acionáveis e orientadas por dados que suportam diretamente o quadro de avaliação baseado em resultados da ABET. Essa abordagem não só simplifica o processo de coleta de evidências de acreditação, mas também permite a melhoria contínua dos currículos, instruções e suporte ao aluno.

Este artigo fornece um guia prático e aprofundado para alavancar a análise de aprendizagem para a acreditação ABET – abrangendo os pontos de dados essenciais, estratégias de implementação, benefícios e armadilhas comuns. Quer você seja um chefe de departamento de engenharia, um coordenador de acreditação ou um membro do corpo docente, você encontrará insights acionáveis para fortalecer a postura de acreditação do seu programa.

Definir o Análise de Aprendizagem no Contexto do Credor

Analytics de aprendizagem é a medição, coleta, análise e relato de dados sobre alunos e seus ambientes com o objetivo de compreender e otimizar o aprendizado e as configurações em que ele ocorre. No contexto ABET, isso significa transformar dados brutos de estudantes em evidência significativa que demonstra como os alunos estão conseguindo bem os resultados do programa (SOs) e resultados do estudante (SOs) definidos pelos critérios de acreditação ABET].

Os Critérios de Acreditação dos Programas de Engenharia da ABET (2023-2024) exigem que os programas tenham “um processo de avaliação e avaliação que documenta periodicamente e demonstra o grau de obtenção dos resultados dos alunos”. A análise de aprendizagem fornece a infraestrutura para automatizar grande parte dessa documentação, passando de evidências esporádicas e anedóticas para uma coleta contínua e sistemática de evidências.

Ao contrário de relatórios simples de notas, a análise de aprendizagem integra múltiplas fontes de dados – rubricas de avaliação, atividade do sistema de gerenciamento de aprendizagem (SLM), respostas de pesquisa, submissões de e-portfolio e até participação co-curricular – para pintar um quadro holístico da realização dos alunos. Quando alinhados com os resultados da ABET, esses dados podem ser usados para gerar painéis, relatórios e visualizações que os avaliadores de acreditação acham convincentes e transparentes.

A chave para este alinhamento é o mapeamento de cada tarefa de avaliação para resultados específicos dos alunos. Por exemplo, um projeto final em um curso de design capstone pode estar diretamente ligado ao resultado (c): “uma capacidade de projetar um sistema, componente ou processo para atender às necessidades desejadas.” Ferramentas de análise de aprendizagem podem coletar notas rubric, textos de reflexão dos alunos e avaliações de pares desse projeto, agregando-os em um portfólio de resultados que demonstra a realização ao longo de vários semestres.

Pontos de dados essenciais para a recolha de provas ABET

O uso efetivo da análise de aprendizagem para acreditação começa com a identificação dos pontos de dados que fornecem as evidências mais significativas.As seguintes categorias englobam os dados centrais que os programas devem capturar e analisar sistematicamente.

Dados de avaliação directa

As avaliações diretas medem o desempenho dos estudantes em relação a resultados específicos, incluindo:

  • Avaliações de cursos incorporados: Pontuações em exames, questionários, laboratórios e projetos que são explicitamente mapeados para os resultados do programa. Usando uma abordagem de pontuação baseada em rubric garante que cada item de avaliação se alinha com os critérios ABET.
  • Projetos de Capstone e design: Projetos de ano final muitas vezes integram múltiplos resultados.O Analytics pode rastrear as pontuações de rubric, realizações marcantes e avaliações de professores.
  • Exames padronizados e métricas de licenciamento: Taxas de aprovação do exame FE, ou resultados de exames de saída localmente desenvolvidos que benchmark consecution consecution.
  • Artefactos de folha electrónica: Amostras de trabalho apresentadas por estudantes marcadas pelo resultado e classificadas utilizando rubricas com referência a critérios. Plataformas como Portfolium ou e-portfolios construídos localmente podem alimentar dados diretamente em painéis analíticos.

Dados de avaliação indireta

Medidas indiretas captam percepções e auto-avaliação que complementam evidências diretas:

  • Inquéritos de estudantes: Inquéritos de fim de curso, inquéritos de saída de idosos e inquéritos de alunos que pedem aos alunos que auto-avaliam a sua obtenção de resultados. Estes podem ser administrados através de LMS ou ferramentas como Qualtrics.
  • Reacções dos empregadores: Os inquéritos dos supervisores de estágio ou empregadores de licenciados fornecem validação externa da realização dos resultados.
  • Traduções de grupo focal e entrevista: Dados qualitativos de discussões de estudantes ou professores que podem ser codificados para resultados usando análise de texto.

Dados de envolvimento e comportamento

Embora não seja evidência direta da obtenção de resultados, as métricas de engajamento podem sinalizar áreas onde os alunos podem estar lutando, permitindo uma intervenção proativa.

  • Atividade LMS: Frequência de login, padrões de acesso de conteúdo, oportunidade de submissão de atribuição, participação no fórum.
  • Atenção e participação: Envolvimento em classe capturado através de ferramentas de votação ou acompanhamento de atendimento.
  • Tempo em curso: Tempo aproximado gasto em atividades de aprendizagem, disponível em algumas plataformas de avaliação.
  • Análise da rede social:]Assuntos co-autores, participação em revisão por pares e padrões de colaboração em grupo que refletem resultados em trabalho em equipe.

Dados demográficos e contextuais

Para garantir uma obtenção equitativa dos resultados, os programas devem também coletar e analisar dados desagregados por características do estudante, como gênero, status minoritário sub-representado, atendimento universitário de primeira geração e antecedentes socioeconômicos, o que apoia a ênfase da ABET na excelência inclusiva e permite identificar lacunas na realização entre as populações de estudantes.

Construindo uma Infraestrutura de Análise de Aprendizagem para Acreditação

A implementação de um framework de análise de aprendizagem para ABET requer planejamento cuidadoso, seleção de tecnologia e buy-in dos stakeholders. As etapas seguintes delineiam um roteiro prático.

Etapa 1: Resultados do Mapa para Pontos de Avaliação

Comece criando uma matriz que ligue cada resultado do aluno da ABET a cursos, atribuições e rubricas específicas. Para cada resultado, identifique pelo menos dois a três pontos de avaliação direta distribuídos no currículo. Este mapeamento é a base para toda a coleta e análise de dados subsequentes. Use um repositório centralizado – como uma planilha ou uma ferramenta de mapeamento de currículo integrada com o seu LMS – para manter e rever o mapeamento.

Passo 2: Selecione Coleta de dados e ferramentas de análise

A pilha de tecnologia certa é essencial. Muitas instituições começam com o seu sistema de gestão de aprendizagem existente (por exemplo, Canvas, Blackboard, Moodle) e aumentam-no com plataformas especializadas. Considere as seguintes categorias:

  • Aprendendo Plataformas de Análise: Ferramentas como Directus (um CMS sem cabeça de código aberto que pode ser personalizado para dados educacionais), Tableau para visualização ou análise integrada em produtos LMS. O Directus é particularmente flexível para criar painéis personalizados que puxam dados de vários sistemas – LMS, SIS, ferramentas de pesquisa – em um único centro de evidências de acreditação.
  • Sistemas de Gestão de Avaliação: Plataformas como AEFIS, Watermark ou liveRubric que suportam diretamente a avaliação de resultados e geram relatórios de obtenção de resultados.
  • E-Portfolio Systems: Soluções como Portfolium, Mahara ou Folio para coletar e classificar artefatos.
  • Ferramentas de pesquisa e feedback: Qualtrics, Microsoft Forms, ou módulos de pesquisa LMS integrados para coleta de dados de avaliação indireta.

Etapa 3: Estabelecer a Governança de Dados e Políticas de Privacidade

A análise de aprendizagem envolve o tratamento de dados sensíveis dos estudantes. As instituições devem desenvolver políticas claras que abordem:

  • Transparência: Informar os alunos sobre quais dados estão sendo coletados, como serão usados e como eles podem acessar seus próprios dados.
  • Opções de conteúdo e de opt-out: Fornecer mecanismos para que os alunos optem por não analisar, sempre que possível (por exemplo, para o acompanhamento comportamental não vinculado a avaliações obrigatórias).
  • Segurança de dados: Criptografar dados em trânsito e em repouso, limitar o acesso ao pessoal autorizado e cumprir com a FERPA (ou regulamentos equivalentes) e quaisquer requisitos do conselho de revisão institucional.
  • De-identificação: Para painéis compartilhados externamente com equipes de acreditação, agregar e desidentificar dados para proteger a privacidade individual.

Passo 4: Desenho de Análise Painel de dados para stakeholders

Os painéis de instrumentos devem servir públicos diferentes com diferentes níveis de granularidade:

  • Faculdade: Painel em tempo real mostrando como seus alunos estão progredindo em resultados em seus cursos, com alertas para alunos em dificuldades.
  • Coordenadores de programas e chefes de departamento: Pontos de vista agregados sobre a obtenção de resultados em secções e semestres, linhas de tendência e comparações com os índices de referência.
  • Comités de Acreditação: Relatórios de alto nível que mapeiam as provas de avaliação de cada critério ABET, completando com artefatos de apoio e interpretações de dados.
  • Estudantes: Dashboards que mostram seu próprio progresso em resultados, identificando pontos fortes e áreas para melhoria (opcional, mas pode melhorar o engajamento dos estudantes).

Etapa 5: Integrar o Analytics em ciclos de melhoria contínua

A acreditação ABET não é um evento único; requer avaliação e melhoria contínuas. A análise de aprendizagem deve ser integrada em um processo formal de melhoria contínua (muitas vezes chamado de “ciclo de avaliação”). Cada semestre ou ano, revisamos dados de resultados, identificamos lacunas e implementamos mudanças – como revisar atribuições, atualizar rubricas, modificar pré-requisitos ou oferecer tutoria direcionada. Documentar cada mudança e sua lógica, uma vez que essa evidência de um ciclo fechado é altamente valorizada pelos avaliadores ABET.

Benefícios práticos de um processo de acreditação habilitado para análise de aprendizagem

Instituições que investem em análise de aprendizagem para ABET relatam várias vantagens significativas além de apenas satisfazer os requisitos de acreditação.

Tomada de decisão orientada para os dados

Em vez de confiar em opiniões ou feedback anedótico, os departamentos podem basear decisões curriculares em evidências objetivas. Por exemplo, se a análise revelar que apenas 60% dos alunos estão encontrando o resultado para o “raciocínio ético” em design sênior, o corpo docente pode introduzir um novo módulo de ética no currículo de nível júnior e melhorar o seguimento ao longo do ano seguinte.

Identificação antecipada dos estudantes no local de partida

Painel de desempenho e engajamento permitem que os conselheiros e professores localizem alunos que estão ficando para trás na obtenção de resultados no início do semestre. Intervenções – como tutoria, tutoria ou grupos de estudo – podem ser implantadas antes das avaliações finais, melhorando o sucesso dos alunos e diminuindo o número de alunos que não conseguem alcançar os resultados.

Preparação de Acreditação simplificada

Com um sistema de análise bem projetado, as evidências necessárias para um relatório de auto-estudo de acreditação já estão organizadas e atualizadas. Em vez de tentar coletar artefatos e compilar dados nos meses anteriores a uma visita, as equipes podem gerar relatórios instantaneamente. Isso reduz o estresse, economiza tempo e deixa mais espaço para análise e contação de histórias.

Melhoramento do Benchmarking de Programa

Com o tempo, dados de análise cumulativa permitem que departamentos comparem resultados obtidos em diferentes seções de cursos, semestres ou até mesmo instituições de pares (se existirem acordos de compartilhamento de dados).

Demonstrando uma cultura de qualidade

Os avaliadores da ABET valorizam cada vez mais a evidência de que um programa se envolve em garantia sistemática de qualidade baseada em evidências. Um programa de análise de aprendizagem robusto sinaliza para os avaliadores que a instituição leva a sério a acreditação e está comprometida com a melhoria contínua baseada em dados.

Desafios e considerações ao implementar o estudo de análise

Apesar dos benefícios, as instituições enfrentam vários obstáculos na implantação de análises para acreditação. Estar ciente desses desafios pode ajudá-lo a planejar de forma eficaz.

Silos de dados e complexidade de integração

Os dados dos estudantes muitas vezes vivem em sistemas separados – o LMS, o sistema de informação dos estudantes (SIS), a plataforma e-portfolio e ferramentas de avaliação de terceiros. Integrar essas fontes em um pipeline de análise coerente pode ser tecnicamente exigente. Usar uma plataforma de dados flexível como Directus ou um data warehouse dedicado pode ajudar a unificar fontes diferentes, mas requer investimento no desenvolvimento de APIs e mapeamento de dados.

Faculdade Buy-In e Treinamento

A faculdade pode resistir às mudanças em suas práticas de avaliação, especialmente se perceberem a análise como uma vigilância ou um fardo administrativo adicional. Superar isso requer uma comunicação clara sobre como a análise irá apoiar o ensino (não avaliá-lo), juntamente com o desenvolvimento profissional na criação de rubricas com resultados alinhados e usando ferramentas de painel. Envolver os professores no projeto do sistema de análise promove a apropriação e adoção.

Qualidade e consistência rubricas

Se as rubricas forem mal projetadas, não alinhadas com os resultados, ou aplicadas de forma inconsistente pelos instrutores, as evidências resultantes não serão confiáveis.Invista em sessões de normalização onde os professores calibram o uso das rubricas e considere usar a pontuação automatizada para melhorar a consistência.

Sobrecarregando o volume de dados

Sem design atencioso, painéis de análise podem apresentar tantas métricas que os tomadores de decisão sofrem de sobrecarga de informação. Foque em um pequeno conjunto de indicadores de desempenho chave (KPIs) que se ligam diretamente a cada resultado do aluno, e forneça opções de perfuração para análise mais profunda quando necessário. Use princípios de design de contação de histórias de dados para destacar as conclusões mais críticas.

Mantendo o Momento

Os ciclos de acreditação são longos (tipicamente seis anos).É comum que iniciativas de análise percam força após um estudo de sucesso. Para manter o impulso, incorpore análises em governança acadêmica regular – como reuniões de departamento, revisões de comitês de currículo e relatórios de programas anuais.

Exemplos e estudos de caso no mundo real

Várias instituições têm integrado com sucesso a análise de aprendizagem em seus processos de acreditação ABET. Embora os detalhes específicos variem, temas comuns surgem.

Em uma grande escola de engenharia pública no Centro-Oeste, o curso de design sênior capstone foi redesenhado para incluir um sistema de submissão digital que automaticamente marca os resultados do projeto para resultados ABET (a) através de (k). As pontuações de Rubric dos professores e mentores da indústria foram alimentadas em um painel personalizado construído em um CMS sem cabeça semelhante ao Directus. Ao longo de quatro anos, o programa demonstrou uma melhoria constante na obtenção de resultados, que foi documentado em seu auto-estudo de acreditação e elogiado por avaliadores.

Uma faculdade de engenharia privada menor utilizou uma plataforma de e-portfolio e uma ferramenta de análise de aprendizagem para coletar artefatos de todos os cursos necessários. Eles automatizaram a geração de “relatórios de resultados” que mostravam percentuais de alunos que se reuniam com cada resultado, discriminados por ano, curso e grupo demográfico. O sistema também sinalizava quando os resultados de avaliação de um curso eram estatisticamente inferiores à média do departamento, levando a uma revisão curricular. Durante sua visita ao site da ABET, a equipe foi capaz de puxar painéis ao vivo para os avaliadores, reduzindo significativamente o tempo gasto respondendo perguntas sobre evidências.

Outro exemplo notável vem de uma universidade que usou a análise de aprendizagem para abordar uma fraqueza específica identificada em um ciclo de acreditação anterior: resultado do aluno (d) – “uma capacidade de funcionar em equipes multidisciplinares”. Ao analisar dados de colaboração de fóruns de discussão de LMS e escores de avaliação por pares, o programa identificou que muitos alunos não estavam se envolvendo igualmente em projetos de equipe. Eles implementaram um módulo de treinamento de equipe e reestruturaram as atribuições de projetos, e a próxima rodada de análise mostrou melhora acentuada. Essa ligação direta entre dados, ação e resultados melhorados formou uma narrativa poderosa em seu relatório interino.

Tendências futuras: Análise e Acreditação de Aprendizagem

O cenário de análise de aprendizagem e acreditação está evoluindo. Os líderes de programas devem observar esses desenvolvimentos emergentes.

Educação baseada em competência e microcredenciais

À medida que mais programas de engenharia adotam educação baseada em competências (CBE) e oferecem crachás digitais ou microcredenciais, a análise de aprendizagem se tornará ainda mais granular. Ao invés de rastrear resultados alcançados no nível do curso, os sistemas acompanharão o domínio de competências individuais em todo o currículo. A ABET já começou a explorar critérios para vias de ensino não tradicionais, e a análise será essencial para fornecer evidências nesses modelos.

Inteligência artificial e análise preditiva

Modelos de aprendizado de máquina podem prever quais alunos correm risco de não alcançar resultados específicos muito antes do final de um curso. Essas análises preditivas, combinadas com recomendações de intervenção automatizada, se tornarão mais comuns. No entanto, os programas devem usar essas ferramentas eticamente, evitando viés e garantindo que as previsões sejam usadas para apoiar, não penalizar, os alunos.

Painel de Acreditação em Tempo Real

A próxima geração de software de acreditação provavelmente oferecerá painéis interativos ao vivo que os avaliadores podem explorar durante as visitas ao site. Isso substituiria os relatórios estáticos de PDF por visualizações dinâmicas de dados, apoiando uma investigação mais aprofundada e reduzindo o peso da preparação de documentos pré-visita.

Normas de interoperabilidade

Iniciativas como o padrão do Consórcio de Aprendizagem Global do IMS Caliper Analytics e a especificação OneRoster estão facilitando o intercâmbio de dados entre ferramentas educacionais. À medida que esses padrões amadurecem, a integração de análises de aprendizagem em plataformas se tornará mais simples, reduzindo a barreira técnica para instituições menores.

Começar: Um Plano de Ação Prático

Se o seu programa está no início desta jornada, considere os seguintes passos de curto prazo:

  1. Audite as práticas de avaliação atuais: Identificar quais cursos já têm atribuições e rubricas alinhadas com resultados. Determinar quais dados já estão sendo capturados (mesmo que manualmente).
  2. Formar uma equipa multifuncional: Incluir professores, conselheiros, pessoal de TI, coordenadores de avaliação e um administrador sênior para defender a iniciativa.
  3. Selecione um curso piloto ou resultado: Em vez de tentar transformar tudo de uma vez, escolha um único curso ou um único resultado para demonstrar o valor da análise.
  4. Investir em uma plataforma de dados flexível: Avaliar opções de código aberto como Directus ou soluções comerciais que permitem a personalização para o esquema de dados da sua instituição. A capacidade de se conectar a várias fontes é fundamental.
  5. Comunique cedo e frequentemente:] Compartilhe sua visão com professores, estudantes e conselhos consultivos.A transparência constrói confiança e reduz a resistência.
  6. Planeje para melhoria contínua: Estabeleça um ciclo de revisão regular – trimestral ou semestral – onde os dados são analisados, as ações são discutidas e as mudanças são documentadas.Esse ritmo se tornará o coração do seu processo de acreditação.

Ao tomar estas medidas, o seu programa pode passar de uma preparação manual e estressante para uma prática simplificada e informada de dados que não só satisfaz os requisitos da ABET, mas também melhora genuinamente a aprendizagem dos alunos. A análise de aprendizagem não é uma solução mágica, mas quando implementada com reflexão, torna-se um poderoso aliado na busca da excelência educacional e da responsabilidade profissional.