A preparação de docentes de engenharia para uma avaliação e avaliação efetivas da ABET é uma responsabilidade fundamental para qualquer programa que busque acreditação inicial ou continuada. Os professores são os principais responsáveis pela entrega de currículo, aprendizagem de alunos e coleta de evidências que demonstrem qualidade do programa. Sem sua participação ativa e informada, mesmo os planos de avaliação mais bem desenhados serão reduzidos. O desafio é que muitos professores de engenharia são contratados para sua perícia técnica, não por sua familiaridade com a avaliação baseada em resultados ou terminologia de acreditação. Este artigo fornece um guia abrangente para líderes de departamentos de engenharia, coordenadores de programas e professores para construirem o conhecimento, ferramentas e cultura necessários para a avaliação e avaliação bem sucedida da ABET. Ao investir na preparação de professores, os programas não só atendem às exigências de acreditação, mas também promovem um genuíno ciclo de melhoria contínua que beneficia os alunos, professores e a instituição.

Entender os critérios de acreditação ABET

Antes que os professores possam contribuir significativamente para a avaliação, eles devem ter uma compreensão clara e operacional dos critérios de acreditação ABET. O atual quadro, ABET Critério para Acreditar Programas de Engenharia (2024-2025), é construído em torno de um modelo baseado em resultados que enfatiza o que os alunos podem fazer na graduação, em vez de simplesmente o que os cursos que eles concluíram. Os componentes principais incluem:

  • Program Educational Objectives (PEOs): Declarações gerais que descrevem a carreira e realizações profissionais que o programa está preparando os egressos para alcançar dentro de alguns anos de graduação. A Faculdade deve entender como seus cursos e orientação contribuem para esses objetivos de longo prazo.
  • Resultados do Curso (SOs): Estas são as habilidades específicas, conhecimentos e comportamentos que os alunos devem possuir no momento da graduação. ABET define sete resultados do estudante (1 a 7) aplicáveis a todos os programas de engenharia. Faculdade precisa saber quais os resultados que seus cursos abordam e como medir a obtenção dos resultados do estudante.
  • Aperfeiçoamento contínuo (CI):]O critério 4 (Melhoramento contínuo) é o cerne do processo de avaliação. Requer que os programas utilizem dados de avaliações para fazer melhorias programáticas.A faculdade deve entender que a avaliação não é apenas um exercício de notificação, mas uma ferramenta para a tomada de decisão.
  • Critérios de Programa: Além dos critérios gerais, cada disciplina de engenharia (civil, mecânica, elétrica, etc.) tem critérios específicos de programa que definem requisitos adicionais. A Faculdade deve estar familiarizado com os critérios relevantes para o seu programa.

Para construir esse entendimento, não basta fornecer uma visão geral única. A faculdade precisa de oportunidades contínuas para se envolver com os critérios no contexto de seu próprio ensino. Facilitadores de oficina podem usar Critérios oficiais do ABET[] como um recurso primário, mas deve complementar com exemplos específicos de disciplina e estudos de caso. Por exemplo, um membro do corpo docente de engenharia mecânica pode ver como o resultado do estudante 3 (uma capacidade de comunicação eficaz) é avaliado através de relatórios de projeto e apresentações de projeto sênior. Quando o corpo docente pode mapear suas próprias atribuições e rubricas para critérios específicos, o resumo torna-se concreto.

É também essencial esclarecer equívocos comuns. Por exemplo, muitos professores acreditam inicialmente que o ABET requer 100% dos alunos para alcançar uma pontuação passante em cada resultado. Na realidade, ABET espera que os programas definam critérios de desempenho (por exemplo, 80% dos alunos irão atingir uma pontuação de 3 ou mais em uma rubrica de 4 pontos) e, em seguida, usar os resultados para informar melhorias. Da mesma forma, os professores muitas vezes pensam que avaliação significa adicionar trabalho extra como pesquisas de saída ou questionários de alunos. Embora esses podem fazer parte do plano de avaliação de um programa, a evidência mais significativa vem de avaliações diretas em sala de aula incorporadas no currículo.

Estratégias para a Preparação da Faculdade

A preparação de professores para avaliação ABET é um processo contínuo que requer uma abordagem multifacetada. Abaixo estão as estratégias principais que se mostraram eficazes em programas de engenharia em todos os Estados Unidos e internacionalmente. Cada estratégia deve ser adaptada à cultura, recursos e necessidades específicas do departamento.

1. Workshops de Treinamento

Oficinas regulares e interativas são a pedra angular da preparação dos professores. Em vez de uma única sessão "morte por PowerPoint", considere uma série de oficinas espaçadas ao longo do ano acadêmico. Tópicos devem progredir do conhecimento fundamental para a prática avançada. Módulos de oficina sugeridos incluem:

  • ABET 101:] Visão geral dos critérios, terminologia e processo de acreditação. Inclua uma revisão simulada onde o papel do corpo docente como revisores.
  • Escrever Resultados Eficazes de Aprendizagem do Estudante: Pratique escrever resultados mensuráveis alinhados com a Taxonomia de Bloom. Compare exemplos fracos vs. fortes.
  • Projetando Rubrics:] Guia passo a passo sobre a criação de rubricas analíticas e holísticas para projetos, relatórios e apresentações.Inclua exercícios de calibração onde estudantes de amostra de pontuação de professores trabalham juntos para garantir consistência.
  • Closing the Loop: Estudos de caso de programas que utilizaram dados de avaliação para fazer mudanças significativas.Mostrar os dados, a decisão e o impacto na aprendizagem dos alunos.
  • Ferramentas e Tecnologia:] Demonstração de sistemas de gestão de avaliação (por exemplo, Tarefas, Teias ou ferramentas caseiras) e técnicas de visualização de dados.

As oficinas devem ser lideradas por professores campeões que tenham experiência com ABET, idealmente em coordenação com o coordenador de avaliação do programa.Convidar os facilitadores externos de outras instituições ou da ABET em si pode trazer novas perspectivas, mas deve ser complementado com contexto interno.É também eficaz tomar uma abordagem de formação-o-treinador: identificar alguns professores para se tornar altamente treinados, em seguida, ter-lhes mentor seus colegas em grupos menores ou sessões individuais.

2. Alfabetização de Avaliação

A literacia em avaliação vai além do conhecimento dos critérios, implica compreender os princípios da boa concepção de avaliação e interpretação dos dados, muitos professores de engenharia têm pouca formação formal em medição educacional.

  • Validade e Confiabilidade: A avaliação mede realmente o resultado pretendido? Dois avaliadores diferentes dariam a mesma pontuação? Use exemplos de contextos de engenharia, por exemplo, classificando um relatório de laboratório para habilidades de análise.
  • Medidas diretas vs. Medidas indiretas:Medidas diretas (exames, projetos, carteiras) fornecem evidências de aprendizagem real; medidas indiretas (investigações, auto-relatos) fornecem percepções.Um plano de avaliação robusto usa ambos.
  • Amostramento e agregação: Nem todas as atribuições precisam ser avaliadas para cada resultado. Os programas podem usar amostragem proposital para reduzir a carga de trabalho, enquanto ainda obter dados representativos. A faculdade precisa entender como os dados de várias seções e cursos podem ser combinados.
  • Critérios de desempenho e benchmarks: Definir metas realistas para o desempenho dos estudantes. Por exemplo, "80% dos alunos alcançarão uma pontuação de 3 ou mais pontos em uma rubrica de 4 pontos para o Outcome 5."

Uma forma eficaz de construir a literacia de avaliação é através de uma sessão de normalização rubrica . A Faculdade reúne-se para marcar um conjunto de trabalhos de estudo com uma rubrica comum. Discutem discrepâncias e calibram a sua pontuação. Isto não só melhora a fiabilidade inter-avaliadores, mas também aprofunda a sua compreensão do que é o desempenho "aceitável". Tais sessões podem ser repetidas no início de cada semestre para avaliações-chave, como projetos de design sénior ou relatórios de capstone.

3. Mapeamento de Currículo

O mapeamento curricular é uma representação visual ou tabular de como os cursos e os requisitos do programa contribuem para os resultados dos alunos. É uma ferramenta poderosa para que os professores vejam o quadro geral e o seu papel dentro dele. Um mapa bem construído ajuda a responder a perguntas como:

  • Quais os resultados são fortemente cobertos? Que estão cobertos ou faltando?
  • Existe uma progressão lógica da aprendizagem introdutória para a aprendizagem avançada?
  • Onde estão os melhores locais para coletar dados de avaliação para cada desfecho?

Um processo típico envolve um retiro ou uma série de reuniões em que cada docente identifica os resultados abordados nos seus cursos e indica o nível de aprendizagem (introduzido, reforçado ou dominado). Este mapeamento colaborativo muitas vezes revela lacunas ou despedimentos surpreendentes. Por exemplo, um programa pode descobrir que o trabalho em equipe (Resultado 5) é ensinado apenas em um curso eletivo, ou que o resultado é avaliado informalmente sem uma rubrica. Uma vez identificadas lacunas, o corpo docente pode propor mudanças: adicionar um projeto em grupo em um curso central, revisar uma tarefa para abordar explicitamente o trabalho em equipe, ou desenvolver uma rubrica comum para entrega de equipes.

O mapeamento curricular também suporta ]articulação dos resultados de aprendizagem de curso para programar resultados. Quando o professor escreve objetivos de aprendizagem de syllabi, ele pode explicitamente indicar quais resultados de programa são abordados e como eles serão avaliados. Este alinhamento é um elemento chave de evidência ABET e ajuda os alunos a entender a relevância de seu trabalho de curso.

4. Práticas de Documentação

A acreditação da ABET depende fortemente de evidências documentadas do que o programa faz e como ele continuamente melhora. A faculdade precisa de treinamento sobre expectativas de documentação e melhores práticas.

  • Arquivos de Curso: Manter uma pasta para cada curso contendo currículo, trabalho de estudante de amostra (anônimo), rubricas usadas, e um resumo dos resultados de avaliação e alterações feitas.
  • Relatórios de avaliação: Modelo padrão para o corpo docente reportar dados de avaliação para um resultado específico, incluindo conclusões, interpretação e melhorias planejadas.
  • Ata de Encontro:] Documentar discussões sobre dados de avaliação e decisões tomadas.Por exemplo, minutos de uma reunião de comitê de currículo que decidiu rever um pré-requisito devido ao baixo desempenho em um curso subsequente.
  • Controlo de Versão: Acompanhar como as atribuições, as rubricas e os syllabi evoluem ao longo do tempo em resposta aos resultados da avaliação. Isto demonstra o ciclo de "fechar o laço".

Para tornar a documentação menos onerosa, os departamentos podem criar modelos e repositórios digitais . Uma estrutura de pastas de gestão compartilhadas ou de unidade de aprendizagem pode padronizar onde os documentos são armazenados. A Faculdade deve ser mostrada exemplos de arquivos de cursos bem organizados de colegas. Também ajuda a designar uma pessoa pontual (coordenador de avaliação ou suporte de equipe) que pode responder a perguntas e revisar periodicamente arquivos para a integralidade antes de uma visita de estudo ou site.

É importante ressaltar que a documentação não é apenas para acreditação, mas para o próprio desenvolvimento profissional e para a melhoria do ensino, pois quando os docentes veem que documentar seu trabalho de avaliação leva a menos surpresas durante as revisões e fornece evidências para a promoção e o ensino de prêmios, eles são mais propensos a investir na prática.

Aplicação de métodos de avaliação eficazes

Com uma faculdade preparada, o próximo passo é implementar métodos de avaliação que forneçam dados válidos e confiáveis sem instrutores esmagadoras. O mantra deve ser "embed, não adicionar." Sempre que possível, use as atribuições de curso existentes, exames e projetos como veículos de avaliação.

Diferentes tipos de avaliação

Um único método raramente capta todas as dimensões de um resultado. Os programas devem empregar uma mistura de:

  • Exames e Quezes: Bom para testar conhecimentos e habilidades analíticas, mas menos eficaz para o trabalho em equipe ou comunicação. Use inventários de conceitos (por exemplo, Force Concept Inventory for Physics) para benchmarking.
  • Projetos de Design: Ideal para avaliar múltiplos resultados simultaneamente (solução de problemas, design, trabalho em equipe, comunicação).Use rubricas estruturadas para separar contribuições.
  • Lab Reports: Avaliar a experimentação, análise de dados e comunicação escrita. Certifique-se de que as rubricas abordam explicitamente cada resultado.
  • Portfolios: Os portfólios da Capstone compilam evidências em vários cursos. São valiosos para demonstrar o crescimento e para avaliar os resultados de nível de programa, como design ou aprendizagem ao longo da vida.
  • Presentações e Comentários de pares: Útil para comunicação oral e resultados em trabalho de equipa.Os instrumentos de avaliação de pares (por exemplo, CATME) fornecem dados sobre contribuições individuais para as equipas.

Coleta e Análise de Dados

A faculdade deve decidir como coletar e agregar dados de forma eficiente. A amostragem é frequentemente necessária quando os tamanhos das classes são grandes. Por exemplo, um programa pode coletar dados do curso de design sênior a cada semestre, mas apenas a partir do curso capstone uma vez por ano. Outra abordagem é estabelecer uma "avaliação comum" em todas as seções de um curso multi-seção. Por exemplo, todas as seções da Engenharia Mecânica podem administrar o mesmo problema final de exame que avalia um resultado específico.

A análise dos dados deve ser simples: calcular percentagens ou distribuições de notas de rubric, comparar com o objectivo de desempenho e identificar áreas de fraqueza. Faculdade precisa de orientação sobre interpretação de dados significativamente. Por exemplo, se 75% dos alunos atingiram o objectivo mas o programa esperado 80%, o que isso significa? É o gap devido a uma falha de instrução, uma avaliação excessivamente difícil, ou uma questão de coorte? Faculdade deve ser treinada para fazer estas perguntas e para triangular os resultados com outras provas (por exemplo, feedback de empregadores, pesquisas de alunos, distribuições de notas).

Utilização de Tecnologia

A tecnologia pode simplificar os processos de avaliação e reduzir a carga de trabalho da faculdade. Ferramentas como sistemas de gerenciamento de aprendizagem (LMS) com rastreamento de resultados (por exemplo, Canvas Outcomes, Blackboard Goals) permitem que os professores marquem atribuições para resultados e agregam automaticamente pontuações. Outras plataformas de gerenciamento de avaliação dedicadas como o Taskstream, Weave ou Nuventive fornecem painéis para análise de nível de programa. No entanto, a tecnologia só é útil se os professores forem treinados para usá-lo de forma consistente. Planilhas simples do Excel podem funcionar igualmente para pequenos programas. A chave é escolher ferramentas que correspondam ao nível de maturidade e conforto do programa. O ABET fornece um repositório de melhores práticas e ferramentas que os programas podem referenciar.

Promover uma cultura de melhoria contínua

O objetivo final da avaliação ABET não é produzir relatórios, mas impulsionar a melhoria contínua, o que requer uma mudança cultural de ver avaliação como um complemento para vê-la como parte integrante do ensino e aprendizagem. Cultivar esta cultura é da responsabilidade da liderança do departamento, mas cada membro do corpo docente desempenha um papel.

Papel da Liderança e do Apoio

As cadeiras de departamento, coordenadores de programas e decanos devem demonstrar compromisso através de ações, não apenas palavras, incluindo:

  • Alocando recursos: Fornecer tempo de liberação para coordenadores de avaliação ou um comitê de avaliação de professores. Participação do fundo em workshops ou conferências relacionadas com ABET.
  • Fornecendo incentivos: Reconhecer o trabalho de avaliação em avaliações anuais, salário de mérito e critérios de promoção.Um prêmio de ensino poderia considerar contribuições para avaliação e melhoria.
  • Criação de Estruturas: Criar comités permanentes (por exemplo, Comité Currículo, Comité de Avaliação) que se reúnem regularmente e dispõem de cartas claras. Assegurar que os dados de avaliação sejam um ponto de ordem permanente nas reuniões departamentais.
  • Comportamento de Modelação: Os líderes devem participar em sessões de treinamento, compartilhar seus próprios resultados de avaliação e discutir publicamente melhorias que fizeram em seus cursos.

Colaboração e Comunidade da Faculdade

A avaliação é mais eficaz quando se torna uma atividade colaborativa e não uma sobrecarga individual. A faculdade deve ser incentivada a trabalhar em equipes para projetar avaliações, compartilhar rubricas e discutir resultados. Por exemplo, um "círculo de ensino" de instrutores que ensinam o mesmo curso introdutório pode se reunir mensalmente para falar sobre avaliações comuns e dificuldades dos estudantes.

Além disso, programas podem criar um repositório de recursos de avaliação como as rubricas de amostra, exemplos de trabalho de estudante anotados e resumos de melhorias bem sucedidas. Novos professores podem acessar esses materiais durante o ingresso. Quando os professores vêem exemplos de como seus colegas melhoraram a aprendizagem de estudantes com base em dados de avaliação, eles são mais propensos a se envolver.

Fechando o circuito: De dados para melhoria

A frase "fechar o ciclo" refere-se ao ciclo de recolha de provas de avaliação, interpretando- o, fazendo melhorias e depois reavaliando para ver se as mudanças funcionaram. A faculdade precisa de exemplos explícitos deste ciclo. Um exemplo poderoso pode ser: Um programa descobre que apenas 60% dos idosos cumprem a meta de desempenho no Outcome 2 (design). A faculdade analisa que muitos alunos falham por não considerarem restrições realistas (por exemplo, econômicas, ambientais). Como resultado, o programa adiciona um módulo de aula sobre restrições de design no curso de preparação de capstone júnior-level e revisa o rubric de design sénior para restrições de peso mais fortemente. No próximo ciclo de avaliação, o desempenho melhora para 80%. Esta história é evidência convincente para uma visita ao site e demonstra que os professores não estão apenas a recolher dados, mas a usá- la.

Documentar essas histórias de "fechar o loop" é essencial. A Faculdade deve manter um diário ou registro de alterações feitas com base em dados de avaliação. Até mesmo pequenas mudanças – como reordenar tópicos em um curso ou fornecer uma atribuição de amostra – são dignas de nota. Os revisores da ABET procuram evidências de que o programa é uma organização de aprendizagem que se adapta ao longo do tempo.

Passos práticos para começar

Se o seu programa está apenas começando a preparar professores para avaliação ABET, aqui está uma abordagem faseada:

  1. Fase 1: Construir Consciência (semestre 1) — Realizar uma oficina de arranque explicando os critérios ABET e a importância do envolvimento dos professores.
  2. Fase 2: Estabelecer Infraestrutura (semestre 2) — Formar um comitê de avaliação, criar um mapa curricular (ou atualizar existente), e adotar um conjunto de resultados de alunos de nível de programa.
  3. Fase 3: Ferramentas de Desenvolvimento (verão) — Escreva ou reveja os resultados de aprendizagem de cursos alinhados aos resultados do programa. Crie ou refine as rubricas para avaliações-chave, especialmente em cursos de design sênior e capstone.
  4. Fase 4: Avaliação Pilota (semestre de outono) — Implementar as novas rubricas e recolher dados de alguns cursos. Realizar uma sessão de normalização. Discutir resultados em uma reunião de comitê de avaliação. Identificar vitórias e desafios precoces.
  5. Fase 5: Implementação completa (semestre da primavera e mais) — Escala para todos os cursos. Estabelecer ciclos regulares de relatórios. Comece a "fechar o ciclo" fazendo mudanças com base em dados. Continue o desenvolvimento profissional através de oficinas e tutoria por pares.

Conclusão

A preparação de professores para uma avaliação e avaliação efetivas do ABET não é um evento único, mas uma jornada contínua que fortalece todo o programa educacional. Quando os professores compreendem profundamente os critérios de acreditação, são equipados com a alfabetização de avaliação, possuem mapas curriculares claros e adotam documentação sistemática, podem transformar a avaliação de uma carga de conformidade em uma poderosa ferramenta para melhorar a aprendizagem dos alunos. As estratégias descritas neste artigo – oficinas de formação, alfabetização de avaliação, mapeamento curricular, práticas de documentação, diversos métodos de avaliação e uma cultura de apoio à melhoria contínua – fornecem um roteiro para programas em qualquer fase de prontidão. Ao investir na preparação de professores, os programas de engenharia não só garantem o sucesso da acreditação, mas também promovem uma cultura de excelência que beneficia os graduados, empregadores e a sociedade. Recursos de centros de ensino e aprendizagem em andamento podem apoiar o desenvolvimento docente na avaliação. Em última análise, o objetivo é criar uma comunidade onde cada professor se sinta proprietário sobre os resultados dos alunos e está comprometido com o ciclo contínuo de reflexão e melhoria.