Está no início um processo de adaptação ao medQuizz na NOVA Medical School. Trata-se de uma ferramenta que se baseia nas tecnologias de informação e possibilita a realização da avaliação formativa e sumativa dos alunos, ou seja, a avaliação ao longo do processo de aprendizagem e a avaliação final dos conhecimentos obtidos em cada unidade curricular, respetivamente. A FRONTAL informa-te melhor sobre o assunto neste artigo.

A Origem

Foi em 1960 na Universidade de Illinois nos Estados Unidos que nasceu o sistema PLATO (Programmed Logic for Automatic Teaching Operations), o primeiro sistema informatizado de aprendizagem e de avaliação. Uma década depois, o PLATO viria a ser comercializado e posteriormente distribuído por instituições de ensino por todo o mundo, tendo sido aplicado em vários cursos de diversas áreas. Posteriormente, nos últimos vinte anos do século XX, seguindo uma tendência geral de crescente informatização e automatização, foi-se despertando um interesse por métodos de avaliação mais rápidos, eficientes e à prova de erro, tendo surgido neste período uma multiplicidade de plataformas de avaliação informatizada.

Hoje este tipo de ferramenta é a norma em várias instituições nacionais e no resto do mundo – nos Estados Unidos milhares de alunos realizam todos os anos exames informatizados de extrema importância para o seu percurso académico, como o MCAT (para candidatos às escolas médicas) e as partes escritas do USMLE (a realizar pelos estudantes de medicina).

O Presente

 Em Portugal, na Escola de Ciências da Saúde da Universidade do Minho (ECS-UM), todos os exames teóricos são informatizados. Foi esta instituição que desenvolveu o software da plataforma medQuizz e o implementou de forma efetiva no ano letivo 2012/2013, após um ano de teste e com boa adesão e contributo de funcionários, docentes e estudantes. A NMS-FCM junta-se assim a esta instituição e inicia a transição para o que, segundo alguns, será o inevitável futuro das avaliações.

Para tornar este projeto possível, foi já encetado um conjunto de alterações na faculdade e de adaptação dos docentes e alunos. Desde já são necessárias salas preparadas com equipamento adequado à utilização desta ferramenta e com tamanho suficiente para possibilitar a todos os alunos a realização das provas. Por outro lado, foi já iniciada a formação de docentes e discentes no que diz respeito às potencialidades do medQuizz. A formação começou no início do presente ano letivo e deve continuar, com enfoque na utilização da plataforma e construção das questões.

De facto, foram realizados exames já no primeiro semestre em formato eletrónico e corrigidos de forma automatizada com recurso a esta plataforma, especificamente:

• 3º ano – Infeção: Etiologia, Patogénese e Bases Terapêuticas;
• 4º ano – Especialidades Médicas e Cirúrgicas I, Doente com Infecção;
• 5º ano – Pediatria, Psiquiatria;
• 6º ano – Preparação para a Prática Clínica.

O futuro dos exames nas escolas médicas

O QUE SE ALTERA

Os exames informatizados permitem que o docente apenas tenha que inserir a chave no sistema para que o exame seja corrigido, o que confere maior celeridade ao processo e até mesmo a possibilidade de os alunos receberem um feedback imediato do seu desempenho. A informatização permite também eliminar o erro humano na correção e contagem de pontos, assim como uniformizar os procedimentos de avaliação entre diferentes unidades curriculares. Outra vantagem é a existência de um banco de perguntas que pode ser construído por vários docentes e facilmente partilhado entre instituições. O mesmo exame pode ser aplicado em vários pontos geográficos ao mesmo tempo, sendo a sua correção centralizada num ponto. Existe ainda o aspeto ecológico da poupança de papel e também a vantagem de ser um instrumento mais económico a longo prazo, embora necessite de um investimento inicial.

O medQuizz possui algumas funções particulares, distintas de outras plataformas com os mesmos fins. Exemplo disso é a análise estatística disponibilizada automaticamente que permite obter, por exemplo, a percentagem de respostas corretas ou incorretas a cada pergunta. A informação assim obtida poderá ter impacto na construção do exame – na ECS-UM, as perguntas com 100% ou 0% de respostas corretas são eliminadas do exame. No caso da NMS, segundo os coordenadores do projeto, fica ao critério do Regente de cada Unidade Curricular (UC) a eliminação ou não das perguntas, não havendo regras predefinidas.

Destaca-se também a existência de mecanismos inteligentes que auxiliam a construção dos itens, por exemplo através da verificação da existência de alíneas (ou mesmo questões) iguais, auxiliando na catalogação das perguntas e impedindo a ocorrência de erros, assim como a possibilidade de os alunos colocarem dúvidas sobre as perguntas e alíneas no decorrer do exame.

A plataforma permite ainda uma maior flexibilidade na formulação do enunciado, sendo possível anexar imagens e sons. Esta função é particularmente interessante no caso do ensino da Medicina, já que permite a análise de exames de imagem ou sons de auscultação cardíaca, difíceis de reproduzir num exame tradicional.

As perguntas estilo caso clínico, talvez uma das maiores diferenças em relação ao formato habitual, permitem seguir uma série de alíneas com encadeamento lógico e simular condições mais próximas da prática clínica, onde é impossível voltar atrás em algumas decisões. Há ainda a possibilidade de, ao passar de uma questão para outra, o software indicar a resposta correta, pelo que o aluno não fica prejudicado por falhar uma das perguntas.

As perguntas de resposta curta, em que é necessário começar a escrever para aceder a um conjunto de opções de resposta, visam eliminar o “factor sorte” e avaliar de forma mais justa o conhecimento do examinando.

Apesar das novidades, estas funções podem ser desativadas consoante a decisão da Regência de cada UC e o exame pode ser simplesmente uma versão digital do tradicional exame em papel.

A OUTRA FACE

Uma das questões que gera mais apreensão é a impossibilidade de aceder ao enunciado e à correção após realização do exame, como acontecia com o formato tradicional. O programa permite o pedido de revisão de perguntas específicas no decorrer da prova, sendo salvaguardados 15 segundos por pergunta para esse efeito. No entanto, o facto de não ser possível fazer referência à bibliografia recomendada e de os alunos não conhecerem a chave no momento do exame causou alguma preocupação, para além da diminuição da disponibilidade mental para argumentar o pedido em pleno exame.

O Artigo 15º do Regulamento Sobre a Avaliação da Aprendizagem dos Alunos assegurava a possibilidade de consulta de prova de todos os exames escritos, mas segundo o Despacho nº1/2016 a consulta do exame como previsto no Art.15º “deixa de fazer sentido neste sistema de avaliação porque não há lugar a erros de correção ou de cálculos. Assim, deixa de ser possível o pedido de consulta do exame”.

Segundo foi esclarecido pelos coordenadores, o aluno deverá requerer na Divisão Académica uma revisão de prova devidamente fundamentada e depois reunir-se com um dos docentes da UC para discutir as perguntas que motivaram o pedido. No entanto, sem acesso ao enunciado e à chave torna-se difícil fundamentar devidamente um pedido de revisão.

Outros aspectos a referir são a impossibilidade de rasurar alíneas e sublinhar porções do enunciado, o facto de só se poder visualizar uma pergunta de cada vez no ecrã, o que torna difícil a comparação entre itens e uma visão geral do exame (embora o índice inicial seja uma ajuda neste aspecto) e o lag entre perguntas, que apesar da preocupação inicial se revelou diminuto. A eventualidade de erros informáticos e a inexistência de computadores suficientes para todos os alunos, com consequente impossibilidade de todos realizarem o exame simultaneamente, é uma menção igualmente importante.

A tua opinião

Muitos de nós já realizaram exames através do programa medQuizz neste ano. Acabada a época de exames, chegou o momento das interrogações: Afinal, o que é que os alunos destacam de positivo? E de negativo? Este formato tem ou não vantagens? O que é que poderia ser melhorado?

Por forma a dar respostas a estas questões e fazer um balanço desta primeira fase de implementação da plataforma, a AEFCM efetuou um inquérito on-line entre os dias 23 de fevereiro e 2 de março. A FRONTAL dá-te a conhecer agora os resultados.

Responderam ao inquérito 63 alunos. Estas são as suas opiniões relativamente…

…À utilização do programa

Os alunos que sentiram alguma dificuldade na utilização do programa destacaram como razões o facto de este bloquear ou a inexistência de computadores suficientes para todos os alunos, assim como o caráter “pouco intuitivo” do programa, inexistência de relógio na página inicial a assinalar o momento de início da prova, dificuldade em assinalar as perguntas que suscitavam dúvidas e, posteriormente, no menu principal, perceber quais as perguntas efetivamente assinaladas.

…Ao processo de revisão

A maioria dos alunos considera o processo de revisão inadequado devido à impossibilidade de fazer uma análise construtiva dos erros cometidos, por falta de acesso ao enunciado. Apesar de os alunos se sentirem mais confiantes em relação à contabilização das cotações graças ao programa, não vêem com bons olhos o excessivo distanciamento que é criado em relação aos docentes, dado ser impossível discutir a prova com os mesmos.

…À aplicação da plataforma na avaliação das restantes Unidades Curriculares

Os alunos que discordam da aplicação da plataforma referiram que se sentiram incapazes de organizar o seu pensamento ou de se concentrarem com o novo formato, que a plataforma não deve ser usada em exames com questões de desenvolvimento, tendo havido ainda outros que salientaram aspetos relacionados com a organização do processo, o que remete novamente para a questão do número de computadores disponíveis e para o processo de revisão de prova, assim como para eventuais problemas informáticos.

 … Às vantagens do programa

Algumas das vantagens da plataforma apontadas pelos alunos foram:

1. maior facilidade e rapidez na correção da prova;
2. a perceção de uma melhor gestão do tempo durante o exame devido à existência de um cronómetro em contagem decrescente;
3. a minimização do erro humano no processo de correção;
4. a possibilidade de assinalar perguntas deixadas por responder e visualizar a percentagem de exame realizado,  reduzindo assim as hipóteses de perguntas ficarem esquecidas;
5. maior facilidade e rapidez de resposta;
6. a  vertente ecológica e ambiental que resulta da implantação da plataforma;

Houve outras vantagens identificadas por uma minoria, como a possibilidade de aceder a valores de referência e calculadora, de se realizarem exames seguindo o modelo de “casos clínicos” e com imagens, assim como o caráter “intuitivo” da plataforma, a maior dificuldade na prática de fraude e a facilidade de alteração de respostas.

… Às desvantagens do programa

93,6% dos alunos apontou aspetos negativos ao programa, sendo que metade destes referiu como principal desvantagem a negação da possibilidade de consulta de prova. Para além desta desvantagem principal, outras foram apontadas:

1. 8% dos alunos referiram que existe dificuldade na elaboração fundamentada de pedidos de revisão intra-prova, insuficiência das respostas aos pedidos de revisão intra-prova e ainda a discordância da integração do tempo destinado à realização de pedidos de revisão no período destinado ao exame;
2. 15% destes alunos apontou que a possibilidade de ocorrer algum problema informático como bloqueio ou lentidão do sistema como uma desvantagem significativa;
3. A impossibilidade de escrever sobre o enunciado da prova foi também apontada por 15% destes alunos – foi sugerido por um aluno a possibilidade de ir excluindo opções consoante o raciocínio durante o exame, à semelhança do que é permitido em papel;
4. 10% destes alunos levantaram a questão da reduzida dimensão do texto como prejudicial à realização do exame;

92% dos alunos sugeriram ainda algumas medidas de melhoria da plataforma:

1. alteração do processo de revisão de prova, com acesso ao enunciado e respetiva correção, na presença de um docente ou funcionário administrativo;
2. melhoria de aspetos técnicos (rapidez, sistema de anotação, alteração do layout, possibilidade de destacar partes do enunciado);
3. atenção ao aspeto logístico: ter a preocupação de garantir que todos os alunos fazem o exame ao mesmo tempo, assim como permitir a saída da sala após a conclusão do exame;
4. importância de obter a nota no momento do fim do exame ou nas horas subsequentes, com o intuito de obter uma ideia global da sua prestação, tendo em conta que não houve tempo de os docentes reverem os pedidos de revisão intra-prova;
5. criação de uma comissão encarregue de analisar as perguntas no intuito de garantir que estão corretamente formuladas e que não há erros que levem à anulação das mesmas (através de relatórios de entidades de certificação de universidades e cursos internacionais);
6. maior contacto dos alunos com a plataforma ao longo do ano (resolução de exercícios em aulas práticas).

Conclusões do Inquérito da AEFCM

Considerando os 500 alunos que realizaram exames na plataforma medQuizz, a amostra de 63 alunos recolhida não pode ser considerada representativa. No entanto, é importante esta recolha de comentários e respostas, havendo assim possibilidade de melhoria da plataforma medQuizz.

Deste modo, e resumidamente:

• A maioria dos inquiridos afirma ter sido devidamente esclarecida acerca da utilização, não teve dificuldades na utilização do programa e considera ainda adequado o acompanhamento prestado pelos docentes e técnicos durante a prova;
• O sistema de revisão intra-prova – considerado inútil por 37% e utilizado por 43% dos inquiridos, sendo que, destes últimos, 89% não considerou esclarecedoras as respostas obtidas – foi a questão menos consensual;
• 5 das 6 UC’s negaram a consulta da prova. Este foi o ponto com mais queixas por parte dos alunos. Apesar da infalibilidade do cálculo das pontuações, os inquiridos afirmam que deve ser mantido o direito a consulta de prova, precisamente devido aos requisitos de revisão da mesma;
• A maioria dos alunos opõe-se à extensão da plataforma às restantes UC’s. Alguns inquiridos apenas se opõem em casos específicos, outros na totalidade;
• O balanço global feito pelos inquiridos é maioritariamente negativo: 56% dos inquiridos afirma que a plataforma não é vantajosa relativamente à realização de exames em papel;

É importante referir ainda que, na sequência da discussão do relatório realizado pela Associação de Estudantes em sede do Conselho Pedagógico, foi esclarecido que os problemas técnicos referidos (bloqueio e lentidão do sistema) serão solucionados, assim como a adequação do número de computadores ao número de estudantes a realizar a prova. Considerou-se ainda que a questão da revisão de prova não estava relacionada com o uso da plataforma, tendo sido remetida para uma revisão do Regulamento do MIM, e as recomendações estéticas feitas pela AE com o objectivo de reduzir o impacto negativo da permanência prolongada no computador não eram relevantes.

A plataforma medQuizz é um meio para o crescimento da validade e justiça da avaliação, pelo que a sua optimização é fulcral. Esta análise estatística deve assim contribuir para a melhoria da plataforma, com o intuito de torná-la capaz de avaliar corretamente os alunos, refletindo a real preparação dos mesmos.

INFORMATIZAÇÃO – O FUTURO DAS AVALIAÇÕES

Se é verdade que desde o seu início a avaliação informatizada sempre foi alvo de críticas e ceticismo, também é verdade que a sua conveniência, rapidez e eficiência fazem destes sistemas informáticos instrumentos cada vez mais utilizados, tendo permitido a emergência de métodos inovadores de avaliação. Cada vez mais arrojados e interativos, com algoritmos inteligentes, bases de perguntas dinâmicas e recursos multimédia, podemos esperar que este tipo de teste substitua o formato tradicional – ou mesmo que, quiçá, transforme os exames de papel e caneta em relíquias do século passado. Cabe-nos a nós a capacidade de adaptação, a mente aberta e o espírito crítico para contribuir para o aperfeiçoamento dos instrumentos que nos vão avaliar.