REGISTRO DOI: 10.69849/revistaft/th102410141531
Rodrigo Leite da Silva[1]
Ana Yara Serrano Gomes[2]
Jeane Facioli[3]
Marjorie Mendes Marini[4]
Resumo:
A pesquisa busca refletir sobre as métricas geradas pelos testes-progresso do curso de Biomedicina de uma universidade paulistana, comparando cenários pré e pós-pandemia. Os Testes-Progresso, aplicados semestralmente aos alunos do 1º ao 6º semestre, visam avaliar a continuidade e progressão do conhecimento adquirido, através de 36 questões no formato ENADE. Este estudo utiliza os resultados para processos de autoavaliação do curso, analisando a contribuição dos testes na consolidação da aprendizagem científica dos alunos com base na taxonomia de Bloom. A metodologia qualitativa adotou a análise documental dos desempenhos, considerando critérios como frequência por tipo de questão, porcentagem de acertos antes e depois da pandemia, e acertos por semestre, para identificar dificuldades em cada pilar da taxonomia. Os dados compararam os desempenhos de 2019 (pré-pandemia) e 2022 (pós-pandemia). Os resultados de 2019 mostraram progresso significativo: no primeiro semestre, os acertos variaram de 47,89% a 32,13% (diurno) e de 39,29% a 38,10% (noturno); no segundo semestre, variaram de 70,74% a 45,82% (diurno) e de 52,75% a 54,12% (noturno). Em 2022, os acertos no primeiro semestre ficaram entre 54,06% e 44,72% (diurno) e entre 30,34% e 46,76% (noturno); no segundo semestre, entre 48,33% e 35,33% (diurno) e entre 40,22% e 32,07% (noturno). Esses resultados indicam oscilações no desempenho pós-pandemia, sugerindo que a pandemia impactou o desempenho acadêmico dos estudantes, evidenciado pelas variações nos resultados dos testes-progresso.
Palavras-chave: Avaliação; pré e pós-pandemia; teste progresso; instrumento de avaliação.
Abstract
This study aims to reflect on the metrics generated by the progress tests in the Biomedicine major in a university in São Paulo, comparing pre- and post-COVID-19 pandemic contexts. The progress tests, applied every semester to students between the first ad sixth semesters, aim to assess the continuity and progression of knowledge acquired, through 36 questions in the format of the National Student Performance Exam (ENADE). This study uses the results for self-assessment processes of the major, analyzing the contribution of tests to the consolidation of students’ scientific learning based on Bloom’s taxonomy. The qualitative methodology adopted documental analysis of performances, considering criteria such as frequency per type of question, percentage of right answers before and after the pandemic and right answers per semester, in order to identify difficulties in each base of the taxonomy. Data compared the performances of 2019 (pre-pandemic) and 2022 (post-pandemic). The results in 2019 showed significant progress: in the first semester, right answers varied from 47.89% to 32.13% (day course) and from 39.29% to 38.10% (evening course); in the second semester, they varied from 70.74% to 45.82% (day course) and from 52.75% to 54.12% (evening course). In 2022, right answers in the first semester varied between 54.06% and 44.72% (day course) and between 30.34% and 46.76% (evening course); in the second semester, between 48.33% and 35.33% (day course) and between 40.22% and 32.07% (evening course). These results indicate oscillations in the post-pandemic performance, suggesting that the pandemic impacted the students’ academic performance, which was made evident by the variations in the results of the progress tests.
Keywords
Assessment ‒ Pre- and post-pandemic ‒ Progress test ‒ Assessment tool.
1 INTRODUÇÃO
A avaliação se estrutura como um dos pilares fundamentais para o desenvolvimento do trabalho pedagógico, pois tem caráter multidimensional, e compreendê-la enriquece o debate sobre a educação no Ensino Superior.
No que tange ao seu caráter multidimensional, reconhece que os alunos apresentam conhecimentos, habilidades e características que ultrapassam o que é tradicionalmente medido em testes padronizados, em função de avaliar não somente conhecimentos acadêmicos, como também competências socioemocionais relacionadas à criatividade, pensamento crítico entre outros aspectos importantes para o desenvolvimento integral dos alunos (Hoffman, 2003).
Nesse sentido, a compreensão da avaliação em diversificados formatos, momentos e espaços demonstra que ela ocorre em contextos tanto formais quanto informais, por meio de múltiplas práticas avaliativas. Tais práticas podem ser classificadas, entre outras possibilidades, como diagnósticas, somativas ou formativas.
As práticas avaliativas diagnósticas são realizadas no início de um processo de ensino-aprendizagem com o intuito de identificar o nível de conhecimento, habilidades, competências e necessidades dos estudantes. Seu objetivo é diagnosticar suas dificuldades e potencialidades, permitindo ao professor planejar adequadamente o processo educativo. Geralmente é aplicada antes de iniciar um curso, unidade ou tema e pode envolver testes, questionários, observações ou entrevistas.
A avaliação somativa é organizada ao final do período de ensino-aprendizagem com a finalidade de avaliar o conhecimento adquirido pelos envolvidos no processo. Seu objetivo é atribuir uma nota ou julgamento sobre o desempenho dos estudantes em relação aos objetivos de aprendizagem estabelecidos. Frequentemente é realizada por meio de testes, provas ou trabalhos finais e é utilizada para tomar decisões sobre a progressão dos alunos, como aprovação, reprovação ou certificação (Haydt, 2008).
A avaliação formativa ocorre durante todo o processo de ensino-aprendizagem, com o propósito de monitorar o progresso dos alunos, identificar dificuldades e ajustar as estratégias de ensino. Seu foco principal é no desenvolvimento do estudante, proporcionando feedback contínuo para que ele possa melhorar seu desempenho. A avaliação formativa não é usada para atribuir notas, mas sim para fornecer informações que orientem o processo de ensino (Black; Wiliam, 2009).
Compreender o desenho e a natureza dos instrumentos de avaliação pode contribuir para avançar sobre o debate acerca da organização do trabalho pedagógico, seus limites e potencialidades, direcionando-o para planejamento de rotinas acadêmicas democráticas comprometidas com a aprendizagem dos estudantes envolvidos no processo.
Não é possível realizar avaliação sem ação, e apenas conseguimos compreender seu significado ao analisar como é implementada pelos professores. Dessa forma, segundo o esquema de Luckesi (2013), avaliar envolve observar, julgar e agir em um ciclo contínuo e para compreendermos melhor a forma como os professores aplicam a avaliação, é essencial discorrer sobre quais são os instrumentos de avaliação e como são utilizados por eles, a fim de examinarmos as abordagens da avaliação que eles empregam.
Em termos gerais, a avaliação é uma prática complexa (Justina; Ferraz, 2009), visto que envolve compromissos éticos, epistemológicos, pedagógicos, técnicos, metodológicos, psicológicos e culturais, os quais formam um referencial pedagógico nem sempre reconhecido, ainda que suas intencionalidades e seus objetivos de ensino se direcionem para a aprendizagem dos estudantes envolvidos no processo. Nesse âmbito,
A avaliação ou a didática, em termos alargados, necessitam que a escola seja o local da produção de conhecimentos e de rupturas com o que está posto. Articular imaginação e técnica pelo processo dialético e dialógico numa constante retificação em busca de um conhecimento objetivo, em especial da avaliação, se faz fundamental para se compreender, analisar e implementar práticas que ultrapassem a tradição avaliativa e que não podem estar desassociadas da sua construção histórica e epistemológica (Brito; Lucena; Vieira, 2020, p. 183).
Conforme a perspectiva de Freitas et al. (2009), a avaliação é uma reflexão sobre questões observadas ou medidas para a tomada de decisão futura, tornando-se crucial não apenas a utilização de diversificados instrumentos de avaliação, mas também a clareza em relação à sua finalidade e aplicação. Entre as diferentes abordagens possíveis, encontram-se processos avaliativos que incluem diferentes métodos de medição e feedback, juntamente com a consciência dos participantes no processo, com o objetivo de promover práticas mais formativas.
Dessa maneira, a avaliação não se limita à escola ou ao espaço acadêmico-universitário, mas são nestas instituições que ocorrem de forma intencional e sistemática. Definida como a atribuição de qualidade a algo – seja uma ação, experiência, situação ou objeto – a prática de avaliar é inerente ao ser humano, uma vez que ao longo da vida será avaliado e, também avaliará outras pessoas em suas ações (Luckesi, 2013).
Conforme ressaltado por Luckesi (2013), no âmbito educacional, é importante distinguir entre verificação e avaliação. Enquanto a verificação se limita à constatação, encerrando-se com a obtenção dos dados desejados, a avaliação requer uma reflexão sobre os dados coletados, exigindo uma tomada de posição e decisão com base neles.
Embora seja comumente associada à medida – realização de testes e atribuição de notas para aprovação e reprovação – a avaliação não se resume a isso e não pode ser considerada uma ação que permita uma medida exata. Conforme apontado por Hadji (2001), há frequentemente uma grande disparidade de notas para um mesmo trabalho ou produto quando analisados por diferentes avaliadores. Isso ocorre porque o julgamento dos professores envolve necessariamente uma interpretação ligada ao contexto escolar e a fatores sociais, baseando-se na representação que o avaliador tem do aluno e em suas convicções.
Diante desse cenário, o propósito dessa pesquisa é possibilitar reflexões sobre a maneira como a Educação Cientifica e Tecnológica se organiza, se materializa e se registra, no âmbito da Avaliação do Progresso, do curso de graduação em Biomedicina de um centro universitário paulistano, com vistas a possibilitar a formação científica e tecnológica dos seus graduandos, consoante às necessidades contemporâneas propostas pelo cenário pós-pandêmico.
O teste-progresso ou avaliação do progresso é uma ferramenta utilizada pelo curso, com a finalidade de avaliar se o conhecimento adquirido ao longo do processo de aprendizagem vem sendo construída num contínuo, progressivo e devidamente consolidado em todas as áreas de competência para o desenvolvimento do profissional biomédico. Esta avaliação abrange todos os discentes que se encontram matriculados do 1o ao 6o semestres, pois cursam disciplinas teórico-práticas, conforme previsto em sua matriz curricular. A prova, de participação obrigatória e semestral, é composta por 36 questões nos moldes Exame Nacional de Desempenho de Estudantes (ENADE), sendo 6 questões referentes a cada um dos semestres do curso e integra uma das etapas que organizam processo avaliativo dos estudantes supracitados.
Esta avaliação está sincronizada a taxonomia de Bloom que se define de forma clara e estruturada a objetivos instrucionais, levando em consideração a aquisição de conhecimentos e competências alinhados ao perfil profissional a ser formado, assim como orientará todo o processo de ensino. Isso inclui a escolha apropriada de estratégias, métodos de ensino, delimitação do conteúdo específico, instrumentos de avaliação e, por conseguinte, promoverá uma aprendizagem eficaz e duradoura.
Segundo Anderson (1999) e Bloom et al. (1956), vários pesquisadores utilizaram dessa terminologia conceitual baseada em classificações estruturadas e orientadas para definir algumas teorias instrucionais. Duas das inúmeras vantagens de se utilizar a taxonomia no contexto educacional são:
- Fornecer uma base para a criação de instrumentos de avaliação e a implementação de estratégias variadas para facilitar, avaliar e promover o desempenho dos alunos em diferentes estágios de aquisição de conhecimento;
- Encorajar os educadores a orientarem seus alunos de maneira estruturada e consciente na obtenção de competências específicas, reconhecendo a importância de dominar habilidades mais básicas (fatos) antes de abordar as mais avançadas (conceitos).
Logo, a integração dos conceitos teóricos de avaliação com a Taxonomia de Bloom oferece uma abordagem abrangente e estruturada para o desenvolvimento de práticas educacionais mais eficazes. Ao definir objetivos instrucionais claros e alinhados aos perfis profissionais desejados, os educadores podem selecionar estratégias de ensino adequadas, delimitar conteúdos específicos, criar instrumentos de avaliação pertinentes e, assim, promover uma aprendizagem significativa e duradoura. Além disso, ao estimular os alunos a progredirem de habilidades mais simples para as mais complexas de maneira consciente e estruturada, os educadores podem ajudá-los a alcançar um domínio mais profundo dos conceitos e competências necessários para o sucesso acadêmico e profissional.
2 PRESSUPOSTOS TEÓRICOS
Os níveis de complexidade que permeiam a Avaliação do Progresso, analisada nessa pesquisa, ocorrem no contexto da taxonomia de Bloom. Essa vertente teórico-metodológica tem por propósito facilitar a identificação dos objetivos relacionados ao desenvolvimento cognitivo, pois compreende a aquisição de conhecimentos, competências e atitudes, a partir do domínio de um campo do conhecimento em que se destacam as seguintes subcategorias: lembrar, compreender, aplicar, analisar, avaliar e criar (Krathwohl, 2002).
Compreende também o desenvolvimento afetivo, pois integra os problemas emocionais, relacionados ao desenvolvimento emocional e afetivo, no âmbito do comportamento, atitude, responsabilidade e valores (Mello; Almeida Neto; Petrillo, 2017).
Contribui, também, para o desenvolvimento psicomotor, no contexto da velocidade das técnicas de execução, reflexos, percepção, habilidades físicas e comunicação verbal (Mello; Almeida Neto; Petrillo, 2017).
Entende-se, dessa forma, que no decorrer do curso de Biomedicina se execute uma crescente nos níveis dessa taxonomia, pois sua relevância se destaca quando se elabora processos avaliativos para consolidar a interface entre ensino-aprendizagem.
Os três domínios (cognitivo, afetivo e psicomotor) têm sido exaustivamente explorados e debatidos por uma variedade de pesquisadores. Contudo, o domínio cognitivo emerge como o mais reconhecido e empregado, especialmente em ambientes escolares e no campo da educação de maneira ampla. Ele influencia diretamente o planejamento educacional, definição de objetivos instrucionais, escolha de estratégias de ensino e implementação de sistemas de avaliação (Mello; Almeida Neto; Petrillo, 2017).
A principal contribuição de Bloom e dos pesquisadores que colaboraram com ele foi reconhecer que todos os alunos têm a capacidade de aprender, porém, as discrepâncias residem nos diferentes níveis de abstração e profundidade do conhecimento adquirido por cada indivíduo. Vale ressaltar que é essencial desconsiderar as variáveis externas dos ambientes nos quais os indivíduos estão inseridos ao avaliar seu desempenho e compreender seu processo de aprendizagem (Anderson et al., 2001).
O educador pode ter expectativas e diretrizes para o processo de ensino que não são oficialmente declaradas, mas que farão parte do processo de avaliação da aprendizagem. É notório que é mais fácil atingir objetivos quando estes estão definidos, entretanto fica mais difícil, para os discentes, atingirem o nível de desenvolvimento cognitivo, por não saberem exatamente o que deles é esperado durante e após o processo de ensino (Ferraz; Belhot, 2010, p. 421).
É clara a premissa que aprender seja importante, mas utilizar o que aprendemos na resolução de problemas é o que diferencia um bom profissional de um reprodutor de informações. A taxonomia possui uma ordem clara de complexidade de avaliação. Da base em direção ao topo temos que: lembrar, compreender, aplicar, analisar, avaliar e criar. A forma de condução da sessão de aprendizado pode contemplar níveis específicos da pirâmide, proposta pela taxonomia, dependendo de como a discussão é conduzida. O avaliador deve ter claro:
a) Como cada objetivo é avaliado;
b) Quais as oportunidades de aprendizado;
c) Quais os conceitos necessários para atingir cada objetivo (Krathwohl, 2002).
Figura 1 – Relação da taxonomia de Bloom renomeada por Krathwohl (2002)
Fonte: Mello, Almeida Neto e Petrillo (2017, p. 78).
Nesse sentido, as competências e objetivos de aprendizagem relacionados à formação biomédica que devem ser contemplados, envolvem conhecimento – habilidade – atitude, organizados em diferentes etapas da matriz curricular do curso de Biomedicina, analisado nessa pesquisa, sincronizadas com a estrutura vigente na taxonomia de Bloom.
As referidas etapas estão ancoradas nos contextos científico, tecnológico e social, sendo uma disciplina científica que apresenta como objeto as relações pedagógicas e a transposição dos conceitos científicos, assim como história das ciências e as respectivas trilhas que efetivam a construção dos saberes científicos necessários a atuação biomédica como: (a) Trilha ético-profissional; (b) Trilha forma e função; (c) Trilha infecciosa; (d) Trilha Clínica; (e) Trilha Diagnóstica; (e) Trilha Camiliana; (f) Trilha Biomedicina-Farmácia. Pois explicitam:
Atividades simuladas ou práticas em condições reais são realizadas em laboratórios. De forma inovadora e muitas vezes inédita, discentes são incluídos em programas de caráter extensionista e de iniciação científica divulgados por intermédio de editais, quando terão a oportunidade de começar a construir seu próprio currículo e, concomitantemente, iniciar práticas profissionais ligadas à sua área de interesse na carreira biomédica. Ademais, a utilização de metodologia de ensino inovadoras adotadas no curso de Biomedicina proporciona que o corpo docente tenha uma atualização contínua tanto com relação às novas técnicas de ensino quanto ao uso e atualização das tecnologias educacionais (CUSC, 2022, p. 54).
Os objetivos educacionais contemplados envolvem: conhecimento sobre o tema, que deverão ser listados e descritos; compreensão sobre o tema, uma vez que deverá estar claro para o quê serve; aplicação, ou seja, como utilizá-lo na resolução; análise, para que seja possível a comparação e a explicação sobre os resultados obtidos, antes e depois da intervenção do profissional; avaliação no momento da justificativa da intervenção (aplicação). O que neste momento acaba sendo digno de nota é quase um consenso no processo educacional citado por Piaget (1970, p. 53, tradução nossa) em que: “o principal objetivo da educação é criar pessoas capazes de fazer coisas novas e não simplesmente repetir o que outros fizeram”. Ser inventivo, crítico e com grande capacidade de resolver problemas após a curadoria do conhecimento e seu uso de modo pragmático.
Assim, os aspectos da taxonomia de Bloom se consolidam na execução das diferentes etapas que estruturam a matriz curricular do curso analisado. Todos os aspectos da taxonomia organizam os objetivos de aprendizagem de forma hierárquica, do mais simples ao mais complexo, conforme descrito pelo Projeto Pedagógico de Curso. Nesse âmbito, sua relevância no ensino superior reside na sua constante atualização para acompanhar os avanços estratégicos e tecnológicos na educação.
3 METODOLOGIA
A metodologia adotada foi de caráter qualitativo e se explorou a análise documental que reflete o desempenho dos estudantes do referido curso.
Na fase de análise dos documentos, o objetivo foi gerar ou redefinir conhecimentos e desenvolver novas perspectivas sobre os fenômenos estudados. Embora os fatos sejam essenciais como pontos de partida da pesquisa, por si só, eles não oferecem uma explicação completa. É papel do pesquisador interpretar os fatos, sintetizar as informações, identificar tendências e, na medida do possível, fazer inferências (Cellard, 2008).
Conforme May (2004), os documentos não devem ser considerados de forma isolada; eles precisam ser contextualizados dentro de uma estrutura teórica para que seu conteúdo seja compreendido.
Após a seleção e uma análise preliminar dos documentos, a pesquisa avançou para a análise dos dados. Neste estágio, foi crucial reunir todas as partes relevantes, como os elementos da problemática ou do referencial teórico, o contexto, os autores, os interesses envolvidos, a confiabilidade das fontes e a natureza do texto, a fim de extrair conceitos e insights significativos (May, 2004).
Nesse sentido, comparou-se a performance de desempenho dos alunos na prova do progresso pré-pandemia no ano de 2019 e pós-pandemia no ano de 2022, levando-se em consideração cada semestre do curso.
Para isso, foram utilizados e analisados inicialmente os seguintes dados:
- Lista de alunos matriculados;
- Lista de alunos que realizaram a prova;
- Lista de alunos com as suas respostas para cada questão e pontuação;
- Lista de alunos e o semestre em que se encontravam nas datas analisadas;
- Lista de alunos separadas por período matutino e noturno.
Para a avaliação e análise dos dados, separou-se em categorias de modo a melhor compreendermos as informações:
- Índice de Adesão dos Alunos por Semestre: comparados os alunos previstos para a realização da prova com os alunos que realmente fizeram a prova, sendo o índice de adesão a divisão entre eles.
- Índice de Adesão: (Alunos Realizado/Alunos Realizados) * 100%.
- Índice de Performance dos Alunos por Semestre: Comparadas as pontuações mínimas, médias, máximas e desvio padrão, considerando-se os semestres letivos e separados por período.
- Índice de Pontuação Média/semestre letivo: (Soma da Pontuação de Cada Aluno/Quantidade de Alunos que fizeram a prova) * 100%.
- Índice de Pontuação Mínima: Menor pontuação identificada para um aluno.
- Índice de Desvio Padrão: A fórmula diz que o desvio-padrão é a raiz quadrada da somatória da diferença entre cada um dos elementos do conjunto com a média, dividido pela quantidade de elementos do conjunto.
O desvio padrão (DP) é calculado usando-se a seguinte fórmula:
Sendo,
∑: símbolo de somatório. Indica que temos que somar todos os termos, desde a primeira posição (i=1) até a posição n
xi: valor na posição i no conjunto de dados
MA: média aritmética dos dados
n: quantidade de dados - Índice de Pontuação Média/semestre letivo:
g.1) Índice de Pontuação Média/semestre letivo/semestre cursado/período: (Soma da Pontuação de cada Aluno para cada semestre em curso, período e semestre letivo/soma da quantidade de aluno em cada contexto) * 100%.
No que se refere aos dados que refletem a avaliação de acertos por questão/semestre letivo:
Foi realizada a soma das respostas de cada alternativa para cada semestre e após, esta foi dividida pela soma total de respostas de todas as alternativas e de todos os semestres e, multiplicado por 100% para obtenção dos valores em percentual.
Do mesmo modo, foi avaliado o percentual total geral das respostas de cada alternativa.
Após a obtenção dos dados acima descritos realizou-se, como mencionado anteriormente, a comparação dos dados obtidos em 2019 e 2022.
A análise documental também incluiu uma criteriosa avaliação dos componentes utilizados na elaboração da estrutura das questões objetivas presentes nas avaliações do progresso que foram aplicadas em 2019 e 2022. As questões foram classificadas de acordo com a tipologia que segue: 1- Resposta única; 2- Afirmação incompleta; 3- Resposta múltipla; 4- Foco negativo; 5- Asserção – razão; 6- Lacuna; 7- De interpretação; 8- Associação; 9- Ordenação ou seriação 10- Alternativas constantes.
Algumas questões componentes do processo avaliativo tinham caráter misto, entretanto, após análise, a característica preponderante utilizada na elaboração da questão foi selecionada para a sua classificação. Esta classificação foi de suma importância para que o teor do processo avaliativo pudesse ser associado com a taxonomia revisada de Bloom, a qual permite uma inter-relação entre o tipo de questão e a habilidade que deve estar consolidada no processo de aprendizagem do aluno.
Em relação ao grau de complexidade da referida taxonomia, compreende-se que sua estrutura se organiza em forma de pirâmide, em que é possível associar da base para o ápice as seguintes capacidades: lembrar, compreender, aplicar, analisar, avaliar e criar. A relação entre os extratos da pirâmide e a tipologia das questões segue abaixo:
Quadro 1 – Níveis da taxonomia associada à tipologia de questões
| Nível da taxonomia | Tipologia de questões |
| – Criar | – Interpretação |
| – Avaliar | – Asserção-razão |
| – Analisar | – Associação |
| – Aplicar | – Resposta única; Alternativa constante |
| Compreender | – Lacuna; Associação; Ordenação ou seriação |
| Lembrar | – Resposta única; Afirmação incompleta; Foco negativo. |
Fonte: Elaborado pelos autores (2023).
Na metodologia utilizada para a análise do teor e grau de complexidade da prova foram observados para cada questão:
– O objetivo principal a ser contemplado
– As oportunidades de aprendizado averiguadas
– A necessidade de conceitos básicos necessários para atingir cada objetivo.
4 RESULTADOS
O desenvolvimento cognitivo de indivíduos para compreender a colaboração dos testes-progresso no âmbito de suas aprendizagens, requer uma estrutura hierárquica que habilite a aplicação e transferência interdisciplinar do conhecimento adquirido no momento apropriado, como propõe a Taxonomia de Bloom. No entanto, tal progresso depende de um planejamento cuidadosamente estruturado, que inclua objetivos claros (tanto gerais quanto específicos), definição precisa dos conteúdos, seleção criteriosa de estratégias e instrumentos de avaliação. Estes últimos são fundamentais para avaliar a aquisição de conhecimento e para orientar ajustes corretivos e formativos ao longo do processo educacional.
Dessa maneira, para a análise adotou-se como critério: a frequência por tipologia de questão, pois explora pontualmente os pilares da taxonomia de Bloom; porcentagem de acertos pré e pós-pandemia, com vistas a identificação da mudança de cenário; porcentagem de acerto por tipo de questão, visando identificar em qual dos pilares da taxonomia se encontrou mais dificuldades e porcentagem de acerto por semestre. Para o tratamento dos dados, compreendeu-se como: cenário 1 (análise de desempenho do ano de 2019 – pré-pandemia); cenário 2 (análise de desempenho do ano de 2022 – pós-pandemia).
4.1 Frequência por tipologia de questão
Ao levantar a frequência por tipologia de questão, verifica-se a aplicação dos instrumentos que facilitam a compreensão da Taxonomia de Bloom e o quanto esta desempenha um papel crucial no mapeamento da aprendizagem dos estudantes da graduação. Trata-se de um sistema de classificação hierárquica de objetivos de aprendizagem, que vai do mais simples ao mais complexo, e pode ser empregado para estruturar, organizar e planejar disciplinas, cursos ou módulos instrucionais.
Dessa maneira, a Taxonomia de Bloom se torna particularmente adequada para o ensino no âmbito da graduação, devido a sua contínua avaliação e atualização, levando em consideração os avanços estratégicos e tecnológicos incorporados ao meio educacional nos últimos anos.
Gráfico 1 – Número de questões por tipologia 2019 e 2022 (Matutino)
Fonte: Elaborado pelos autores (2023).
Conforme o gráfico 01, em 2019/1, foram elaboradas para o teste-progresso um expressivo de número de questões no âmbito de: 06 questões de resposta única e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar lembrar. Foram realizadas 06 questões de respostas múltiplas e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar aplicar. Houve, nesse mesmo período, alta incidência em questões de interpretação, totalizando 15 e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar criar.
Em 2019/2 foram 08 questões de respostas múltiplas e conforme os aspectos da taxonomia de Bloom estão sincronizados no pilar aplicar. Houve 07 questões de asserção razão e conforme os aspectos da taxonomia de Bloom estão sincronizados no pilar avaliar. Ressalta-se, nesse período, ainda a elaboração de 09 questões de intepretação e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar criar.
Em 2022/1, foram elaboradas 04 questões de resposta única, 07 de foco negativo e conforme os aspectos da taxonomia de Bloom estão sincronizados no pilar lembrar. Foram elaboradas 06 questões de respostas múltiplas e estão sincronizadas no pilar avaliar. Assim como, foram elaboradas 08 questões de interpretação e estão sincronizados no pilar criar.
No que se refere à 2022/2, foram elaboradas 12 questões de resposta única e 04 de foco negativo e conforme os aspectos da taxonomia de Bloom estão sincronizados no pilar lembrar. Houve também 04 questões de respostas múltiplas e está sincronizada ao pilar avaliar. Assim como, foram elaboradas 13 questões de interpretação e conforme os aspectos da taxonomia de Bloom estão sincronizados no pilar criar.
Gráfico 2 – Número de questões por tipologia 2019 e 2022 (Noturno)
Fonte: Elaborado pelos autores (2023).
Conforme o gráfico 02, em 2019/1, foram elaboradas para o teste-progresso um expressivo de número de questões no âmbito de: 09 questões de resposta única e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar lembrar. Foram produzidas 06 questões de respostas múltiplas e estão sincronizados ao pilar aplicar. Houve, nesse mesmo período, alta incidência em questões de interpretação, totalizando 14 e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar criar.
Em 2019/2 foram 07 de resposta única, 07 questões de afirmação incompleta e conforme os aspectos da taxonomia de Bloom estão sincronizados no pilar lembrar. Foram realizadas 07 questões de respostas múltiplas e estão sincronizados ao pilar aplicação. Houve também 05 questões de asserção razão e conforme os aspectos da taxonomia de Bloom estão sincronizados no pilar avaliar. Ressalta-se, nesse período, ainda a elaboração de 06 questões de intepretação e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar criar.
No que se refere à 2022/1 foram elaboradas para o teste-progresso um expressivo de número de questões no âmbito de: 10 questões de resposta única e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar lembrar. Foram produzidas 05 questões de respostas múltiplas e estão sincronizados ao pilar aplicar. Houve, também, questões de interpretação, totalizando 11 e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar criar.
Em relação à 2022/2 foram elaboradas para o teste-progresso um expressivo de número de questões no âmbito de: 13 questões de resposta única e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar lembrar. Houve incidência em questões de interpretação, totalizando 09 e conforme os aspectos da taxonomia de Bloom estão sincronizadas no pilar criar.
4.2 Porcentagem de acertos pré e pós-pandemia
Nesse momento, intencionou-se a descrição dos impactos dos resultados gerados pelo referido instrumento de avaliação nos contextos pré e pós-pandemia. Dessa forma, a porcentagem de acertos pré e pós-pandemia, com vistas a identificação da mudança de cenário; porcentagem de acerto por tipo de questão, visando identificar em qual dos pilares da taxonomia se encontrou mais dificuldades e porcentagem de acerto por semestre. Para o tratamento dos dados, compreendeu-se como: cenário 1 (análise de desempenho do ano de 2019 – pré-pandemia); cenário 2 (análise de desempenho do ano de 2022 – pós-pandemia).
4.2.1 Cenário 1 – Análise de desempenho pré-pandemia (2019)
Os dados mobilizados para a construção do cenário 1, referem-se a análise dos resultados do ano de 2019, ano precedente à pandemia e estão descritos nos gráficos 03, 04, 05 e 06 desta publicação.
Gráfico 3 – Porcentagem de acerto x questões por semestre (Matutino 2019/01)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período matutino, no que se refere ao número de acertos: 47,89% diante das questões que se referem ao 1º semestre e de 32,13% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo às expectativas de desempenho preconizadas.
Gráfico 4 – Porcentagem de acerto x questões por semestre (Noturno 2019/01)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período noturno, no que se refere ao número de acertos: 39,29% diante das questões que se referem ao 1º semestre e de 38,10% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo às expectativas de desempenho preconizadas.
Gráfico 5 – Porcentagem de acerto x questões por semestre (Matutino 2019/02)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período matutino, no que se refere ao número de acertos: 70,74% diante das questões que se referem ao 1º semestre e de 45,82% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo às expectativas de desempenho preconizadas.
Gráfico 6 – Porcentagem de acerto x questões por semestre (Noturno 2019/02)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período noturno, no que se refere ao número de acertos: 52,75% diante das questões que se referem ao 1º semestre e de 54,12% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo às expectativas de desempenho preconizadas.
Os resultados obtidos indicam que o desempenho dos estudantes do diurno e noturno, no que se refere ao número de acertos: cenário 1, primeiro semestre de 2019, entre 47,89% e 32,13% (diurno) e 39,29% e 38,10% (noturno). O segundo semestre do corrente ano, entre 70,74% e 45,82% (diurno) e 52,75 e 54,12 (noturno).
4.2.2 Cenário 2 – Análise de desempenho pós-pandemia (2022)
Os dados mobilizados para a construção do cenário 2, referem-se a análise dos resultados do ano de 2022, ano precedente à pandemia e estão descritos nos gráficos 07, 08, 09 e 10 desta publicação.
Gráfico 7 – Porcentagem de acerto x questões por semestre (Matutino 2022/01)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período matutino, no que se refere ao número de acertos: 54,06% diante das questões que se referem ao 1º semestre e de 44,72% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo melhora no desempenho, comparando-se ao período de 2019/01.
Gráfico 8 – Porcentagem de acerto x questões por semestre (Noturno 2022/01)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período noturno, no que se refere ao número de acertos: 30,34% diante das questões que se referem ao 1º semestre e de 46,76% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo minimização do desempenho nas questões que se referem ao 1º semestre e aumento progressivo no desempenho, no que tange às questões que pertencem o 6º semestre, comparando-se aos resultados descritos em 2019/01.
Gráfico 9 – Porcentagem de acerto x questões por semestre (Matutino 2022/02)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período matutino, no que se refere ao número de acertos: 48,33 % diante das questões que se referem ao 1º semestre e de 35,33% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo minimização do desempenho nas questões que se referem ao 1º semestre, assim como minimização no desempenho, no que tange às questões que pertencem o 6º semestre, comparando-se aos resultados descritos em 2019/02.
Gráfico 10 – Porcentagem de acerto x questões por semestre (Noturno 2022/02)
Fonte: Elaborado pelos autores (2023).
Os resultados obtidos indicam que o desempenho dos estudantes do período matutino, no que se refere ao número de acertos:
40,22 % diante das questões que se referem ao 1º semestre e de 32,07% para as questões que se referem ao 6º semestre do curso de graduação em que se encontram matriculados, refletindo minimização do desempenho nas questões que se referem ao 1º semestre, assim como minimização no desempenho, no que tange às questões que pertencem o 6º semestre, comparando-se aos resultados descritos em 2019/02.
5 DISCUSSÕES
Os resultados demonstram que a Taxonomia de Bloom é uma ferramenta valiosa para levantar os insumos relacionados ao desempenho acadêmico do estudante, no que se refere às etapas que estruturam sua respectiva construção do conhecimento no Ensino Superior.
Orienta a identificação das dificuldades apresentadas pelos estudantes, ao longo da sua trajetória, levando à equipe pedagógica (docentes, Núcleo Docente Estruturante (NDE), colegiado e coordenação) a refletir e repensar quais intervenções serão realizadas, ao encontro das necessidades levantadas, pois permite classificar os objetivos educacionais em diferentes níveis cognitivos (Oliveira; Pontes; Marques, 2016).
Nesse sentido, foi observado que a Avaliação Progresso ou Teste Progresso está em consonância à taxonomia, foi possível levantar indicadores sobre o desempenho dos alunos em cada nível (Krathwohl, 2002), conforme descrito a seguir, a partir do cenário 1 (pré-pandemia) e cenário 2 (pós-pandemia):
No que se refere ao cenário 1, há a prevalência de questões do Teste Progresso que se encontram nos níveis:
a) Lembrar (23 questões): avalia a capacidade de recuperar conhecimentos relevantes da memória, verificando se os alunos reconhecem e reproduzem conceitos básicos.
b) Aplicar (13 questões): verifica se os estudantes conseguem usar o conhecimento adquirido para resolver problemas, exigindo a aplicação de procedimentos a situações novas.
c) Avaliar (05 questões): mede o julgamento crítico e a tomada de decisão, envolvendo fazer julgamentos baseados em critérios e padrões.
d) Criar (20 questões): verificar a habilidade de combinar partes para formar algo original e coerente, requerendo o planejamento, produção ou geração de algo novo.
Esses critérios indicam a distribuição das questões nos diferentes níveis da Taxonomia de Bloom, refletindo a diversidade de habilidades cognitivas avaliadas, desde a simples lembrança até a capacidade de criar algo e original.
Ao elaborar avaliações que contemplem esses diferentes níveis, é possível obter um retrato mais completo do processo de aprendizagem. Isso permite identificar em quais áreas os alunos apresentam maior domínio e quais precisam de mais atenção, subsidiando melhorias no ensino.
Ao analisar o desempenho dos estudantes do diurno e noturno, no que se refere ao número de acertos: cenário 1, primeiro semestre de 2019, entre 47,89% e 32,13% (diurno) e 39,29% e 38,10% (noturno). O segundo semestre do corrente ano, entre 70,74% e 45, 82% (diurno) e 52,75 e 54,12 (noturno). Conforme a prevalência dos tipos de questões sinalizados nesse cenário, verificou-se:
Há diversidade de habilidades avaliadas, pois foi constatado a presença de questões em todos os níveis da taxonomia (Lembrar, Aplicar, Avaliar e Criar), demonstrando uma abordagem abrangente na avaliação do conhecimento e habilidades dos estudantes.
No entanto, pela frequência do tipo de questão, foi possível perceber a ênfase na memorização e aplicação. O maior número de questões nos níveis lembrar (23) e aplicar (13) indica uma preocupação em verificar se os alunos adquiriram conhecimentos básicos e são capazes de aplicá-los em situações práticas.
No que tange às contribuições da prova para o desenvolvimento do pensamento crítico, as questões que se encontram nos pilares avaliar (5) e criar (20) sugerem a tentativa em avaliar os estudantes em fazer julgamentos e tomar decisões com base em critérios estabelecidos assim como a capacidade de inovar, a partir de indicadores estabelecidos no cenário de construção de saberes científicos necessário à sua formação.
O cenário 2 os acertos do ano de 2022 estão situados entre: primeiro semestre 54,06 % e 44,72% (diurno) e 30,34% e 46,76% (noturno). O segundo semestre desse cenário está entre 48,33% e 35,33% (diurno) e 40,22% e 32,07% (noturno). Logo, é possível concluir que os dados indicam possíveis impactos da pandemia, no que tange a identificação do desempenho acadêmico, pois em 2019 houve progresso significativo. Já em 2022, há a oscilação no desempenho, dos estudantes do curso em análise, verificados a partir do instrumento de avaliação teste progresso.
Ao analisar os resultados do Teste Progresso em 2022, observa-se uma oscilação no desempenho dos estudantes em comparação a 2019. Essa variação pode estar relacionada a possíveis impactos da pandemia de COVID-19 no processo de ensino-aprendizagem. É importante considerar que a pandemia trouxe desafios significativos, como a necessidade de adaptação ao ensino remoto e a possíveis dificuldades emocionais e sociais enfrentadas pelos alunos.
Portanto, a análise do cenário 2 do Teste Progresso revela uma abordagem avaliativa abrangente e estruturada, alinhada aos diferentes níveis cognitivos. No entanto, os resultados de 2022 sugerem a necessidade de uma análise mais aprofundada sobre os possíveis impactos da pandemia no desempenho acadêmico dos estudantes, a fim de implementar estratégias de apoio e intervenção, quando necessário, para garantir a qualidade do ensino e o sucesso dos alunos.
6 CONCLUSÕES
A análise dos resultados dos Testes-Progresso no curso de Biomedicina revela uma abordagem avaliativa abrangente e estruturada, alinhada aos diferentes níveis cognitivos propostos pela Taxonomia de Bloom. Os dados obtidos nos cenários pré e pós-pandemia indicam possíveis impactos da crise pandêmica no desempenho acadêmico dos estudantes. Em 2019, observou-se um progresso significativo, enquanto em 2022, houve uma oscilação no desempenho, refletindo a complexidade do contexto educacional em tempos de pandemia.
A distribuição das questões nos diferentes níveis da Taxonomia de Bloom evidencia a diversidade de habilidades cognitivas avaliadas, desde a simples lembrança até a capacidade de criar algo original. A prevalência de questões nos níveis “Lembrar” e “Aplicar” sugere uma ênfase na memorização e aplicação de conhecimentos básicos, enquanto as questões nos níveis “Avaliar” e “Criar” indicam a tentativa de avaliar o pensamento crítico e a capacidade de inovação dos estudantes.
Os resultados apontam para a importância da Taxonomia de Bloom como uma ferramenta necessária para identificar as dificuldades dos estudantes e orientar intervenções pedagógicas. A análise dos dados revelou a necessidade de equilibrar os diferentes níveis cognitivos na avaliação do conhecimento dos alunos, fortalecendo a avaliação de habilidades de ordem superior, como a criatividade e o pensamento crítico.
Diante dessas constatações, foi possível verificar que a abordagem multifacetada dos Testes-Progresso proporciona uma avaliação abrangente e significativa das habilidades dos estudantes em diferentes domínios cognitivos, contribuindo para a formação de profissionais biomédicos competentes e preparados para os desafios contemporâneos que emergem do mundo do trabalho.
REFERÊNCIAS
ANDERSON, L. W. Rethinking Bloom’s Taxonomy: implication for testing and assessment. Columbia: University of South Carolina, 1999.
ANDERSON, L. W. et. al. A taxonomy for learning, teaching and assessing: a revison of Bloom’s Taxonomy of Educational Objectives. Nova York: Addison Wesley Longman, 2001.
Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5-31. https://doi.org/10.1007/s11092-008-9068-5.
BLOOM, B. S. et al. Taxonomy of educational objectives. New York: David Mckay, 1956.
BRITO, M. A. R. B.; LUCENA, I. C. R.; VIEIRA, E. P. P. Avaliação e pressupostos bachelardianos: tecendo relações para a formação docente em Ciências e Matemática. Amazônia- Rev. de Educ. em Ciências e Matemáticas, v.16, n. 36, p. 181-189, 2020. https://periodicos.ufpa.br/index.php/revistaamazonia/article/view/7308/6338.
CELLARD, A. A análise documental. In: POUPART, J. et al. A pesquisa qualitativa: enfoques epistemológicos e metodológicos. Petrópolis, Vozes, 2008. p. 295-316.
CENTRO UNIVERSITÁRIO SÃO CAMILO (CUSC). Projeto Pedagógico de Curso de Biomedicina. São Paulo: CUSC, 2022.
FERRAZ, A. E.; BELHOT, R. Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. 2010. https://www.scielo.br/j/gp/a/bRkFgcJqbGCDp3HjQqFdqBm/?format=pdf&lang=pt
FREITAS, Luiz Carlos de et al. Avaliação educacional: caminhando na contramão. Petrópolis: Vozes, 2009.
HADJI, Charles. Avaliação desmistificada. Porto Alegre: Artmed, 2001.
HAYDT, Regina Cazaux. Avaliação do processo ensino-aprendizagem. 6ª ed. São Paulo: Ática, 2008.
HOFFMANN, Jussara Maria Lerch. Avaliação: Mito e desafio: Uma perspectiva construtivista. Porto Alegre. Mediação, 2003.
JUSTINA, L. A. D.; FERRAZ, D. F. A prática avaliativa no contexto de Ensino de Biologia. In: CALDEIRA, A. M. A.; ARAUJO, E. S. N. N. (Org.) Introdução à didática da Biologia. São Paulo: Escrituras, 2009. p. 233-246.
KRATHWOHL, D. R. A revision of Bloom’s taxonomy: an overview. Theory in Practice, v. 41, n. 4, p. 212-218, 2002. https://www.depauw.edu/files/resources/krathwohl.pdf
LUCKESI, Cipriano Carlos. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 2013.
MAY, T. Pesquisa social: questões, métodos e processo. Porto Alegre, Artmed, 2004.
MELLO, Cleyson de Moraes; ALMEIDA NETO, José Rogério Moura de; PETRILLO, Regina Célia Pentagna. Enade e Taxonomia de Bloom – Maximização Dos Resultados Nos Indicadores de Qualidade. Rio de Janeiro: Freitas Bastos Editora; 2017.
OLIVEIRA, A.P.S.B.; PONTES, J.N.A.; MARQUES, M.A. O Uso da Taxionomia de Bloom no Contexto da Avaliação por Competência. Pleiade, 10(20): 12-22, Jul./Dez., 2016. Disponível em: https://pleiade.uniamerica.br/index.php/pleiade/article/download/306/423 Acesso em: 02/05/2024.
PIAGET, J. Le Struturalisme. Paris: P.U.F., 1970.
[1] Doutor em Língua Portuguesa com área de concentração em Ciências Humanas e Análise do Discurso pela PUC-SP. Docente do Centro Universitário São Camilo de São Paulo (CUSC-SP) desde 2016 nos cursos de Biomedicina; Psicologia e nas Trilhas Institucionais.
[2] Doutora em Biologia Molecular com área de concentração em Biofísica Celular pela UNIFESP (2002). Docente do Centro Universitário São Camilo de São Paulo (CUSC-SP) desde 2002 nos cursos de Biomedicina e Medicina.
[3] Mestre em Ciências pelo Instituto Adolfo Lutz, atuando na área de Microbiologia com ênfase em Microbiologia Clínica. Docente do Centro Universitário São Camilo de São Paulo (CUSC-SP) desde 2012 nos cursos de nos cursos de Biomedicina, Farmácia e Medicina.
[4] Doutora em Microbiologia pela UFMG (2009). Pós-doutorado em Parasitologia no DMIP-UNIFESP. Docente e pesquisadora do Centro Universitário São Camilo desde 2017 no curso de Biomedicina.