Autoavaliação provoca não só maior consciência e conhecimento institucional como também impacta a visão dos profissionais

No próximo mês de setembro, cinco meses depois de a lei do Sistema Nacional de Avaliação do Ensino Superior, o Sinaes, completar 20 anos, o Ministério da Educação deverá fazer uma chamada de consulta pública para análise de novas propostas para a avaliação de cursos e instituições. A percepção geral é de que muita água correu por debaixo da ponte de 2004 até hoje, com a configuração do ensino superior tendo sofrido mudanças profundas por fatores diversos: aumento significativo do número de estudantes e de instituições majoritariamente privadas, expansão exponencial do EAD, alta concentração de matrículas em poucas instituições – fruto do alto número de fusões e aquisições – e, como não poderia deixar de ser no cenário brasileiro, diversas novidades regulatórias.

O modelo de avaliação das IES, ao contrário do sistema como um todo, manteve-se com poucas modificações e hoje já não dá conta de sinalizar aos alunos e à sociedade as diferenças entre as instituições no plano da qualidade. “Em duas décadas, a política pública não mudou. O Sinaes não consegue mais depurar o sistema. As instituições aprenderam a regular a avaliação. Se pegarmos só a nota do Enade, que é a avaliação da aprendizagem, nem 20% das instituições têm conceitos 4 e 5, mas no processo de regulação feito pelo MEC três de cada quatro instituições vão bem, obrigado”, aponta Alexandre Nicolini, consultor que atua desde 2017 no apoio a instituições de ensino.

Como ele frisa, o Enade representa apenas 20% do CPC, o Conceito Preliminar de Curso estabelecido pelo Sinaes. Outros 35% da nota são relativos ao IDD (Índice do Desempenho Esperado), que compara notas do Enem e do Enade, medindo o que o curso agregou aos conhecimentos do aluno; a qualidade do corpo docente responde por outros 30% (número de doutores e mestres de tempo integral ou parcial e horistas) e a percepção deste acerca da formação proporcionada aos alunos outros 15%.

Além disso, falta rigor em alguns processos. “Há IES tirando nota 2 por três períodos seguidos de avaliação sem ser descredenciada”, diz Nicolini. Em acréscimo, o Inep padece de uma oferta de carreira que não satisfaz os seus técnicos. Em recente evento realizado em São Paulo, a ex-presidente do órgão, Maria Helena Castro, relembrou que desde sua primeira passagem por lá, ainda no governo Fernando Henrique, esse nó já existia. No governo Bolsonaro, muitos técnicos aproveitaram o mal-estar causado por gestões recheadas de neófitos e buscaram outros ares.

Valorização da autoavaliação

Porém, tudo que não vai bem tem a vantagem de poder ser modificado. Foi o que tentou fazer o Semesp desde o início do governo Bolsonaro. Os dois ministros inaugurais daquela gestão, Ricardo Vélez Rodriguez e Abraham Weintraub, fizeram ouvidos moucos para a tentativa de diálogo. A ideia central do Semesp foi a de retomar a ênfase nos princípios do próprio Sinaes, trazendo ao primeiro plano o processo de autoavaliação por meio das CPAs (Comissões Próprias de Avaliação) e a visão de que cada instituição deve ser analisada respeitando suas singularidades, e não partindo de um padrão geral.

Em maio de 2021, inicialmente com quatro instituições associadas (Unifran, PUC/PR, FHO e Cesupa), o Semesp resolveu trabalhar em uma proposta própria, independente do MEC, sob a coordenação de seu diretor de redes,

Fábio Reis. No final daquele mesmo ano já eram 11 IES e, após o Fnesp 2023, o número chegou a 46. Agora, em meados de 2024, o grupo está finalizando o 2.º ciclo de avaliações. Em abril, no evento dos 20 anos do Sinaes, em Brasília, os resultados do ciclo inicial foram apresentados e animaram até mesmo o diretor do Inep, Ulysses Tavares, para quem as instituições privadas estão construindo uma ferramenta que o próprio Inep deveria desenvolver. Por isso, acredita-se, o modelo deverá constar das propostas que estarão na consulta pública do governo.

Busca de consensos

Antes do 1.º ciclo de avaliações, realizado em 2022, houve um longo período de maturação do instrumento. Foram estudados sistemas de outros países e brasileiros, principalmente o próprio Sinaes, mas com a firme disposição de ultrapassá-lo em termos de depuração do olhar sobre as práticas institucionais.

“Nosso pensamento é induzir qualidade, planejamento e tomada de decisões para que haja melhoria contínua das instituições. Levamos um ano discutindo termos, critérios, indicadores. Foram reuniões semanais, todas as sextas-feiras, até que chegássemos a um consenso sobre cada item”, detalha Reis.

O Instituto Semesp tabulou os dados, que permitiram que cada instituição conhecesse seus próprios resultados e o das concorrentes, sem que estas fossem nominadas, mantendo a confidencialidade em relação às informações de cada instituição. A ideia comparativa é criar referência de benchmarking.

“Na nossa avaliação, ninguém gabaritou. No Inep, tem várias IES com nota 5. Nossa exigência foi maior. Por exemplo, no caso do indicador dos egressos, há uma série de critérios que algumas IES não têm”, exemplifica Reis, para demonstrar que o objetivo é ter uma visão mais real das instituições. “Pedimos que os resultados fossem apresentados para os reitores e que fossem feitos planos de melhoria”, completa.

Trajetórias e pilares

A consulta a referências internacionais foi fundamental para a decisão de construção do instrumento avaliativo. Foram analisados sistemas de avaliação do Chile, Colômbia, México, Estados Unidos (um modelo de acreditação regional) e Portugal. Destes, aqueles que se mostraram mais relevantes para o caso brasileiro foram os do Chile e da Colômbia. No caso do Chile, mais consolidado, a autoavaliação é o ponto de partida para todo o processo avaliativo. No processo colombiano o que chamou mais atenção foi o diálogo entre instituições públicas e privadas para construção do documento, sempre respeitando as características de cada IES.

Para Paulo Nogas, diretor de Regulação e Avaliação da PUC/PR, o modelo chileno “foi o mais inspirador”. A seguir, ele explica como se estruturou a avaliação: “listamos cinco áreas que correspondem a linhas importantes de atuação. Elas não coincidem com aquelas do recredenciamento do MEC. São elas: Desenvolvimento Institucional; Governança, Gestão e Recursos; Atuação Acadêmica/Políticas Acadêmicas; Sustentabilidade e Meta-avaliação e Maturidade.”

O gestor explica que tanto no item 2 (Gestão), como no 4 a sustentabilidade está em pauta, porém, com diferentes vieses. Na gestão, o que está em análise é a sustentabilidade financeira da instituição; no item 4, o olhar é para o entorno, a sociedade, numa perspectiva mais ligada a questões sociais, ambientais e econômicas.

Como detalha o projeto, “cada área apresenta um conjunto de indicadores selecionados pelo Grupo de Trabalho, para demonstrar as subdivisões das grandes áreas. Cada indicador é avaliado por um conjunto de descritores, que por sua vez apontam o nível em que a IES se encontra por ocasião da autoavaliação”.

Segundo Nogas, cada um desses descritores foi discutido até que se chegasse a um consenso. “Havíamos previsto seis meses para essa tarefa e acabamos levando quase um ano e meio. Isso porque havia percepções diferentes em relação a alguns conceitos. Precisamos chegar a um consenso”, explica. No caso dos termos que suscitaram mais debates, eles viraram objeto de um glossário.

Os exemplos dos dissensos ilustram a busca por precisão no processo. Houve, por exemplo, dúvida na utilização dos termos enquete e pesquisa para descrever consultas internas nas instituições. A redação final traz o termo enquete, pois essas consultas não têm o rigor metodológico de pesquisas, que pressupõem cientificidade. Outro caso foi o de transformação digital, vista ora como processo em curso, ora como substituição completa de tecnologias, acepção afinal escolhida.

Oportunidade de crescimento

A autoavaliação provoca não só maior consciência e conhecimento institucional como também impacta a visão dos profissionais. É o caso de Rafaela Cordeiro de Macedo, professora e uma das coordenadoras da CPA (Comissão Própria de Avaliação) do Centro Universitário do Pará (Cesupa). Quando assumiu o cargo, ela pouco conhecia sobre autoavaliação. “Apenas o processo de responder o questionário semestral que já tínhamos havia muito tempo, desde antes do Sinaes. Algumas demandas a gente percebia que eram solucionadas com mais rapidez, outras demoravam mais.”

Rafaela diz que não tinha noção da magnitude da autoavaliação quando assumiu a coordenação da CPA. O processo com o novo instrumento foi longo, e ela discutiu item a item com os gestores de área. Valeu a pena. “Percebemos que o planejamento ficou mais concreto. Além dos dados com que a Cesupa já trabalhava, foram utilizados também os indicados no projeto”. Houve, ainda, a percepção de que as respostas a alguns indicadores não serão alcançadas tão cedo, em função do tamanho e recursos da instituição. A intenção da Cesupa e do Semesp era essa, de respeitar o caráter regional da instituição.

A coordenadora mostrou-se muito satisfeita com sua atuação. “Existe uma Rafaela antes e uma depois do projeto do Semesp e da CPA. Adquiri uma visão que é ao mesmo tempo global, holística e também atenta às particularidades. Cresci muito como pessoa e como profissional. Aumentei meus conhecimentos e aprendi coisas que dão certo e que não dão certo”, relata.

Próximos passos

Para a realização do 2.º ciclo de avaliação, as IES participantes já contaram com um sistema totalmente automatizado, desenvolvido especialmente para o processo de autoavaliação e acompanhado de um manual explicativo. Ele permitirá a averiguação do preenchimento, para verificação da correção com que cada processo foi realizado.

A PUC/PR, instituição que já vem se autoavaliando pelo instrumento do Semesp desde o 1.º ciclo, protagonizará um piloto de avaliação por pares. A lógica do processo é o olhar externo para validação dos processos internos, seja em relação às melhorias na instituição, seja em relação ao instrumento. “Um de nossos focos é a calibragem das rubricas”, diz Paulo Nogas.

E após a análise dos resultados do 2.º ciclo, o grupo de trabalho do Semesp planeja fazer alterações pontuais para refinar os documentos já construídos. Essa nova versão passará a ser utilizada a partir de 2025, no próximo ciclo. Provavelmente, com um número bem maior de instituições depois de os atuais resultados serem apresentados no Fnesp deste ano.

Por: Revista Ensino Superior