quinta-feira, 15 de março de 2012

Professores não sabem avaliar alunos



Ainda não sou capaz de oferecer uma definição formal para o complexo conceito de avaliação. Mas posso seguramente afirmar que avaliação é um processo de medição. Um professor que avalia um aluno, por exemplo, está tentando determinar o quanto que tal aluno sabe sobre um determinado assunto. Trata-se de um processo de comparação entre o conteúdo abordado em sala de aula e aquele efetivamente dominado por quem o estuda. Em termos mais gerais, um agente que avalia a qualidade do trabalho ou do estudo de um indivíduo, o perfil de uma instituição, ou mesmo o desempenho de uma nação, também está promovendo uma comparação com algum padrão, ou seja, está realizando uma medição.


Curiosamente, com preocupante frequência, professores deixam de empregar a teoria dos erros em seus processos de avaliação. Ignoram que toda medição admite um erro inerente e inevitável. E, em função disso, esses mesmos docentes reprovam alunos por um, dois ou cinco pontos percentuais. Dessa forma eles demonstram aos seus pupilos que matemática é algo que deve ser aprendido na escola, mas não aplicado nela mesma, apesar de teoria dos erros ter nascido como ramo da própria matemática. Tal postura não deixa de ser uma perigosa demonstração de que as realidades da escola e do resto do mundo são muito diferentes e até conflitantes. E isso está em conformidade com a prática da maioria das instituições de ensino de nosso país, as quais consistentemente não se submetem a avaliações sérias sobre elas mesmas. Trata-se de uma curiosa relação entre instituições de ensino e seus membros.


Como aplicar teoria dos erros em avaliações de alunos? A rigor, o resultado de uma avaliação deveria ser independente do professor que atribui notas a cada aluno, assim como a medição de um comprimento deve ser independente da régua usada. Se trinta réguas são calibradas com um mesmo padrão de medição, não importa qual delas seja empregada para medir um comprimento. O mesmo deveria ocorrer com atribuições de notas em avaliações. 


Digamos, portanto, que um professor aplique uma prova sobre uma turma. Um processo adequado para atribuição de notas consiste no seguinte: (i) cada prova recebe a nota de, digamos, dez professores independentes (sem contato entre si); (ii) calcula-se a média aritmética das dez notas sobre cada prova, o que produz o resultado da avaliação; (iii) calcula-se o desvio padrão das dez notas atribuídas sobre cada prova, o que resulta na margem de erro do processo de avaliação; (iv) adota-se um critério para aprovação e reprovação. 


O leitor pode fazer objeção sobre a praticidade do procedimento de empregar dez ou mais professores para corrigir cada prova de sua turma. No entanto, para contornar essa dificuldade, basta o docente aplicar este método poucas vezes em toda a sua carreira. Não é uma situação ideal, mas, pelo menos, forma-se um critério científico para a escolha de margem de erro em suas avaliações. Uma vez determinada uma margem de erro, ele a adota enquanto não encontrar evidências de que ela é inadequada. 


Com relação ao critério de aprovação e reprovação, este depende da política educacional da instituição à qual o docente está vinculado. Se se tratar de uma instituição elitista, o aluno somente pode ser aprovado quando sua nota subtraída pela margem de erro for maior ou igual à média mínima adotada para aprovação. Se a instituição de ensino for menos exigente, o aluno está aprovado se sua nota somada à margem de erro for maior ou igual à média mínima adotada para aprovação. No caso do Brasil, a maioria das instituições de ensino pode ser considerada do segundo tipo. Ou seja, reprovar um aluno por um ponto percentual é uma forma do professor afirmar que seus métodos de avaliação têm margem de erro inferior à 1%. E esta, definitivamente, não é uma postura científica. Trata-se de uma postura dogmática, na qual o docente exerce evidente abuso de poder. Afinal, avaliar alunos é um processo muito mais subjetivo do que medir comprimentos com réguas. É natural que a atribuição de notas em provas encontre margem de erro consideravelmente superior ao processo de medição de comprimentos.


Em várias palestras minhas discuti sobre este tema. Em uma delas, apresentada para um público de estudantes de mestrado e doutorado em Direito, a audiência estranhou quando afirmei que professores reprovam alunos por uns poucos pontos percentuais. Eles disseram que isso simplesmente não acontece no Curso de Direito. Em contrapartida, já encontrei professores de matemática e de física que simplesmente não conseguem concordar com as ideias que apresentei, apesar de jamais justificarem o motivo. Isso me perturba. Uma vez que a teoria dos erros foi criada por matemáticos, por que estudantes e docentes de Direito entendem o problema de avaliação melhor do que professores de matemática e física? O que há de errado com essa gente? Levam tão a sério o infeliz nome "ciências exatas"?


Instituições de ensino que não orientam seus professores em favor de critérios científicos para avaliação são instituições desprovidas de auto-crítica. A tendência de uma instituição de ensino sem auto-crítica é a de contar com docentes igualmente isolados em suas crenças e condutas. Citando mais um exemplo de carência de auto-crítica, quantas instituições de ensino no Brasil se preocupam seriamente em identificar o destino de seus egressos? Associações de ex-alunos são uma ferramenta de auto-avaliação institucional extremamente eficaz, pois permitem identificar qual é o papel que a instituição está exercendo sobre a sociedade. Se egressos de um curso de matemática, por exemplo, estão insatisfeitos com suas carreiras profissionais, algo deve mudar na instituição que os formou. Se egressos estão, em sua maioria, satisfeitos com suas carreiras, temos um sinal de que talvez a instituição esteja caminhando de forma adequada em termos de seu papel social.


A avaliação de uma instituição é um processo que envolve variáveis  suficientes para gerar inúmeras discussões. No entanto, surpreendentemente, isso não tem acontecido. 


Para facilitar o trabalho do avaliador, porém, devemos lembrar que uma das preciosas lições que a teoria da medição nos ensina é que o instrumento de mensuração deve interagir minimamente com o objeto medido. Garantir essa condição em sala de aula, durante um ano, semestre ou trimestre letivo é praticamente impossível. Isso porque é extremamente difícil fazer uma distinção entre conteúdo científico discutido criticamente e conteúdo lecionado e defendido por tradição, autoridade ou revelação. Ou seja, como garantir que uma avaliação, realizada por um professor, está medindo o conhecimento que um aluno domina sobre uma ciência (como a matemática) e não um pseudoconhecimento arbitrária e autoritariamente exposto por um docente com formação ruim? Além dessa evidência apontar para mais um fator subjetivo no processo de avaliação, também indica a extrema necessidade de critérios científicos no processo de atribuição de notas. Afinal, até mesmo provas objetivas admitem margem de erro. Isso porque provas objetivas são comumente enunciadas em linguagem natural, a qual é frequentemente ambígua e pouco precisa.


Uma forma de contornar a dificuldade da subjetividade da atribuição de notas a alunos é através de instrumentos de avaliação institucional de médio e longo prazo em contextos que transcendam a realidade local da instituição avaliada. É uma das formas mais eficazes de minimizar a interação entre avaliado e avaliador, medido e medidor. Tais avaliações institucionais podem ser feitas de diversas maneiras, sendo que o acompanhamento das carreiras de egressos é uma delas. 


Enfim, está na hora de dar um basta à postura de inúmeros docentes que assumem o papel de inquestionáveis conhecedores sobre o certo e o errado.

29 comentários:

  1. Olá prof. Adonai.

    já vi professor dar zero em uma questão cuja resposta era xy simplesmente porque na hora de "passar a caneta" o aluno se confundiu e escreveu yx. Detalhe: toda a solução correta estava a lápis logo acima da falha.

    já vi aluno perder mais de 1 ponto em virtude de apresentar uma resposta no formato -2 + f(x) + 2 enquanto que o gabarito do professor apresentava apenas f(x).

    O problema é que estes pontos podem reprovar o aluno o que, evidentemente, não é justo visto que as provas não tinham intenção de avaliar conhecimentos no âmbito dos erros cometidos. Portanto, na minha opinião estes erros deviam ser ignorados.

    Isso mostra que certamente muitos professores não sabem avaliar.

    [não me lembro o que era a expressão f(x) e nem quais eram os dígitos x e y]

    A propósito, numa avaliação, como fica o que eu sabia e o professor não perguntou? Será que esta margem de erro "concerta" algo neste sentido?

    AAnooniimoo

    ResponderExcluir
  2. AAnooniimoo

    Minha postagem é cabível a professores que conhecem a matéria lecionada. Os espantosos casos que você menciona exemplificam docentes absurdamente incompetentes no ofício de lecionar. Afinal, -2+f(x)+2 É IGUAL a f(x), se estivermos falando de números reais. Eu deveria ter salientado este ponto na postagem. Meu problema é que vejo deficiências no ensino, mas aparentemente ainda não consigo antecipar todo tipo de estupidez. Não conheço você, AAnooniimoo. Mas digo que se você chegou aonde está (em termos de estudos) foi apesar da escola e não por causa dela. Não é fácil.

    ResponderExcluir
    Respostas
    1. Pois é, e tem coisa pior. Mas muita coisa eu evito de escrever para tentar diminuir as chances de ser identificado por aqueles que são protagonistas destas inacreditáveis histórias e que vão me "avaliar" pelos próximos semestres (ou seja, que vão me atribuir pontuação possivelmente passível de influência destes comentários que, na visão deles, são pejorativos - mas que, na verdade, são apenas reflexo do despreparo deles).

      Eu diria que, infelizmente, por enquanto não cheguei em lugar nenhum. Dentro em breve terei um diploma de graduação (de 5ª categoria). Daí vou tentar entrar num mestrado. O problema é que eu tenho que bancar o autodidata este resto de ano pra tentar aprender aquilo que é pré-requisito básico para o mestrado...

      Obs: vou ilustrar o 1º exemplo do 1º comentário, pois ficou mal explicado (xy e yx não representam multiplicação): a resposta era 58 e, na pressa, o indivíduo escreveu 85.

      Excluir
  3. Aliás, AAnooniimoo, recomendo que envie esta postagem para professores que você conhece. Pode enviar anonimamente mesmo, a partir de e-mails que não o identifiquem.

    ResponderExcluir
    Respostas
    1. Tenho um pouco de receio...

      AAnooniimoo

      Excluir
    2. Entendo. Enquanto aluno, você tem muito a perder. Se quiser, pode enviar os endereços para meu e-mail e eu mesmo remeto para eles. Outra opção é aguardar sua conclusão de curso e depois enviar. O que não podemos é ficar calados.

      Excluir
  4. Quando eu estava na 5.ª série errei uma questão de matemática numa prova (uma expressão numérica com potenciação, é o que lembro). Em casa mostrei a prova para meu pai, que entendia um pouco de matemática, e ele analisou e disse que estava correto e eu devia mostrar para o professor rever (tudo feito a caneta). Mostrei ao professor e ele disse que estava certo mesmo, só que eu havia copiado a questão errada e aquela não era a que ele havia passado no quadro... Que frustração para minha inocente aprendizagem aos 10 anos de idade. Eu aprendi, tenho certeza e sei até hoje. O professor era competente para ensinar ,mas não para avaliar...

    ResponderExcluir
    Respostas
    1. Gisele

      Você é parente do Gilson Maicá? De qualquer modo, seja bem-vinda a este fórum.

      Excluir
    2. Sou sim irmã do Gilson. E também conheço Susan Blum. Através deles que comecei a conhecer você. É um prazer participar deste fórum. Obrigada.

      Excluir
    3. Gisele

      O Gilson foi o único aluno que convidei para fazer iniciação científica comigo. Desde que o conheci, ele se mostrou um estudante extraordinário. Irmã dele é irmã minha. Agradeço pelo apoio e participação.

      Excluir
  5. Oi! Tive a honra de ser aluno do PROF. NEWTON COSTA, Certa vez fiz uma prova em que havia uma questão que valia metade da prova. Era sobre os axiomas de Peano, não me lembro bem, se não me engano: provar que a+b=b+a, não consegui, fiquei chateado, quando recebi a nota da prova: oito ou nove, também não me lembro, fui falar com o PROFESSOR, eu esperava no máximo cinco, ele me respondeu " Não corrijo provas, eu avalio o aluno, você estava no caminho certo. Abçs

    ResponderExcluir
    Respostas
    1. tavano

      De fato, o Professor Newton tem um estilo de avaliação muito peculiar, se compararmos com a maioria dos professores. E sua forma de lecionar também é ímpar. Espero que um dia ele publique suas memórias. Há histórias perturbadoras em sua vida como professor e aluno.

      Excluir
  6. Perdão! Vejo agora num livro de sua autoria o nome correto NEWTON C.A. da Costa. Obrigado

    ResponderExcluir
  7. E há quem diga estranhamente (como já ouvi de colegas de faculdade e até mesmo de alguns professores) que a Estatística é subjetiva demais para ser aplicada fortemente e com grande frequência em situações reais!!!!!

    Praticamente toda a Química Analítica encontra suporte em ferramentas estatísticas como os testes de hipóteses para tomadas de decisão, regressão linear, variáveis aleatórias, teste Q para amostras em microescala, média, desvio-médio, desvio-padrão, variância e curva de Gauss.


    Toda a ramificação da Química Analítica voltada para a Quimiometria parte de pressupostos puramente estatísticos, lidando com curvas de calibração, análise univariada, análise multivariada de dados.

    Alguns ramos da Físico-Química também empregam ferramentas estatísticas.

    Até o processo de avaliação que alguns desses meus colegas (que indagaram a razão de estudar algo tão "inútil" quanto Estatística) sofriam e que agora devem estar aplicando em outros alunos, necessita da Estatística, como mostrou o professor Adonai neste texto!!!!!!

    ResponderExcluir
    Respostas
    1. Leandro

      Estatística é subjetiva demais? Essa é realmente incrível! Todas as grande corporações empregam avançadas ferramentas de estatística nos processos de tomadas de decisões. No campo científico há uma crescente percepção de que a estatística será a grande ciência do século 21. Em função disso, novas ferramentas estão sendo desenvolvidas, inclusive no sentido de mudar a fundamentação da própria teoria de conjuntos, para contemplar fenômenos estatísticos de forma mais direta e visível. Como pode este país ser tão ingênuo? O que, afinal, há de errado conosco?

      Excluir
    2. Adonai


      Também fiquei chocado quando ouvi de colegas e professores esta afirmação absurda de que "a Estatística é subjetiva demais para ser aplicada fortemente e com grande frequência em situações reais"!!!!!

      Tanto que citei contra-exemplos na Química que mostram justamente o contrário, indo ao encontro do que vc afirma!!!!!!

      Excluir
  8. Adonai


    "[...] E esta, definitivamente, não é uma postura científica. Trata-se de uma postura dogmática, na qual o docente exerce evidente abuso de poder. Afinal, avaliar alunos é um processo muito mais subjetivo do que medir comprimentos com réguas. [...]"


    Particularmente, não creio que haja abuso de poder por parte de boa parte dos docentes que agem assim.

    Isto porque muitos deles são completamente (ou quase) ignorantes com relação às próprias ferramentas estatísticas que deveriam ser usadas nas avaliações e, consequentemente, acreditam piamente e erroneamente na credibilidade elevada de seus próprios métodos!!!!!

    Em situações assim, não ficaria caracterizada a má-fé e o abuso de poder, já que se tratariam de atitudes irracionais, impensadas e ignorantes, mas não de má intenção propriamente!!!!!!

    Mas certamente deve existir aqueles que dominam e conhecem bem tais métodos estatísticos mas que, por má-fé, comodismo ou cara-de-pau mesmo, acabam agindo desse modo e esses, portanto, seriam aqueles que efetivamente agem fazendo uso do abuso de poder!!!!!!


    Seja como for, concordo contigo. Isto precisa ser corrigido o quanto antes para melhorar a qualidade das avaliações!!!!!

    ResponderExcluir
    Respostas
    1. Leandro

      Entendo seu argumento e concordo. De fato, o que domina o espírito brasileiro (incluindo as universidades) é a mais pura ingenuidade. A macacada daqui não tem a mais remota ideia de como funciona um país desenvolvido.

      Excluir
  9. Não sei se isso é engraçado ou trágico, mas tive que implorar pra não ser ser reprovada em uma disciplina de física experimental por 3 décimos. Acredita nisso? Três décimos? Em FÍSICA EXPERIMENTAL?? Haha

    ResponderExcluir
  10. Aline

    Sua atitude foi consistente com a do professor. Uma vez que ele adota critérios não científicos de avaliação, tudo está valendo. Pois isso é guerra e não educação.

    ResponderExcluir
  11. Se nas areas de exatas (onde o aluno deve escrever contas e passagens matemáticas ou outras coisas de maneira precisa) é dificil avaliar, imagine em humanas. Se voce não se alinhar com o ideário político do professor está f.

    ResponderExcluir
  12. Adonai


    Refletindo recentemente, surgiu uma dúvida.

    Uma maior interação professor-aluno com o objetivo do aluno aprender mais e de modo mais aprofundado, mesmo que esse aluno converse em particular com o professor para sanar suas dúvidas (por estar tímido e não perguntar em sala de aula, por exemplo), é algo realmente bom e coerente com o processo de aprendizagem do discente, mesmo sendo este mesmo professor o indivíduo que irá avaliá-lo??????

    Por exemplo, como não sou e nunca fui seu aluno, me sinto relativamente à vontade em interagir contigo. No entanto, se eu fosse aluno seu, eu ainda assim poderia continuar com o mesmo nível de interação que venho mantido contigo aqui no blog sendo que, nesta situação hipotética, eu seria cedo ou tarde avaliado por vc em alguma disciplina?????

    Esta interação não afetaria o julgamento de um professor na avaliação de um determinado aluno?????

    ResponderExcluir
    Respostas
    1. Não posso responder por outros professores. Apenas digo que meus métodos de avaliação não são tradicionais. O que mais me interessa em uma avaliação é a demonstração de interesse sobre o assunto estudado, algo cada vez mais raro nos últimos anos.

      Excluir
  13. Adonai


    Ok, mas em uma avaliação tradicional, tal interação professor-aluno poderia acabar por afetar o julgamento do professor no momento de avaliar seu aluno?????

    Quero dizer, em termos estatísticos e de propagação do erro/aumento do erro referente ao processo de medida, no qual consiste a prova, tal interação seria negativa, estatisticamente falando, em termos de avaliação?????

    ResponderExcluir
    Respostas
    1. Leandro

      Infelizmente é muito difícil minimizar a um nível seguro essa relação entre professor e aluno. Está sempre sujeito a ocorrer injustiças. Uma possibilidade é o emprego de avaliações objetivas corrigidas por máquinas. Mas este tipo de prova dificilmente consegue avaliar o senso crítico do aluno. Em suma, não é fácil educar.

      Excluir
  14. Entendo.


    No entanto, para minimizar o erro das avaliações ao máximo, o ideal não seria que se mantivesse o professor distante do aluno, sem que este sequer interagisse ou mesmo conversasse com esse docente?????

    Entendo que isto anularia a avaliação do aluno em termos de avaliar seu senso crítico, mas não se ganharia no sentido de que, não conversando absolutamente nada com o aluno, evitaria-se pensar duas vezes antes de "descer a lenha" mesmo no aluno, caso ele merecesse ter sua nota descontada por errar em algo?????

    Em outras palavras, minha preocupação de quando o aluno acaba por interagir muito com um certo professor, é que este último acabe por ficar com pena do aluno ao corrigir a prova do estudante e, assim, pensasse duas vezes antes de descontar pontos da prova do aluno. Isto poderia acontecer quando um aluno interage bastante com um professor?????

    ResponderExcluir
  15. Leandro

    Não vejo solução sensata para os problemas que você aponta. Mas também não vejo com bons olhos a proposta de afastar de maneira tão dramática o professor do aluno. É o melhor que posso dizer no momento.

    ResponderExcluir
  16. Ok, entendo.


    Educação é algo realmente complexo demais!!!!!

    Infelizmente.

    :(

    ResponderExcluir
  17. Justamente numa matéria que aborda teoria dos erros, eu fiquei em recuperação por dois décimos, e reprovei por esses mesmos dois décimos. E pior, fiquei em recuperação pq errei uma vírgula de um cálculo braçal de um histograma, do qual eu nem tinha a necessidade de ter me aprofundado. Ou seja, minha reprovação se deu mesmo eu tendo atingido em todas as provas uma nota acima da média, porém entreguei dois trabalhos atrasados, os quais foram descontados uma porcentagem relativa aos dias de atraso. Ai vem a pergunta: a aprendizagem é para quem?
    Hj em dia to pouco me lixando p avaliações e seus predicados (coeficiente de rendimento). Avaliação é um mito, e não só pq reprovei numa disciplina que me ensinou como não avaliar um estudante, mas tbm pq hj sou professora.
    E esta experiência me mostrand o quanto somos humanos, logo passíveis de muitos erros, do quais podem tirar o ano ou semestre de um estudante.
    Então, como professora de física eu valorizo a tentativa; o erro, uma vez que a própria ciência em questão se faz a partir de erros e falhas.
    Sendo assim, não posso exigir de meus alunos a exatidão que não existe nem no mundo real.



    ResponderExcluir

Respostas a comentários dirigidos ao Administrador demoram usualmente até três dias.