NOTA SOBRE O ESTUDO DO IPEA - EFEITOS DA INSERÇÃO DAS DISCIPLINAS
DE FILOSOFIA E SOCIOLOGIA NO ENSINO MÉDIO SOBRE O DESEMPENHO ESCOLAR
REPU - Rede Escola Pública e Universidade
Ana Paula Corti / Rodrigo Travitzki / Márcio Moretto Ribeiro / Silvio Carneiro
Clique aqui e acesse o documento em PDF, com notas
A reportagem publicada em 16/04/2018 na Folha de São Paulo intitulada “Filosofia e Sociologia obrigatórias derrubam notas de matemática” foi recebida com muita preocupação pelo caráter contundente de suas afirmações, que colocaram a filosofia e a sociologia como obstáculos ao ensino de matemática. É claro que o debate sobre os fatores que influenciam a qualidade da educação é de vital importância e todos os estudos nesse sentido são bem vindos. Contudo, o que temos visto em reportagens recentes é um “debate de um lado só”, com eventuais títulos sensacionalistas, eventuais críticas brandas, mas constante apoio à Reforma do Ensino Médio. O próprio título citado usa o termo “derrubam” para descrever notas que tiveram diminuição de 1%.
Neste contexto, não é todo surpreendente que o estudo que deu base para a reportagem, de autoria de Thais Waideman Niquito e Adolfo Sachsida, não estava disponível no sítio eletrônico do Instituto de Pesquisa Econômica Aplicada (Ipea) e não havia sido lido nem mesmo pela jornalista que assinou a matéria. A Rede Escola Pública e Universidade (REPU) só conseguiu ter acesso ao estudo depois de entrar em contato com uma das autoras, à qual agradecemos por ter enviado o trabalho5.
A metodologia consistiu na realização de dois estudos independentes: 1) estudo principal, com adoção do método “Diferenças de Diferenças” para analisar os resultados do Enem em dois grupos: um grupo que fez o Exame em 2009, supostamente antes da inclusão de sociologia e filosofia e um grupo que fez o Exame em 2012, supostamente após a inclusão; 2) analisar as médias do Enem por escola com dados de 2010 a 2015. Em ambos os estudos o objetivo foi analisar os efeitos que a inclusão de sociologia e de filosofia tiveram na performance dos estudantes no Enem, ou seja, como isto teria influenciado seu processo de aprendizagem representado pelas suas notas no Exame.
ALGUMAS QUESTÕES SOBRE A METODOLOGIA
Os autores comparam dados do Enem de 2009 e 2012, mas reconhecem que a implementação da Lei n. 11.684/2008 foi progressiva6 de modo que em 2010 apenas 48,5% das escolas do país estavam ofertando as disciplinas de sociologia e filosofia. Aqueles que fizeram o Enem em 2012 podem ter concluído o ensino médio nesse ano ou em qualquer ano anterior – assim, não é possível assegurar que o grupo analisado teve aulas de sociologia e de filosofia. Os próprios autores reconhecem essa falha:
É importante ressaltar, como visto na Tabela 4.1, que nem todas as escolas passaram a cumprir a legislação já em 2009, portanto, pode haver no grupo de tratados pessoas que não tiveram, de fato, as disciplinas de filosofia e sociologia em seu ensino médio. Tampouco as informações contidas nos microdados do ENEM permitem identificar os indivíduos que de fato foram afetados pela medida. (NIQUITO & SASCHIDA, 2018, p. 14)
Como não é possível observar diretamente os indivíduos que de fato foram afetados pela política, ou seja, que efetivamente tiveram essas disciplinas ao longo de seu ensino médio, estima-se o efeito sobre os indivíduos potencialmente afetados por tal medida. (NIQUITO & SASCHIDA, 2018, p. 22)
Assim, toda a análise feita pelos autores e que afirma ter havido piora no desempenho em matemática, é feita com base em alunos que podem ou não ter recebido aulas de sociologia e filosofia. O método utilizado pelos autores de fato não requer tal garantia, mas requer que o fator mais importante de mudança entre 2009 e 2012 tenha sido a referida Lei. O que parece pouco provável.
De forma geral, o problema deste tipo de abordagem é a crença de que podemos fazer um bom bolo com ingredientes ruins, desde que se tenha um forno de última geração. Como se o refinamento dos métodos pudesse superar limitações básicas nos dados disponíveis. Seja dita a verdade, todas as limitações do ponto de vista estatístico são explicitadas pelos autores (embora haja outras limitações do ponto de vista educacional). Porém resta a questão: tantas limitações não tem qualquer efeito sobre a confiabilidade dos resultados?
De fato, o método utilizado pelos autores é reconhecido internacionalmente. Mas suas limitações e possíveis incertezas também são mundialmente conhecidas. Um artigo de 2004, por exemplo, mostrou que este método (Diferenças de Diferenças) encontrou relações positivas em quase metade dos casos em que havia um ‘tratamento placebo’. Os pesquisadores inventaram leis falsas e aplicaram o mesmo método a dados anuais. Encontraram impacto significativo dessas leis inexistentes em cerca de 45% dos casos (BERTRAND et al., 2004). Não se trata de desqualificar o método em si, mas de mostrar que é necessário olhar com cautela os resultados deste tipo de estudo, especialmente quando os dados são limitados.
Mas por que escolher este método? Segundo os autores, em boa parte é por falta de informação, pois não é possível observar diretamente os indivíduos que de fato foram afetados pela política, ou seja, que efetivamente tiveram as disciplinas de sociologia e de filosofia ao longo de seu ensino médio. Mas embora isto seja verdade
para cada aluno, não é verdade para cada turma. Há informações sobre as disciplinas lecionadas a cada turma, que inclusive foram utilizadas na segunda parte do estudo. Porém não está claro por que estas informações não foram aproveitadas na primeira parte.
Como todos os métodos estatísticos e econométricos, a Diferença de Diferenças tem pressupostos – bem poucos, na verdade. O principal deles é a hipótese das “tendências paralelas”, segundo a qual as diferenças internas no grupo de 2009 são semelhantes às de 2012. A vantagem desta hipótese é que permite a comparação de grupos de alunos diferentes nos dois anos. Mas em que medida ela se sustenta na realidade? Normalmente, os estudos econométricos importantes testam seus próprios pressupostos, mesmo que de forma limitada, como forma de demonstrar o rigor científico e a confiabilidade das conclusões. No entanto, os autores não realizaram este teste. Ao invés disso, optaram por realizar um segundo estudo, com o mesmo objetivo geral, mas tecnicamente inferior7 ao primeiro. Nos parece que esta opção metodológica enfraquece o estudo como um todo, tornando-o mais complexo sem torná-lo mais robusto.
O motivo pelo qual não foi realizado um teste de pressuposto, segundo os autores, é a limitação dos dados. Porém é possível realizar alguns testes com os próprios dados do Enem, mesmo que de forma limitada. Realizamos dois testes nesse sentido, utilizando duas variáveis conhecidamente influentes na nota do ENEM: a escolaridade da mãe e a renda per capita. Nos dois casos, a hipótese das “tendências paralelas” não se confirmou. Ou seja, as diferenças internas entre os alunos não são semelhantes em 2009 e 2012. Mais ainda, esta diferença poderia explicar uma nota menor dos alunos potencialmente afetados pela Lei (os formados em 2009, 2010 e 2011) sem recorrer à questão da carga horária.
Um possível contra-argumento a esta crítica é que foram inseridas variáveis de controle (as “covariadas”), dentre as quais a escolaridade da mãe (mas não a renda per capita). Contudo, não basta incluir uma dezena de variáveis em uma equação linear para garantir que cada uma delas esteja atuando adequadamente como controle. Evidentemente, é melhor incluir as covariadas do que não incluir. Porém, sua inclusão não garante que as diferenças entre os candidatos tenham sido suficientemente controladas.
LIMITAÇÕES DOS DADOS
O Enem é um exame de caráter voluntário, os alunos é que optam por fazê-lo, o que produz uma amostra distorcida, enviesada, o que acarreta muitos limites para estabelecer conclusões no nível da unidade escolar, no nível estadual e até mesmo nacional. Os próprios autores reconhecem esta fragilidade:
Em 2010, por exemplo, há informações de nota no ENEM por escola para apenas 31% das escolas contabilizadas no Censo Educacional daquele ano. Claramente, com o aumento da relevância do exame para o ingresso no ensino superior e a consequente expansão em suas inscrições (Tabela 3.1), este percentual se elevou para 51% em 2015. (NIQUITO & SASCHIDA, 2018, p. 17-18)
Além disso, o Enem de 2009 foi um caso atípico pois foi o ano em que se alterou a matriz de referências, houve vazamento da prova e assim a qualidade técnica não foi das melhores, especialmente no caso da prova de matemática8.
A nosso ver o Enem não foi a melhor escolha para os objetivos do estudo, e o Exame mais adequado para tanto seria o Sistema de Avaliação de Educação Básica (Saeb). Em primeiro lugar, por que o Saeb não é voluntário, foi desenhado para representar os estudantes como um todo. Nele estão, por exemplo, grupos socialmente excluídos, jovens que nem pensam em fazer o Enem. Em segundo lugar, por que a matriz de referência do Saeb também é mais adequada para avaliar todos os alunos, tendo em vista que em 2009 o Enem se consolidou como exame de admissão para universidades. Na prova de matemática de 2009, por exemplo, os formandos acertaram 25% das questões de matemática9. Uma avaliação que tem como função selecionar para o ensino superior possui escopo bem diferente de um Exame que avalia o sistema de ensino como um todo, como é o caso do Saeb.
Com os dados do Saeb é possível articular os resultados individuais nas provas diretamente com a existência de aulas em cada matéria em cada turma, provenientes do Censo Escolar. Nesse sentido, um estudo mais consistente sobre o assunto talvez pudesse ser feito em uma única etapa, ao invés de duas, utilizando todas as informações disponíveis no menor nível de agregação possível.
Restam ainda questões na forma de interpretar os resultados, especialmente na divulgação da Folha. A diferença apresentada em relação ao desempenho em matemática nos anos de 2009 e 2012, por exemplo, é muito pequena, embora seja estatisticamente relevante. A interpretação dos resultados está sempre atrelada às hipóteses e essas, por sua vez, ao conhecimento acumulado e às teorias disponíveis. Nesse sentido, estudos que buscam explicar o desempenho de uma disciplina pela presença de outra no currículo são atípicos. O rendimento insatisfatório em matemática, por exemplo, costuma ser explicado na literatura por diversos fatores, mas raramente pela influência de outras disciplinas. Qual é o sentido de avaliar a presença de uma disciplina no currículo pelos resultados na outra? Além disso, é um equívoco pensar a formação dos alunos de maneira fragmentada e descontextualizada, como sugere o documento da BNCC do Ensino Médio ao privilegiar Língua Portuguesa e Matemática como disciplinas obrigatórias, deixando como secundárias as demais disciplinas. Não seria ilusória essa proposta, uma vez que na escola se preza pela formação através do conjunto de saberes? Afinal, o objetivo da estrutura curricular não é aumentar a nota de matemática, mas sim de proporcionar uma formação integral.
Em suma: em que medida o refinamento das técnicas pode superar as limitações dos dados? Será que os dados do Enem são os mais adequados para este objetivo? Será que a principal mudança de 2009 para 2012 foi a introdução da Lei?
Não há outras mudanças que poderiam afetar a proficiência em matemática? A mudança estrutural no Enem (na matriz de referência, número de questões, número de dias) e a própria criação do Sisu (Sistema de Seleção Unificada) aconteceram em 2009, justamente no ano em que a Lei começa a ser aplicada. Como garantir que diferenças na carga horária tenham sido a mudança mais importante de 2009?
SOBRE A PRODUÇÃO DE EVIDÊNCIAS PARA AS POLÍTICAS EDUCACIONAIS
Diante do exposto acima, qualquer resultado deveria ser apresentado com muita cautela. O modelo construído pelos autores não é conclusivo e apresenta diversas limitações metodológicas. Entretanto há diversas conclusões contundentes, que vão muito além, inclusive, do foco da investigação:
[...] os resultados se mostraram piores no que tange à absorção de conhecimento dos indivíduos na área de matemática, visto que os efeitos observados são negativos e significativos para praticamente todos os coortes aqui investigados. Claramente, dada a limitação da carga horária prevista para a realização do curso de ensino médio no Brasil, a inserção de uma determinada disciplina se reflete em redução no espaço dedicado ao ensino das demais. A obrigatoriedade de inclusão das disciplinas de filosofia e sociologia no ensino médio, embora possa ter efeitos positivos em algumas áreas do conhecimento, dependendo da região e das condições da família do indivíduo e/ou do município no qual o mesmo reside, impacta negativamente sobre seu desempenho na área quantitativa. (NIQUITO & SASCHIDA, 2018, p. 33-34, grifos nossos)
Assim como aparece na introdução10, o tom contundente das conclusões levanta dúvidas: estariam os pesquisadores mais preocupados em produzir um novo conhecimento a ser incorporado no debate, ou mais empenhados em comprovar convicções prévias em uma agenda maior?
Sabemos que um dos autores da pesquisa, Adolfo Saschida, é um pesquisador respeitado em sua área, com diversas publicações em periódicos especializados. Sabemos também que possui proximidade política com Jair Bolsonaro, é favorável ao movimento Escola sem Partido e apoiou a Emenda Constitucional 95, que congelou os gastos públicos em direitos sociais. Não há problema que os pesquisadores tenham suas posições políticas enquanto cidadãos e as manifestem publicamente. Entretanto, quando as posições políticas se sobrepõem à pesquisa e esta última passa a ser utilizada para produzir evidências das primeiras, temos um enorme conflito ético.
Não é possível ignorar que a pesquisa de Niquito e Saschida é divulgada justamente num momento em que se discute a Reforma do Ensino Médio e a Base Nacional Comum Curricular, recém apresentada pelo MEC. Sabemos que um dos diversos pontos polêmicos da Reforma consiste justamente na retirada das disciplinas- entre elas Sociologia e Filosofia- e a configuração de um currículo por áreas de conhecimento. Ao mesmo tempo, o movimento Escola sem Partido posiciona-se contrário ao ensino da Sociologia e da Filosofia, pelo seu caráter reflexivo e crítico, que traz para a educação básica conhecimentos exigidos para o exercício da democracia contemporânea, tais como debates envolvendo o mundo político, as questões de gênero, de racismo e de identidade.
Não se trata de acusar os autores de distorcerem os princípios científicos em prol de posições políticas, mas de construir outros olhares e, sobretudo, alertar para a importância do contraditório. Que cada um faça seu julgamento e que o debate continue. O importante é garantir que, quando falamos de políticas baseadas em evidências, haja consistência e consciência dos limites técnicos das mesmas e seus contextos de produção.
REFERÊNCIAS
BERTRAND, M.; DUFLO, E.; MULLAINATHAN, S. How much should we trust differences-in-differences estimates? The Quarterly Journal of Economics, v. 119, n. 1, p. 249-275, 2004.
Disponível em: http://www.utdallas.edu/~dxs093000/Econo2/Marianne_etal_QJE_04.pdf.
TRAVITZKI, R. Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, v. 28, n. 67, p. 256-288, 2017. Disponível em: http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/3910.
SOBRE A REPU
A Rede Escola Pública e Universidade foi constituída por um grupo de professores e pesquisadores de diferentes universidades públicas do Estado de São Paulo (Unicamp, UFSCar, UFABC, USP, Unifesp e IFSP) em fevereiro de 2016, motivada pelos acontecimentos envolvendo a proposta de reorganização da rede estadual paulista em 2015 e os movimentos de resistência à sua implementação. A Rede tem como objetivo realizar estudos, pesquisas e intervenções, visando contribuir com a ampliação do direito à educação de qualidade e provocar o diálogo entre as comunidades escolares e as universidades públicas.