PRODUÇÃO CIENTÍFICA SOBRE AVALIAÇÃO E AUTOAVALIAÇÃO EDUCACIONAL: INTERFACES COM A GESTÃO ESCOLAR


PRODUCCIÓN CIENTÍFICA SOBRE EVALUACIÓN EDUCATIVA Y AUTOEVALUACIÓN: INTERFACES CON LA GESTIÓN ESCOLAR.


SCIENTIFIC PRODUCTION ON EDUCATIONAL ASSESSMENT AND SELF- ASSESSMENT: INTERFACES WITH SCHOOL MANAGEMENT


Eric Ferdinando Kanai PASSONE,1 Angela Maria MARTINS2 Sanny Silva ROSA3


RESUMO: O objetivo deste estudo foi inventariar e analisar trabalhos científicos sobre gestão escolar, a fim de responder à seguinte questão: quais aspectos e dimensões são privilegiados nesses trabalhos que podem nos fornecer uma visão abrangente sobre o grau e alcance do interesse acadêmico sobre esse tema? Este artigo apresenta e discute uma das dimensões relevantes abordadas no estudo, que diz respeito à avaliação educacional e autoavaliação. Nesta etapa do estudo, o conteúdo de 28 artigos, publicados entre 2009 e 2020, foi sistematizado nos seguintes eixos de análise: avaliação de desempenho e gestão de sistemas de ensino; avaliação institucional, autoavaliação e democratização escolar; efeito escolar e / ou características efetivas das escolas; avaliação de desempenho de estudantes e modelos de gestão.


PALAVRAS-CHAVE: Estado do conhecimento. Avaliação e autoavaliação educacional. Gestão escolar. Indicadores educacionais.


RESUMEN: El objetivo deste estudio fue inventariar y analizar trabajos científicos sobre gestión escolar, con el fin de responder a la siguiente pregunta: qué aspectos y dimensiones son privilegiados en estos trabajos que nos pueden proporcionar una visión integral sobre el grado y alcance del interés académico sobre este tema? Este artículo presenta y discute una de las dimensiones relevantes abordadas en el estudio, que se refiere a la evaluación educativa y la autoevaluación. En esta fase del estudio, el contenido de 28 artículos publicados entre 2009 y 2020, fue sistematizado en las siguientes líneas de análisis: evaluación y gestión de los sistemas educativos de rendimiento; evaluación institucional, autoevaluación y democratización escolar; efecto escolar y / o características efectivas de las escuelas; evaluación de desempeño de estudiantes y modelos de gestión.


1 Universidade Cidade de São Paulo (UNICID), São Paulo – SP – Brasil. Docente do Programa de Pós-Graduação em Educação e do Programa de Mestrado Profissional Em Gestão Educacional. Pós-doutorado em Educação. ORCID: https://orcid.org/0000-0002-0305-6734. E-mail: eric.passone@unicid.edu.br

2 Universidade Cidade de São Paulo (UNICID), São Paulo – SP – Brasil. Docente do Programa de Pós-Graduação em Educação e do Programa de Mestrado Profissional Em Gestão Educacional. Pesquisadora Fundação Carlos Chagas. ORCID: https://orcid.org/0000-0002-1267-8869. E-mail: ange.martins@uol.com.br

3 Universidade Municipal de São Caetano do Sul (USCS), São Caetano do Sul – SP – Brasil. Professora do PPGE (Mestrado Profissional em Educação) - linha de pesquisa: Políticas e Gestão Educacional. Doutorado em Educação (PUC-SP). Estudos pós-doutorais em Políticas Educacionais (Institute of Education - University of London - 2010/11). ORCID: https://orcid.org/0000-0001-5044-6156. E-mail: ssdarosa@uol.com.br


PALABRAS CLAVE: Estado del conocimiento. Evaluación educativa y autoevaluación. Gestión escolar. Indicadores educativos.


ABSTRACT: This work’s purpose was to inventory and analyze scientific works on school management, to answer the following issue: which aspects and dimensions are privileged in these works that may provide us a comprehensive view on the degree and range of academic interest on this subject? This paper presents and discusses one of the relevant dimensions addressed in the investigation, which regards to educational assessment and self-assessment. In this stage of the study, the contents of 28 articles published between 2009-2020 were systematized in the following axes of analysis: performance assessment and management of teaching systems; institutional assessment, self-assessment and school democratization; school effect and/or effective schools features; performance evaluation of students and management models.


KEYWORDS: State of knowledge. Educational assessment and self-assessment. School management. Educational indicators.


Introdução


As definições de levantamentos bibliográficos sistematizados têm sido objeto de debates na área de educação, comportando diferentes visões sobre amplitude e profundidade do material sistematizado. De acordo com Faria (2003), um inventário constitui qualquer levantamento sistematizado de elementos de um determinado grupo, em período de tempo definido, com vistas a identificar, analisar e divulgar uma parte da produção de determinada área, tema e objeto. Ademais, o levantamento, a sistematização de produções científicas e a divulgação de seus resultados são relevantes, pois amplia as visões sobre diferentes – e muitas vezes divergentes - concepções, subsidiando outros estudos que se detenham no mesmo problema.

Contudo, o processo de identificar, sistematizar e categorizar estudos realizados em uma área do conhecimento, não pode deixar de considerar o contexto histórico, político, social e institucional engendrado no período da produção inventariada, pois esses aspectos incidem nos desenhos das pesquisas, nos métodos utilizados e nas análises elaboradas. Nessa direção, os interesses científicos de uma determinada época refletem processos sociais amplos cuja complexidade de análise exige atenção às produções divulgadas anteriormente. Nas palavras de Bourdieu (2005, p. 83) “profissionais da produção simbólica enfrentam-se em lutas que têm como alvo a imposição de princípios legítimos de visão e de divisão do mundo natural e do mundo social”.


De todo modo, as produções com caráter bibliográfico que buscam levantar as produções científicas são denominadas “estado da arte”, “estado do conhecimento”, “estado da questão”, “revisão de literatura” e “inventário”. Esses estudos, ainda que por meio de metodologias distintas, têm em comum o desafio de mapear e/ou discutir a produção acadêmica em diferentes campos do conhecimento, na busca por aspectos e dimensões temáticas de investigações publicadas em diferentes veículos: portal de teses da CAPES, periódicos, livros, capítulos de livros e anais de eventos científicos.


Avaliação e Autoavaliação Educacional: o que dizem estudos da área?


A presente pesquisa foi realizada o Portal de Periódicos da CAPES e Scielo Educ@. A investigação original tratou da temática da gestão educacional e escolar entre 2009 a 2020, por meio dos seguintes descritores booleanos: “gestão escolar and participação”; “gestão escolar and conselhos escolares”; “gestão escolar and clima escolar”; “gestão escolar and perfil de diretores”; “gestão escolar and desempenho de alunos”; “gestão escolar and acesso ao cargo”; “gestão escolar and noções de administração”; “gestão escolar and estilos de direção”. Na primeira etapa do levantamento, identificou-se que os estudos também incidiam em análises sobre eficácia escolar e indicadores, concepções sobre avaliação educacional e autoavaliação educacional, usos da avaliação externa como instrumento de gestão, em interface com a gestão escolar.

A partir dessa primeira etapa, foi possível a identificação de 27 artigos publicados em periódicos da área que abordam, direta ou indiretamente, a temática da Avaliação e a Autoavaliação, no período entre 2009 e 2019. O levantamento corroborou à revisão de literatura acerca das produções acadêmicas que investigam relações entre gestão e avaliação, abrangendo o período de 2000 a 2008, realizada como desdobramento de Estado de Arte (SOUZA, MARTINS, 2012), a partir do banco de dados de periódicos da Capes.

A partir da identificação da produção acadêmico-científica divulgada, Souza e Martins (2012) apresentam as principais contribuições teórico-metodológicas que tais estudos carreiam para o avanço do conhecimento da área e, em especial, para a gestão educacional, além de identificarem se essas produções contribuem com subsídios aos gestores educacionais e escolares. Com base na categorização inicial apresentada pelas autoras, foram construídos quatro grandes eixos temáticos a partir dos quais se buscou estruturar a presente análise, a saber:

  1. usos dos resultados de avaliação de desempenho para implementação de políticas educacionais e processos de gestão avaliação educacional;


  2. avaliação institucional e democratização escolar;

  3. efeito escola e/ou características de escolas eficazes;

  4. características de resultados de avaliação de desempenho de alunos e perfis de diretores e de modelos de gestão.

Assim, apresenta-se, a seguir, a sistematização por eixos temáticos dos artigos publicados em periódicos de referência ao campo educacional, no último decênio, os quais versam sobre pesquisas de distintos matizes teórico-metodológicos, tais como estudos críticos, estudos argumentativos, estatísticos, quanti-qualitativos etc., entre outros.


  1. Primeiro eixo: Avaliação de Desempenho e Gestão de Sistemas de Ensino


    No Quadro 1 estão reunidos sete artigos, sendo que dois enfocam a centralidade da avaliação externa na regulação de políticas educacionais, em que o desempenho das escolas e do sistema educacional opera como mecanismo de gestão educacional, associado às políticas de responsabilização escolar e prestação de contas – accountability (PASSONE, 2014; CARVALHO et al., 2014). Outros dois artigos abordam os desdobramentos e transformações ocasionadas pelo uso de indicadores educacionais e/ou informações dos questionários contextuais das avaliações externas como subsídios à gestão educacional das redes de ensino e, em alguns casos, na promoção de mudanças das práticas pedagógicas das escolas (RIOS et al., 2017; ORLANDO FILHO, SÁ, 2016; WERLE, KOETZ, MARTINS, 2015). Observam-se

    ainda, produções que analisam o perfil do gestor do município de Itabaina-SE (CONCEIÇÃO; PARENTE, 2014); as formas de provimento ao cargo de gestor escolar em escolas da Educação Infantil do estado de Espírito Santo (CÔCO; GALDINO, 2016).


    Quadro 1 – Estudos que tratam da utilização de resultados de avaliação de desempenho para gestão de sistemas de ensino


    0

    Revista

    Ano

    PASSONE

    Cadernos de Pesquisa

    2014

    CONCEIÇÃO, PARENTE

    Eccos Revista Científica

    2014

    CARVALHO et al

    Estudos em Avaliação Educacional

    2014

    WERLE et al

    Educação (Porto Alegre)

    2015

    COCÔ e GALDINO

    Revista Contrapontos

    2016

    ORLANDO FILHO, SÁ

    Ensaio

    2016

    RIOS et al

    Educação Unisinos

    2017

    Fonte: Dados da pesquisa


    No âmbito da regulação das políticas educacionais, Passone (2014) denuncia o “furor avaliativo” que predomina na gestão dos sistemas de ensino brasileiros. Para tanto, apresenta uma análise criteriosa da literatura e dos estudos que abordam as políticas educacionais de avaliação atreladas às políticas de responsabilização escolar e ao incentivo para o aumento da qualidade educacional. Crítico à falta de evidências científicas sobre a efetividade da utilização dos resultados de testes padronizados como instrumentos de gestão educacional e regulação do trabalho escolar por meio das políticas de responsabilização escolar, o autor questiona o papel da avaliação educacional no contexto brasileiro, interrogando acerca dessa obsessão em se avaliar o que não se ensina nas escolas, revelando certa recusa política de se responsabilizar pela formação cidadã e pelo ensino equitativo dos mais novos.

    Carvalho e colaboradores (2014) discorrem sobre um estudo exploratório que investigou as políticas avaliativas e de responsabilização escolar da rede pública municipal de ensino do Rio de Janeiro. As autoras analisam os dados de entrevistas com diretores de três escolas a partir das respostas aos questionários contextuais da Prova Brasil de 2007, 2009 e 2011. O estudo identifica alguns indícios de mudanças na gestão escolar em decorrência da implementação de políticas avaliativas atreladas às políticas de school accountability adotadas em 2009, na rede municipal carioca. Dentre tais indícios, destacam-se o maior interesse dos professores em participar de atividades de formação continuada, por um lado, e a sobrecarga do trabalho burocrático, por outro, revelado pela ausência de apoio administrativo proporcional à equipe gestora.

    Rios, Trevisol e Sopelsa (2017) analisam as ações desenvolvidas em sete municípios da mesorregião Oeste de Santa Catarina de correntes do uso de indicadores educacionais como subsídios à gestão educacional do sistema de ensino. Com base em pesquisa qualitativa, as pesquisadoras analisaram as respostas de secretários da educação, gestores escolares e professores de Língua Portuguesa e Matemática cujos alunos participaram da Prova Brasil 2009. Consideradas as especificidades de cada município, as autoras consideram que o uso de indicadores tem promovido ações de melhoria das condições de aprendizado, tais como: compra de materiais didáticos; implantação de laboratórios de informática; oferta de educação continuada aos professores; além da criação de espaços coletivos de participação e de replanejamento dos projetos político-pedagógicos.

    Na mesma perspectiva, Werle, Koetz e Martins (2015) discutem a apropriação do uso de indicadores educacionais a partir de uma escola pública estadual de ensino fundamental do Rio Grande do Sul. As autoras apontam que a comunidade escolar tende a colaborar com a melhoria da qualidade educacional, na medida em que gestores e professores estabelecem um


    “diálogo” com o conhecimento produzido por meio dos indicadores de desempenho das avalições externas e promovem uma reflexão institucional permanente, no âmbito das práticas escolares.

    Orlando Filho e Martins Sá (2016) refletem sobre os impactos na gestão escolar decorrentes da implementação do Programa Nova Escola, cujo objetivo consiste em realizar a avaliação externa da rede pública do ensino básico do estado do Rio de Janeiro. A partir da triangulação de dados obtidos por meio da realização de entrevistas, aplicação de questionários, revisão bibliográfica e análise documental, as autoras investigam as convergências e divergências dos aspectos estudados, de modo a compreenderem as possíveis mudanças no modo de pensar e praticar a gestão nas escolas da rede analisada.

    A análise mostra que, apesar dos esforços de promover mudanças na gestão escolar, houve pouco impacto nesse sentido, e que o Programa não gerou melhorias na prestação do serviço educativo referenciável à avaliação externa da gestão escolar. Dentre os aspectos críticos analisados, as autoras destacam que a avaliação externa implicou a prática de classificação dos resultados e a formação de rankings entre as unidades escolares; o pagamento de premiação mediante aos resultados gerou desmotivação entre os profissionais; a ênfase na avaliação externa operou certo “esquecimento” dos processos de autoavaliação, bem como a percepção de que a autonomia das escolas foi diminuída em relação aos órgãos centrais de governo; a implementação do programa foi percebida como uma imposição de “cima para baixo”, na medida em que não contou com a participação dos envolvidos, gerando resistências e desmobilizando os protagonistas no processo de mudança.

    Em abordagem que se diferencia das anteriores, Côco e Galdino (2016) abordam a inserção de gestores nas escolas de Educação Infantil do estado de Espírito Santo, cotejando os resultados de pesquisa com a legislação brasileira e com os estudos sobre gestão educacional. Com base nos dados oriundos de questionário aplicado em 78 municípios, as autoras mapeiam as formas de provimento ao cargo de gestor escolar. Concluem que a maioria dos municípios pesquisados possui o cargo de gestor integrado ao quadro funcional das escolas, embora a qualidade dos processos participativos e coletivos se revela questionável, indicando os possíveis desafios existentes na rede em face à gestão democrática das escolas de Educação Infantil.

    Conceição e Parente (2014) investigam a gestão educacional a partir do perfil do diretor escolar no município sergipano de Itabaiana. O estudo aplicou questionário em 58 escolas municipais visando identificar o perfil do diretor, por meio da análise multivariada de grupos. Com base nos dados coletados, os autores debatem acerca dos elementos relacionados às


    competências, habilidades e limites associados ao processo de gestão escolar na percepção dos gestores. Como resultado, o estudo aponta para alguns elementos associados à determinação de grupos distintos de perfis de gestores das escolas de Itabaiana, a saber: o acumulo da experiência docente, o acesso a diferentes oportunidades de financiamento e a natureza das dificuldades presentes no processo de gestão escolar.


  2. Segundo eixo: Avaliação Institucional, autoavaliação e democratização escolar


    O Quadro 2 reúne quatro pesquisas que tratam da avaliação institucional e/ou da autoavaliação associadas à questão da gestão escolar e à participação democrática. Em destaque, pôde-se observar a relevância de alguns estudos que tratam da relação entre a escola, a família e a comunidade (SILVA, 2010; BETINI, 2010; VIERIA; VIDAL, 2015); e sobre a participação e a gestão democrática (SILVA; ARANDA, 2020).


    Quadro 2 – Estudos sobre Avaliação Institucional, autoavaliação e democratização escolar


    Autor(es)

    Revista

    Ano

    SILVA

    Ensaio

    2010

    BETINI

    Educação: teoria e prática

    2010

    BRANDALISE et al

    Estudos em Avaliação Educacional

    2011

    VIEIRA e VIDAL

    Atos de pesquisa em Educação

    2015

    SILVA e ARANDA

    Horizontes - Revista de Educação

    2020

    Fonte: Dados da pesquisa


    Silva (2010) discute a autoavaliação no âmbito da educação infantil e séries iniciais do ensino fundamental, na perspectiva da democratização da gestão escolar. A partir de dados secundários - análise de documentos acerca de avaliações realizadas em quatro escolas da região metropolitana de São Paulo -, a autora analisa os processos de participação da comunidade, no intuito de aferir a democratização da gestão escolar. Constata-se que, embora as escolas designadas para tal estudo tenham práticas efetivas de incorporar a visão da comunidade na autoavaliação do cotidiano e das práticas escolares, na maioria dos casos essa participação deve ser compreendida como uma coleta de opiniões, não abrangendo o nível das decisões. O estudo conclui que a participação compreendida numa fase inicial de gestão democrática revela as contradições entre as demandas do sistema de ensino e as necessidades factuais da escola as quais necessitariam de ser superadas.

    Vieira e Vidal (2015) também abordam a relação da escola com seu entorno, aproximando-se do tema escola, família e comunidade a partir da pesquisa bibliográfica e


    documental bem como da análise acerca da percepção de diretores e professores que responderam os questionários do diretor e do professor referente à Prova Brasil 2011. Com base nos dados de 15 municípios da região do Maciço de Baturitém, Ceará, as autoras confirmam o caráter positivo dessa relação, embora a relação entre as escolas e as comunidades se mostre “assimétrica” e em “aberto”, a despeito dos avanços nas políticas públicas e da presença de programas federais, tais como Programa Escola Aberta, Programa Nacional de Fortalecimento dos Conselhos Escolares e o Programa Dinheiro Direto na Escola (PDDE).

    Com foco na Avaliação Institucional Participativa (AIP), Betini (2010) aborda a participação da comunidade (diretores, professores, funcionários, alunos e pais) na rede municipal de Campinas. Destacam-se algumas categorias centrais de tal processo como o papel da direção escolar, o projeto político pedagógico e o trabalho coletivo, enquanto dimensões objetivas e subjetivas que possibilitam a escola promover a qualidade social da educação e o acesso à população do conhecimento adquirido pela sociedade.

    Brandalise e Martins (2011) analisam a ressignificação das políticas avaliativas educacionais em relação a sua implementação ou quando essas políticas “encontram a escola”. Tomando como ponto de partida o Programa de Avaliação Institucional da Educação Básica do Paraná, as autoras relacionam a concepção de avaliação institucional oficial presente nos documentos governamentais em face às representações das equipes de gestão e das práticas vivenciadas no cotidiano escolar. Embora o estudo evidencie hiatos, dificuldades e percalços no processo de implementação de tais políticas, também constata positivamente a especificidade que representa cada realidade escolar em refletir e reconhecer a particularidade de sua própria experiência de autoavaliação.


  3. Terceiro Eixo: Efeito escola e/ou características de escolas eficazes


    Estão agrupados no Quadro 3, seis artigos que focam análises no papel da escola, relacionando-as com a avaliação de desempenho de alunos, entre outras características. Nessa perspectiva, quatro artigos possuem como escopo de investigação o efeito-escola e/ou a eficácia escolar (BERNARDO, 2013; OLIVEIRA; CARVALHO, 2019; OLIVEIRA; WALDHELM,

    2016; PAES DE CARVALHO; CANEDO, 2012); outras produções investigam as práticas de gestão e as práticas pedagógicas relacionadas ao bom desempenho dos alunos (SALGADO JUNIOR et al., 2016; PASSONE, 2019); outro artigo analisa a efetividade dos instrumentos de gestão democrática que compõe o Índice de Condições de Gestão (SOUSA; SILVA, 2018).


    Quadro 3 – Estudos que associam avaliação de desempenho de alunos e o papel da escola


    Autor(es)

    Revista

    Ano

    PAES DE CARVALHO, CANEDO

    Educação e cultura contemporânea

    2012

    BERNARDO

    Educação e cultura contemporânea

    2013

    OLIVEIRA,WALDHELM

    Ensaio

    2016

    SALGADO JUNIOR et al

    Educação & Sociedade

    2016

    SOUSA, SILVA

    Revista online de Política e Gestão Educacional

    2018

    OLIVEIRA, CARVALHO

    Revista Brasileira de Educação

    2018

    PASSONE

    Laplage em Revista

    2019

    Fonte: Dados da pesquisa


    Entre os estudos que investigam o modelo de gestão, a cultura organizacional e a qualidade de ensino, Paes de Carvalho e Canedo (2012) apresentam estudo quanti-qualitativo em três escolas consideradas de excelência pela mídia, independentemente de sua dependência administrativa. Com base nos dados do Grupo de Pesquisa em Sociologia da Educação – SOCED/PUC-Rio, as autoras fundamentam a pesquisa sobre duas correntes, a saber: os estudos sobre eficácia escolar e os estudos sobre a construção identitária das instituições escolares. Entre os resultados obtidos, mesmo sob os diferentes estilos de gestão e distintos projetos pedagógicos, as pesquisadoras consideram que o reconhecimento da comunidade escolar acerca da liderança do gestor escolar influencia positivamente na qualidade educacional das escolas.

    Bernardo (2013) investiga como as diferentes práticas escolares de composição de turmas e as gestões escolares influenciam na promoção da eficácia e equidade escolar. O estudo aborda o “efeito-turma” em escolas municipais do Rio de Janeiro, com base em dados longitudinais do projeto Geres4, além de estudo qualitativo sobre as práticas pedagógicas nas salas investigadas e dois estudos de casos nas escolas pesquisadas. Segundo a autora, persiste o desafio às políticas educacionais, aos gestores e professores, de se promover estratégias de “enturmação” promotoras de equidade, uma vez que os alunos que frequentam turmas de baixo desempenho aprendem menos e os professores mais experientes optam por turmas com bons desempenhos.

    A relação entre a liderança do diretor e o clima escolar (percebida pelos professores) foi analisada por Oliveira e Waldhelm (2016), que utilizam os dados da Prova Brasil 2013 com intuito de verificar as possíveis relações com o desempenho dos alunos das escolas municipais


    4 O "Estudo Longitudinal da Geração Escolar – GERES – é um estudo longitudinal sobre qualidade e eficácia no ensino fundamental brasileiro, que acompanhou a proficiência em Matemática e Leitura de alunos do 2º ao 5º ano do Ensino Fundamental. Ele envolveu amostra de cinco cidades brasileiras, a saber, Belo Horizonte (MG), Campinas (SP), Campo Grande (MS), Rio de Janeiro (RJ) e Bahia (BA), contabilizando cerca de 300 escolas e uma amostra de 900 turmas e 20.000 alunos.


    e estaduais do estado do Rio de Janeiro. O estudo criou os Índices Médios de Liderança e Colaboração Docente (IMLD e IMCE), os quais são relacionados com o desempenho médio em Matemática dos alunos de 5º ano, por meio da técnica de regressão linear. Considerado o controle estatístico do nível socioeconômico dos alunos, as autoras concluem que tais fatores intraescolares impactam positivamente no desempenho escolar dos alunos.

    Na mesma perspectiva de investigação, Oliveira e Carvalho (2018) apresentam um estudo sobre a relação entre fatores intraescolares (a liderança do professor na percepção dos professores) e fatores extraescolares (as políticas de atribuição de cargo de diretores às escolas) com o desempenho dos alunos. As autoras partem de dois pressupostos associados aos estudos de eficácia escolar, a gestão identificada com a “liderança integrada”5 do diretor e o ensino. A partir dos dados da Prova Brasil dos anos de 2007, 2009 e 2011, o estudo analisa a relação entre o Índice de Liderança do Diretor (ILD), constituído por meio da análise fatorial e da variável relacionada ao provimento de cargo do diretor, e o desempenho dos alunos de 5º ano em Matemática, concluindo que o IDL está positivamente associado aos resultados dos testes, na medida em que o diretor possibilitaria um clima institucional favorável às práticas pedagógicas e ao aprendizado significativo. No entanto, quando o provimento de cargo de diretor indica nomeação política, a correlação estatística se revela negativa em relação ao desempenho dos alunos.

    Salvador Junior, Novi e Ferreira (2016) investigam as práticas de gestão e as práticas pedagógicas que estão correlacionadas com bons desempenhos de alunos na Prova Brasil. A pesquisa de abordagem quanti-qualitativa envolveu a técnica estatística de Análise Envoltória de Dados, para identificar e selecionar as escolas consideradas “eficientes”, bem como o estudo de múltiplos casos, para investigar os processos internos. O estudo reitera os resultados de pesquisas sobre eficácia e eficiência escolar relacionados à gestão escolar e ao trabalho pedagógico.

    Em relação à constituição da metodologia do Índice de Condições de Gestão (ICG), enquanto indicador constitutivo do Índice de Condições de Qualidade (ICQ), Souza e Silva (2018) desenvolvem uma análise detalhada das condições de gestão das redes municipais brasileiras, a partir dos dados de contexto extraídos dos questionários do diretor da Prova Brasil do ano de 2013. O panorama nacional das condições de gestão no ensino fundamental revela a


    5 O estudo assume o conceito de “Liderança Integrada” proposto por Marks e Prints (2003), em que o papel do diretor agrega características relacionadas à gestão pedagógica e à gestão relacional do diretor em termos de confiança e reconhecimento dos escolares. Cf. MARKS, H. M.; PRINTY, S. M. Principal leadership and school performance: an integration of transformational and instructional leadership. Educational Administration Quarterly, Thousand Oaks: Sage, n. 39, p. 370-397, 2003.


    profunda desigualdade interestadual e alta variação entre as redes municipais de cada estado, revelando o distanciamento da efetividade dos instrumentos de gestão analisados pelo Índice de Condições de Gestão.


  4. Quarto eixo: avaliação de desempenho de alunos e modelos de gestão


O Quadro 4 sistematiza nove artigos que abordam pesquisas que tratam da avaliação de desempenho de alunos com modelos e/ou aspectos da gestão escolar. Há cinco artigos que investigam a apropriação dos resultados da avaliação em larga e externa pelas equipes gestoras e o uso dos indicadores educacionais (CERDEIRA et al., 2017; MACHADO, FREITAS, 2014; MACHADO; ALAVARSE, 2014; ROSISTOLATO et al., 2014; WERLE; AUDINO, 2015);

um trabalho que retrata a percepção dos profissionais da escola em relação à qualidade educacional, a avaliação externa e a organização do trabalho escolar (HOJAS; MANFIO, 2014); outro trata a gestão escolar democrática (MACHADO, 2016); outro artigo explora a gestão escolar da rede municipal do município do Rio de Janeiro (BERNARDO; CHRISTOVÃO, 2016); e, por último, uma pesquisa que analisa a composição e organização da clientela escolar nos municípios brasileiros e sua relação com a democratização da escola brasileira (SOUZA; MARTINS, 2018).


Quadro 4 – Estudos que associam resultados de avaliação de desempenho de alunos e modelos de gestão


Autor(es)

Revista

Ano

HOJAS e MANFIO

Educação em Revista

2014

MACHADO e FREITAS

Revista Eletrônica de Educação

2014

ROSISTOLATO et al

Estudos em Avaliação Educacional

2014

MACHADO e ALAVARSE

RBPAE

2014

WERLE e AUDINO

RBPAE

2015

BERNARDO e CHRISTOVÃO

Educação & Realidade

2016

MACHADO

Estudos em Avaliação Educacional

2016

CERDEIRA et al

Estudos em Avaliação Educacional

2017

SOUZA e MARTINS

Educar em revista

2018

Fonte: Dados da pesquisa


Hojas e Manfio (2014) analisam as concepções da equipe gestora e de docentes sobre a qualidade da educação, por meio de dois eixos centrais, a saber, a avaliação em larga escala e a organização do trabalho na escola. A pesquisa qualitativa realizada em duas escolas paulistas com perfis distintos identificou que em uma escola a gestão centraliza o trabalho educativo tão-


somente nos resultados da avaliação externa, visando o desempenho dos alunos nas avaliações; na outra escola, observou-se que a equipe gestora considera “outros conteúdos que também são importantes para o processo de formação dos alunos” (HOJAS; MANFIO, 2014, p. 7793). Como conclusão, as pesquisadoras consideram que a consolidação de uma cultura avaliativa nas escolas inclui uma reflexão crítica sobre as avaliações, no âmbito coletivo, buscando proporcionar novas possibilidades aos profissionais das escolas de oportunizarem transformações na organização do trabalho pedagógico, tendo como perspectiva a democratização da educação e da gestão escolar.

Machado e Freitas (2014) investigam a apropriação dos resultados da avaliação em larga e externa pelas equipes gestoras em quatro escolas da rede municipal da cidade de São Paulo. Com base em dados de pesquisa de campo, as autoras descrevem as experiências, concepções e movimentos de resistência das equipes gestoras em relação às avaliações externas. Os resultados revelam a carência de formação no sentido de garantir que os profissionais se apropriem do processo avaliativo de modo a superar as “inquietações” geradas pelo uso dos resultados para criação de ranking entre as escolas e os conflitos oriundos da utilização da avaliação externa como instrumentos de gestão e melhoria do ensino.

Na mesma linha de pesquisa, o estudo de Rosistolato e colaboradores (2014) investigam a concepção de gestores da rede municipal do Rio de Janeiro acerca das avaliações em larga escola e externa e sua influência no cotidiano escolar. A partir de grupos focais com diretores, técnicos da gestão central e intermediária da Secretaria de Educação, as autoras discutem sobre o desconhecimento dos gestores em relação aos aspectos técnicos das avaliações; o efeito “dominó” em relação às cobranças e pressões em torno dos resultados escolares; e, as estratégias e “jeitinhos” que as escolas criam para atender a demanda por resultados, tais como impedir as reprovações e convencer que alunos de baixo desempenho não participem das avaliações.

Machado e Alavarse (2014) colocam em debate a relevância da gestão escolar em promover ações que problematizem o uso das avaliações interna/externa junto ao corpo docente, com a ressalva de que as avaliações não devem ser compreendidas com um fim em si mesmo, mas como possibilidades de associá-las às “transformações necessárias, no sentido de fortalecer a qualidade da escola pública democrática” (MACHADO; ALAVARSE, 2014, p. 75). A pesquisa-ação desenvolvida em uma escola da rede municipal de São Paulo, entre 2010 e 2011, cotejou os resultados da avaliação interna realizada pelos professores em turmas das 2ª e 4ª séries e os dados da avaliação externa, tendo por base os resultados da Prova São Paulo. Os dados revelam algumas incongruências em relação à avaliação interna realizada pelos


professores e os resultados das avaliações externas, na medida em que foi observado casos de alunos que foram reprovados na primeira, mas que tiveram desempenho considerado avançado na Prova São Paulo.

A apropriação e utilização dos indicadores educacionais pela equipe diretiva também foram investigadas por Werle e Audino (2015), em estudo que aborda a avaliação em larga escala da Educação Básica e os processos de gestão praticados em duas escolas públicas da rede estadual de Porto Alegre. A pesquisa contou com a sistematização dos resultados do IDEB dessas escolas, no período de 2009 e 2011, além da utilização de questionário estruturado aplicado à equipe gestora (diretor, coordenação ou supervisão pedagógica e orientação educacional) e da análise de documentos que caracterizam o funcionamento das escolas, tais como o Projeto Político Pedagógico e o Regimento escolar. Com base nos dados coletados, as autoras observam que as escolas em estudo buscam se apropriar e refletir junto com o corpo docente os resultados das avaliações, não como um indicador de qualidade da escola, mas como um instrumento de gestão que possibilita trazer elementos externos para o planejamento das ações pedagógicas, administrativas e participativas.

Machado (2016) investigou a gestão escolar democrática a partir de respostas dos diretores no questionário da Prova Brasil de 2011, tendo como escopo a rede de educação pública da cidade de Guarulhos (SP). O estudo cotejou as respostas dos questionários com os conceitos de autonomia, participação, acesso e permanência na escola. Os resultados indicam que as respostas dos diretores buscam o exercício democrático por meio da participação da comunidade escolar em reuniões de Conselhos (de Escola e de Classe); o tema “autonomia” revela maior inferência de instâncias centrais na gestão escolar nas respostas de diretores de escolas das redes municipais; em relação à permanência dos alunos, os dados sugerem a existência de estratégias para atingir esse objetivo, como ações de reforço da aprendizagem, programas de apoio, projetos sobre meio ambiente, violência, sexualidade etc.

A relação entre a apropriação de conhecimento técnico sobre as avaliações externas e o uso efetivo dos indicadores educacionais pelas equipes gestoras, no âmbito da rede municipal de educação básica do Rio de Janeiro, também foi investigado por Cerdeira e colaboradores (2017). Os dados obtidos por meio de grupo focal e da observação do curso de formação “Compreensão e Uso de Indicadores Educacionais6” e, posteriormente, de análises cruzadas


6 Curso oferecido entre 2012 e 2014, para gestores de escolas municipais do Rio de Janeiro, no âmbito do projeto Observatório Educação e Cidade financiado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). O curso objetivou subsidiar gestores escolares sobre os aspectos teóricos e técnicos das avaliações externas bem como capacita-los quanto ao uso pedagógicos dos indicares educacionais.


com dados de um survey, aplicado aos participantes do curso, reforça a hipótese de que a participação em cursos de formação pode promover mudanças na percepção dos gestores sobre os eventuais usos das avaliações, bem como pode estar associado com a maior probabilidade de possíveis usos dos indicadores educacionais no planejamento escolar.

Pesquisa que analisa os impactos do Programa Mais Educação, enquanto modelo de educação em tempo integral e gestão democrática é apresentada por Bernardo e Christovão (2016), no âmbito da rede municipal de Rio de Janeiro. Com base no debate teórico sobre desigualdades educacionais, as autoras discutem o desenho compensatório implícito ao programa federal e buscam elementos que descrevam possíveis impactos da implementação desse programa sobre a qualidade do ensino. A partir de dados da Prova Brasil 2013 e de pesquisa qualitativa junto aos diretores de seis escolas públicas, o estudo buscou explorar a particularidade da gestão escolar da rede municipal. Como resultados, as autoras consideram que as propostas investigadas se distanciaram dos objetivos propostos pelo governo federal, quando de sua implementação em nível local, em equipes gestoras com concepções diferentes em relação ao programa, além de identificarem a falta de comprometimento dos governos com a avaliação efetiva de tais programas.

Souza e Martins (2018) investigam a composição e organização da clientela escolar nos municípios brasileiros, por meio das respostas dos diretores de escolas municipais ao questionário contextual da Prova Brasil 2015. Ao refletirem sobre os critérios declarados pelos diretores acerca da composição dos alunos e de sua organização por turmas, as pesquisadoras mostram a tendência das escolas de adotarem processos inclusivos de acesso e acolhimento bem como de distribuição em turmas, o que se revela o papel das escolas nas escolhas e da possível implicação dessas práticas ao processo de democratização da escola.


Considerações Finais


Os 28 estudos ora apresentados e discutidos indicam diferentes visões acerca dos desdobramentos dos processos de avaliação educacional nas dinâmicas de gestão das escolas.

No primeiro eixo - avaliação de desempenho e gestão de sistemas de ensino - em alguns estudos, sobressai uma análise crítica que associa esses processos, às políticas de responsabilização escolar e prestação de contas, incidindo sobre diretores e professores os resultados do desempenho de alunos aferidos por indicadores externos.

Outras pesquisas indicam, ainda, a relevância de se analisar a centralidade lograda por avaliações externas, porém, assinalam ser imprescindível compreender os contextos


regionais/locais nos quais as unidades estão inseridas e as tensões decorrentes desses processos entre equipes centrais de secretarias de educação, diretores escolares e professores, no âmbito das redes de ensino.

No segundo eixo - avaliação institucional, autoavaliação e democratização escolar – é possível identificar que alguns estudos afirmam os aspectos positivos das avaliações externas, que por meio dos seus resultados, gestores e professores estabelecem interlocução com o conhecimento produzido por meio dos indicadores de desempenho das avalições externas, instaurando uma reflexão institucional permanente.

No que se refere à análise de autoavaliações implementadas, algumas pesquisas assinalam que processos autoavaliativos foram “esquecidos” e a autonomia das escolas diminuída, sobretudo em função de as políticas de avaliação ser implementadas sem envolvimento significativo de diretores e professores, o que ocasiona, muitas vezes, resistências nos profissionais que deveriam ser protagonistas no processo. De todo modo, os estudos reconhecem que a avaliação institucional – a despeito de hiatos, dificuldades e percalços no seu processo de implementação – possibilita às escolas refletir e reconhecer a particularidade de sua própria experiência de autoavaliação.

Outro problema expressivo identificado se refere ao fato de que processos de autoavaliação podem se resumir a uma coleta de opiniões dos profissionais da educação, sem implicações na agenda de decisões de órgãos centrais. Em outros termos, nem sempre a recolha de opiniões e ou percepções de diretores, coordenadores pedagógicos e professores reverbera em renovação de agendas governamentais, em atendimento às demandas da comunidade profissional e de alunos.

No terceiro eixo - efeito escola e/ou características de escolas eficazes – estudos quantitativos lançam mão de processamentos estatísticos, alguns com base em dados da Prova Brasil, para analisar os fatores endógenos associados à qualidade do ensino ofertado, às desigualdades de oportunidades educacionais em função da dimensão cognitiva e do “efeito- turma”, o nível socioeconômico dos alunos que podem impactar positivamente (ou não) seu desempenho escolar, o clima escolar, o perfil dos diretores e o Índice de Liderança do Diretor (ILD), práticas de gestão e as práticas pedagógicas.

No quarto eixo - avaliação de desempenho de alunos e modelos de gestão - outros estudos - baseados nas noções de eficácia escolar -, apontam que, embora unidades escolares tenham diferentes estilos de gestão e projetos pedagógicos diversos, a liderança do gestor escolar pode influenciar positivamente na qualidade educacional das escolas.


A discussão sobre possíveis apropriações e utilizações de indicadores educacionais por equipes de direção também constituem o foco de pesquisas qualitativas, que buscam compreender como esses resultados podem se configurar como efetivo instrumento de gestão para reorganização das ações pedagógicas, administrativas e participativas, assim como diminuir resistências e inseguranças em relação às avaliações externas.

Em suma, o que está na pauta dos estudos – a relevância de se analisar avaliações externas e autoavaliações – induzem a questionamentos de várias ordens no que tange à sua efetividade para melhoria da educação pública. Corroborando estudo realizado por Lima (2015,

p. 1345), um dos questionamentos possíveis diz respeito à capacidade das unidades escolares para “negociarem” sua autonomia avaliativa frente “às regras heterônimas do processo racional de controle oriundo da avaliação externa”.

De todo modo, ao que tudo indica, as avaliações externas permanecem logrando centralidade e provocando tensões no relacionamento com as unidades, sistemas e redes escolares. Ainda que sejam garantidos mecanismos de autoavaliação, corre-se sempre o risco de que medidas e programas oficiais padronizados sejam implementados por órgãos centrais, direcionados a escolas que têm suas particularidades e especificidades regionais/locais.


REFERÊNCIAS


BERNADO, E. S. Organização de turmas: uma prática de gestão escolar em busca de uma escola eficaz. Revista Educação e Cultura Contemporânea, Rio de Janeiro, Universidade Estácio de Sá, v. 10, n. 21, p. 1-24, 2013.


BERNADO, E. S.; CHRISTOVÃO, A. C. Tempo de Escola e Gestão Democrática: o Programa Mais Educação e o IDEB em busca da qualidade da educação. Revista Educação & Realidade, Porto Alegre, v. 41, n. 4, p. 1113–1140, out./dez. 2016.


BETINI, G. Avaliação Institucional Participativa em Escolas Públicas de Ensino Fundamental. Educação: Teoria e Prática, n. 20, 2010.


BOURDIEU, P. Razões práticas: sobre a teoria da ação. Campinas, SP: Papirus, 2005.


BRANDALISE, M. A. T.; MARTINS, C. B. Programa de avaliação institucional da educação básica do Paraná: da produção à implementação da política na escola. Estudos em Avaliação Educacional, São Paulo, v. 22, n. 50, p. 1-21, set./dez. 2011.


CARVALHO, C. P.; OLIVEIRA, A. C. P.; LIMA, M. F. M. Avaliações externas: tensões e desafios para a gestão escolar. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 59, p. 50-76, set./dez. 2014.


CERDEIRA, D. et al. Conhecimento e Uso de Indicadores Educacionais no Município do Rio de Janeiro. Estudos em Avaliação Educacional, v. 28. n. 69. p. 926-968, dez. 2017.


CÔCO, V.; GALDINO, L. Gestão democrática: inserção dos gestores nas instituições de educação infantil. Revista Contrapontos, Itajaí, SC., v. 16, n. 2, p. 300-320, jul. 2016.


CONCEIÇÃO, S.; PARENTE, J. O perfil do diretor das escolas públicas de Itabaiana (SE): um estudo multivariado. EccoS – Revista Científica, v. 35, 173-190, 2014.


HOJAS, V. F.; MANFIO, A. Educação de qualidade: concepções da equipe de gestão e de docentes acerca da organização do trabalho na escola e da avaliação em larga escala.

Educação em Revista, Marília, v. 15, n. 1, p. 19-30, jan./jun. 2014.


LIMA, L. A avaliação institucional como instrumento de racionalização e o retorno à escola como organização formal. Educação e Pesquisa, v. 41, p. 1339-1352, 2015.


MACHADO, C. Avaliação externa e escolas públicas: elementos de gestão escolar democrática. Estudos em Avaliação Educacional, v. 27, n. 64, p. 218-240, 2016.


MACHADO, C.; ALAVARSE, O. M. Avaliação interna no contexto das avaliações externas: desafios para a gestão escolar. RBPAE, v. 30, n. 1, p. 63-78, jan./abr. 2014.


MACHADO, C.; FREITAS, P. F. Gestão escolar e avaliação externa: Experiências de escolas da Rede Municipal de São Paulo. Revista Eletrônica de Educação, v. 8, n. 3, p. 113-126, 2014.


MARTINS, A. M.; SOUSA, S. Z. A produção científica sobre avaliação educacional e gestão de sistemas e de escolas: o campo da questão entre 2000 e 2008. Ensaio: aval.pol.públ.Educ., Rio de Janeiro , v. 20, n. 74, p. 9-26, mar. 2012 .


OLIVEIRA, A. C. P.; CARVALHO, C. P. Gestão escolar, liderança do diretor e resultados educacionais no Brasil. Rev. Bras. Educ., Rio de Janeiro, v. 23, 2018.


OLIVEIRA, A. C. P.; WALDHELM, A. P. S. Liderança do diretor, clima escolar e desempenho dos estudantes: qual a relação? Ensaio: Avaliação e Políticas Públicas em Educação, v. 24, n. 93, p. 824 - 44, out./dez. 2016.


ORLANDO FILHO, O.; SA, V. I. M. Avaliação externa da gestão escolar do Programa Nova Escola do Estado do Rio de Janeiro: um estudo reflexivo sobre o seu primeiro ciclo de realização (2000–2003), passados quinze anos de sua implementação. Ensaio: aval.pol.públ.Educ., Rio de Janeiro, v. 24, n. 91, p. 275-307, jun. 2016.


PAES DE CARVALHO, C.; CANEDO, M. L. Estilos de Gestão, Cultura Organizacional e Qualidade de Ensino. Revista Educação e Cultura Contemporânea, v. 9, p. 78-98, 2012.


PASSONE, E. F. K. Gestão Escolar e Democracia: o que nos ensinam os estudos de Eficácia Escolar. Laplage em revista, v. 5, n. 2, p. 142-156, 2019.


PASSONE, E. F. K. Incentivos monetários para professores: avaliação, gestão e responsabilização na educação básica. Cad. Pesqui., São Paulo, v. 44, n. 152, p. 424-448, jun. 2014.


RIOS, M. P. G; TREVISOL, M. T. C; SOPELSA, O. Ações de escolas da rede pública municipal da mesorregião do oeste de Santa Catarina em prol da qualidade do ensino fundamental. Educação Unisinos, v. 21, n. 1, p. 90-101, jan./abr. 2017.


ROSISTOLATO, R.; PRADO, A.; FERNÁNDEZ, S. Cobranças, estratégias e “jeitinhos”: avaliações em larga escala no Rio de Janeiro. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas, v. 25, n. 59, p. 78-107, set./dez. 2015.


SALGADO JUNIOR, A. P.; NOVI, J. C.; FERREIRA, J. Práticas escolares e desempenho dos alunos: uso das abordagens quantitativa e qualitativa. Educ. Soc., Campinas, v. 37, n. 134, p. 217-243, mar. 2016.


SILVA, I. M. Autoavaliação e gestão democrática na instituição escolar. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro, v. 18, n. 66, p. 49-64, mar. 2010.


SILVA, N. F.; ARANDA, M. A. M. Participação e gestão democrática da educação: o legislado é o praticado?. Horizontes - Revista de Educação, v. 8, n. 15, p. 230-244, jul. 2020.


SOUZA, A.R.; DA SILVA, M. Q. Panorama nacional das condições de gestão no ensino fundamental. Revista on line de Política e Gestão Educacional, p. 939-960, dec. 2018.


SOUZA, S. M. Z. L.; MARTINS, A. M. Composição e organização da clientela escolar em escolas municipais brasileiras: o que dizem os diretores. Educar em Revista, v. 34, n. 71, p. p. 175-190, nov. 2018.


VIEIRA, S. L.; VIDAL, E. M. A escola pública e seu entorno social – Uma questão em aberto. Atos de pesquisa em educação, Blumenau, v. 10, n. 1, p.7-30, jan./abr. 2015.


WERLE, F. O. C.; AUDINO, J. F. Desafios na gestão escolar. Revista Brasileira de Política e Administração da Educação - Periódico científico editado pela ANPAE, v. 31, n. 1, p.

125-144, set. 2015.


WERLE, F. O. C.; KOETZ, C. M.; MARTINS, T. F. K. Escola pública e a utilização de indicadores educacionais. Educação, v. 38, n. 1, p. 99-112, 2015.


Como referenciar este artigo


PASSONE; E. F. K.; MARTINS, A. M.; ROSA, S. S. Produção científica sobre avaliação e autoavaliação educacional: interfaces com a gestão escolar. Rev. @mbienteeducação, São Paulo, v. 14, n. 3, p. 580-598, set./dez. 2021. e-ISSN: 1982-8632. DOI:

https://doi.org/10.26843/v14.n3.2021.1077. p580-598


Submetido em: 09/08/2021 Revisões requeridas: 15/10/2021 Aprovado em: 24/11/2021 Publicado em: 16/12/2021


SCIENTIFIC PRODUCTION ON EDUCATIONAL ASSESSMENT AND SELF- ASSESSMENT: INTERFACES WITH SCHOOL MANAGEMENT


PRODUÇÃO CIENTÍFICA SOBRE AVALIAÇÃO E AUTOAVALIAÇÃO EDUCACIONAL: INTERFACES COM A GESTÃO ESCOLAR


PRODUCCIÓN CIENTÍFICA SOBRE EVALUACIÓN EDUCATIVA Y AUTOEVALUACIÓN: INTERFACES CON LA GESTIÓN ESCOLAR


Eric Ferdinando Kanai PASSONE1 Angela Maria MARTINS2 Sanny Silva ROSA3


ABSTRACT: The main goal of this work was to inventory and analyze scientific articles on school management to answer the following issue: which aspects and dimensions are privileged in these papers that might provide us a comprehensive view in degree and range of academic interest on such subject? This paper presents and discusses one of the relevant dimensions addressed by this investigation regarding to educational assessment and self-assessment. At this stage of the study, the contents of 28 articles published between 2009-2020 were systematized in the following axes of analysis: performance assessment and education systems management; institutional assessment, self-assessment, and school democratization; school effect and/or effective schools features; performance assessment of students and management models.


KEYWORDS: State of knowledge. Educational assessment and self-assessment. School management. Educational indicators.


RESUMO: O objetivo deste estudo foi inventariar e analisar trabalhos científicos sobre gestão escolar, a fim de responder à seguinte questão: quais aspectos e dimensões são privilegiados nesses trabalhos que podem nos fornecer uma visão abrangente sobre o grau e alcance do interesse acadêmico sobre esse tema? Este artigo apresenta e discute uma das dimensões relevantes abordadas no estudo, que diz respeito à avaliação educacional e autoavaliação. Nesta etapa do estudo, o conteúdo de 28 artigos, publicados entre 2009 e 2020, foi sistematizado nos seguintes eixos de análise: avaliação de desempenho e gestão de sistemas de ensino; avaliação institucional, autoavaliação e democratização escolar; efeito escolar e / ou características efetivas das escolas; avaliação de desempenho de estudantes e modelos de gestão.


1 City University of Sao Paulo (UNICID), São Paulo – SP – Brazil. Professor of the Postgraduate Program in Education and of the Professional Master's Program in Educational Management. Post-doctorate in Education. ORCID: https://orcid.org/0000-0002-0305-6734. E-mail: eric.passone@unicid.edu.br

2 City University of Sao Paulo (UNICID), São Paulo – SP – Brazil. Professor of the Postgraduate Program in Education and of the Professional Master's Program in Educational Management. Researcher at Fundação Carlos Chagas. ORCID: https://orcid.org/0000-0002-1267-8869. E-mail: ange.martins@uol.com.br

3 Municipal University of São Caetano do Sul (USCS), São Caetano do Sul – SP – Brazil. Professor at PPGE (Professional Master's in Education) - research line: Educational Policies and Management. Doctorate in Education (PUC-SP). Post-doctoral studies in Educational Policies (Institute of Education - University of London - 2010/11). ORCID: https://orcid.org/0000-0001-5044-6156. E-mail: ssdarosa@uol.com.br


PALAVRAS-CHAVE: Estado do conhecimento. Avaliação e autoavaliação educacional. Gestão escolar. Indicadores educacionais.


RESUMEN: El objetivo deste estudio fue inventariar y analizar trabajos científicos sobre gestión escolar, con el fin de responder a la siguiente pregunta: qué aspectos y dimensiones son privilegiados en estos trabajos que nos pueden proporcionar una visión integral sobre el grado y alcance del interés académico sobre este tema? Este artículo presenta y discute una de las dimensiones relevantes abordadas en el estudio, que se refiere a la evaluación educativa y la autoevaluación. En esta fase del estudio, el contenido de 28 artículos publicados entre 2009 y 2020, fue sistematizado en las siguientes líneas de análisis: evaluación y gestión de los sistemas educativos de rendimiento; evaluación institucional, autoevaluación y democratización escolar; efecto escolar y / o características efectivas de las escuelas; evaluación de desempeño de estudiantes y modelos de gestión.


PALABRAS CLAVE: Estado del conocimiento. Evaluación educativa y autoevaluación. Gestión escolar. Indicadores educativos.


Introduction


The definition of systematic literature review has been object of debate in education area, comprising different visions on scope and depth of the systematized material. According to Faria (2003), an inventory comprises any systematized review of elements of a specific subject within a given period, aiming to identify and disclose part of academic production of a specific area, theme and/or object. In addition, the systematization of scientific works and the dissemination of their results are relevant as they amplify visions on different – and often divergent – conceptions, to subsidize studies concerned to the same theme.

However, the identification, systematization and hierarchization of studies carried out in a certain field of knowledge cannot fail to consider historical, political, social, and institutional context in which they were produced, since these aspects influence the research’s design, methods used and the processes of analysis. Thus, scientific interests of a given time reflect broad social processes, whose complexity of analysis demand attention to previously published productions. On Bourdieu’s words (2005, p. 83, our translation) “professionals of symbolic production are faced with struggles that aim to impose legitimate principles of vision and division of the natural and social world”.

Indeed, productions with bibliographic character that aim to bring about scientific productions are called “state of art”, “state of knowledge”, “state of questioning”, “literature review” and “inventory”. Although using different methodological approaches, the common


challenge of this kind of study is to mapp and/or discuss academic productions of different areas of knowledge, in search for common aspects and/or thematic dimensions of investigations published in scientific journals and/or annals of scientific events.


Educational Assessment and Self-assessment: what are said in the field of studies?


The present literature review has been carried out on periodicals’ portals of CAPES and Scielo Educ@. An early investigation dealt with educational and school management between 2009 and 2019, through the following Booleans describers “school management and participation”; “school management and school council”; “school management and school environment”;” school management and principals’ profiles”; “school management and student performance”; “school management and access to the position”;” school management and administration schemes”; “school management and administration and leadership styles”. In the first stage of this search, it was possible to verify that studies under those keywords also focused on school effectiveness; school’s indicators; educational evaluation and self-evaluation conceptions; forms of use of external assessments as management tools, all of

them in interface with school management.

In the next stage, it was possible to select 28 articles published in journals of education area that, directly or indirectly, addressed to Assessment and Self-Assessment topics, between 2009 and 2019. The present literature review corroborated and updated the findings of a previous one, carried out by Souza & Martins (2012), covering the period of 2000 to 2008, regarding academic productions on school management and assessment, collected in de the same database.

In the mentioned work, Souza and Martins (2012) presented the main theoretical- methodological contributions that led to advancement of knowledge in this field, particularly for educational and school management. In addition, the authors also showed how those works have contributed as subsidies for educational and school managers. Drawing on the authors’ initial categorization, we sought to structure the present analysis in four great thematic axles:


  1. uses of performance assessment results for the implementation of educational policies and school management processes.

  2. institutional assessment and school democratization.

  3. school effect and/or effective schools features.

  4. student performance assessment, principals’ profile, and management models.



Thus, we present below the systematization of articles published in the last decade, with different theoretical-methodological approaches, such as critical studies, argumentative, statistical, quantitative-qualitative studies, among others.


  1. First axis: Performance Assessment and Management of Educational Systems


    The first table contains seven articles, two of those focus on the centrality of external assessments in educational policies regulation, in which the development of schools and educational system works as a mechanism of educational management, associated with school accountability policies (PASSONE, 2014; CARVALHO et al., 2014).

    Two articles focus on schools’ development and/or transformation as result of use of educational indicators and/or information taken from schools’ managers and teachers in the contextual questionnaire attached to Brazilian National Test (RIOS et al., 2017; ORLANDO FILHO, SÁ, 2016; WERLE, KOETZ, MARTINS, 2015). One article analyzes school directors’ profile of municipal education system of Itabaina-SE (CONCEICÃO; PARENTE, 2014); and the other one discusses forms of assingnements for the position of school director of Early Child Education schools in Espirito Santo state (CÔCO; GALDINO, 2016).


    Table 1 – Studies that deal with uses of assessment results for education systems

    management


    Authors

    Journal

    Year

    PASSONE

    Cadernos de Pesquisa

    2014

    CONCEIÇÃO, PARENTE

    Eccos Revista Científica

    2014

    CARVALHO et al

    Estudos em Avaliação Educacional

    2014

    WERLE et al

    Educação (Porto Alegre)

    2015

    COCÔ e GALDINO

    Revista Contrapontos

    2016

    ORLANDO FILHO, SÁ

    Ensaio

    2016

    RIOS et al

    Educação Unisinos

    2017

    Source: Research data


    About the regulations of educational policies, Passone (2014) complained the “assessment rage” that predominates in management of Brazilian education systems. To this end, the author presented a sensible analysis of studies that focus on educational policies of assessment attached to school accountability policies and monetary incentives to increase educational quality. Criticizing the lack of scientific evidence on the effectiveness of using standardized tests results as instruments to educational management and regulation of


    schoolwork, the author questioned the role of educational assessment in Brazilian context, challenged the obsessive practice of assessing what it is not taught in schools and pointed out a certain political refusal of Brazilian state to take responsibility for citizenship education and for equitable education of the youngest.

    Carvalho and collaborators (2014) carried out an exploratory study that investigated evaluation policies and school accountability in public school system of the city of Rio de Janeiro. The authors analyzed data from interviews conducted with directors of three schools through the answers given to the contextual questionnaire of Brazilian National Test (Prova Brasil) of 2007, 2009 and 2011. The study identified some signs of changes in school management as result of the implementation of evaluation policies linked to school accountability policies adopted in 2009 by Rio de Janeiro municipal education system. Among such signs, the authors highlighted, on one hand, teachers’ interest in participating in activities of continuing education and, on the other hand, the intensification of bureaucratic work due to the lack of administrative support to schools’ management teams.

    Rios, Trevisol & Sopelsa (2017) analyzed actions developed in seven cities of eastern mesoregion of Santa Catarina on the use of educational indicators as subsidies for management of public education systems. Based on qualitative data, the researchers analyzed the answers given by Secretaries of Education, school principals and Portuguese Language and Mathematics teachers to the contextual questionnaire of Brazilian National Test of 2009. Considering specificities of each city, they found that the use of some indicators fostered actions to improve school learning conditions, such as: purchase of school supplies; expansion of computer labs; increase of teachers continuing education offers; new collective spaces for teachers to participate in the processes of re-planning schools’ political-pedagogical projects.

    Likewise, Werle, Koetz & Martins (2015) discussed the appropriation of educational indicators by school team in a Rio Grande do Sul state school. The authors pointed out that school community tends to collaborate for the improvement of education quality when managers and teachers use external assessment indicators to permanently reflect on schools’ practices.

    Orlando Filho & Martins Sá (2016) reflected on the impact of the “New School Program” implementation on school management, designed to carry out external assessment of school managers in elementary education system of Rio de Janeiro. By triangulating data obtained through interviews, questionnaires, bibliographical review and documentary analysis, the authors examined convergences and divergences of several aspects of the Program to understand the way of thinking and practicing school management in the units that were


    investigated. The analysis showed that, despite efforts already made, the Program itself produced little impact on school management and did not bring any significative improvement in terms of educational services related to external assessment of school management.

    Among critical aspects detected, the findings showed evidence that external assessment brought about classification and ranking practices within schools units; that payment of rewards linked to results generated professional demotivation; that emphasis on external assessment led to a kind of “forgetting” of self-assessment processes; and that autonomy of schools has diminished in the face of governmental central organs regulations; finally, the authors concluded that the New School Program has been implemented as a “top down” policy, disregarding participation of the school groups involved. According to them, all those factors generated resistance and demobilization of the very protagonists of the expected changes.

    Differently from the studies mentioned so far, Côco & Galdino (2016) focused on forms of assignments of school managers in Early Child Education of Espirito Santo state, considering Brazilian educational laws and findings of related studies. Based on data obtained from a questionnaire applied in 78 cities, the authors mapped different forms of access to school manager position. They concluded that in most cities the school director function is part of schools’ board, nevertheless, quality of participative and collective work processes is still questionable. All that clues pointed out to the great challenges yet to be faced by Early Child Education schools to democratize its management.

    The study by Conceição & Parente (2014) examined management of schools in Itabaiana, a municipality of Sergipe state, through a multivariate analysis of groups. To that end, a questionnaire was applied in 58 school units in order to identify the directors’ profile, considering former professional experience; access to different opportunities of financing ; nature of difficulties faced in school management processes. Based on school managers views, the authors discuss several aspects related to competence, skills, professional difficulties and limitations that are possibly linked to schools management processes.


  2. Second axis: Institutional Assessment, Self-Assessment, and School Democratization


    Table two brings together four research works whose common focus is the institutional assessment and/or self-assessment associated with the issue of participation and democratic school management. It is important to highlight the relevant contributions of some studies to the issue of school, families, and community relationship (SILVA, 2010; BETINI, 2010;


    VIERIA; VIDAL, 2015); as well as those that discussed participation and school democratic management (SILVA; ARANDA, 2020).


    Table 2 – Studies on the Institutional Assessment, Self-assessment, and school

    democratization


    Authors

    Journal

    Year

    SILVA

    Ensaio

    2010

    BETINI

    Educação: teoria e prática

    2010

    BRANDALISE et al

    Estudos em Avaliação Educacional

    2011

    VIEIRA e VIDAL

    Atos de pesquisa em Educação

    2015

    SILVA e ARANDA

    Horizontes - Revista de Educação

    2020

    Source: Research data


    Silva (2010) discussed self-assessment in Early Child Education and in Early Grades of elementary school from the theoretical perspective of school democratic management, which is a Brazilian constitutional principle of education. Drawn on secondary data - document analysis of assessments carried out in four schools of metropolitan region of São Paulo - the author intended to investigate democratization of school management. It was found that, although schools have effective practices of considering communities views in schools’ self-assessment, in most cases such a participation used to be reduced to a mere collection of opinions, since community members are not enclosed in decision-making processes. As a conclusion, the author argues that understanding democratic management in its initial phase (participation) reveals the need of overcoming some contradictions between educational system expectations and the schools’ actual needs.

    Vieira &Vidal (2015) also focused on school’s relations with its surroundings to address the issue of school, families, and community relationship. It was done combining bibliographic and documentary research with the analysis of school principals’ and teachers’ answers to the questionnaire of Brazilian National Test of 2011, covering 15 cities of Maciço de Baturitém region of Ceará state.

    While acknowledging that this relationship maintains asymmetrical characteristics and still open aspects, the authors endorsed positive aspects of such relations and highlighted advancements arising from public policy of federal educational programs in progress in the region, such as Open School Program (Programa Escola Aberta), National Program of Empowerment of School Council (Programa Nacional de Fortalecimento dos Conselhos Escolares) and the Program of Direct Money at School) (Programa Dinheiro Direto na Escola) (PDDE).


    Studying Participative Institutional Assessment Program – (Avaliação Institucional Participativa – AIP), Betini (2010) dealt with the issue of community participation (principals, teachers, school staff, students, and parents) in municipal education system of Campinas, a countryside city of São Paulo state. In such a process, some key categories stand out, mainly, the role of school management, the political and pedagogical project of schools and collective work, as well as objective and subjective dimensions that make social quality of education and population access to social knowledge possible.

    Brandalise & Martins (2011) analyzed the re-signification of education assessment policies in relation to the processes of its implementation, i.e, when policy “meet school”. The authors took Institutional Assessment of Elementary Education Program of Paraná state as a starting point to exam the underlying conceptions of official and institutional documents through the management teams’ representation and schools’ everyday practices. If, on one hand, the study has highlighted gaps, difficulties, and troubles during its implementation, on the other, it has acknowledged positive aspects arising from the experience of reflection and acknowledgement of each school particularities in the process of self-assessment.


  3. Third axis: School effect and/or effective schools features


    In this third axis, six articles were brought together in Table 3. As a whole, they focus on the school role for students’ performance. The scope of four articles encompasses the topic of school effect and/or the school efficacy (BERNARDO, 2013; OLIVEIRA; CARVALHO, 2019; OLIVEIRA; WALDHELM, 2016; PAES DE CARVALHO; CANEDO, 2012); other two

    investigate managerial and pedagogical practices related to students’ good performance (SALGADO JUNIOR et al., 2016; PASSONE, 2019); the last one delt with the effectiveness of democratic management tools underlying Management Conditions Index (SOUSA; SILVA, 2018).


    Table 3 – Studies that associate students’ performance with the role of school


    Authors

    Journal

    Year

    PAES DE CARVALHO, CANEDO


    Educação e cultura contemporânea


    2012

    BERNARDO

    Educação e cultura contemporânea

    2013

    OLIVEIRA & WALDHELM

    Ensaio

    2016

    SALGADO JUNIOR et al

    Educação & Sociedade

    2016

    SOUSA & SILVA

    Revista online de Política e Gestão Educacional

    2018

    OLIVEIRA & CARVALHO


    Revista Brasileira de Educação

    2018


    PASSONE

    Laplage em Revista

    2019

    Source: research data


    Among studies that have investigated educational management models, organizational culture, and teaching quality, Paes de Carbalho & Canedo (2012) presented a quali-quantitative work carried out in three schools considered by media as of excellence, regardless they were public, private or any other administrative dependence. Based on data collected by Education Sociology Research Group (Grupo de Pesquisa em Sociologia da Educação – SOCED/PUC- Rio), the authors grounded their analyses on two thematic streams: studies on school efficacy and on identity of school institutions. Based on findings, they argued that the acknowledgment of director’s leadership by schools’ communities positively influences educational quality, regardless their management style and/or pedagogical project.

    Bernardo’s research (2013) dealt with the issue of how different practices of making up student groups and school management improve school efficacy and equity. The “class-effect” was the focus of this investigation carried out in municipal education system schools of Rio de Janeiro. The study was based on longitudinal data gathered by Geres4 project, plus qualitative research work on pedagogical practices of two case studies. According to the author, challenges persist for educational policy, school administrators and teachers with regard of strategies to promote equity, since students that attend low-performing classes learn less and are often taught by less experienced teachers.

    Oliveira & Waldhelm (2016) sought to establish a relationship between principals’ leadership and school environment (as so perceived by teachers), by using 2013 Brazilian National Test data (Prova Brasil/2013) to find out likely links with learning performance of students from municipal and state schools in Rio de Janeiro. As result of this study, an indicator has been created - Average Indices of Leadership and Teaching Collaboration Index (Índices Médios de Liderança e Colaboração – IMLD) - to measure 5th year students’ medium performance in Mathematics through a linear regression technique. Through statistical control of students’ socio-economic level, the authors concluded that intra-school factors favorably impact students’ academic performance.

    With similar goal, Oliveira & Carvalho (2018) analyzed the relationship between intra-

    school factors (teacher’s leadership, on their own perception) and extra-school factors (policies


    4 The Longitudinal Study of School Generation (“Estudo Longitudinal da Geração Escolar” – GERES) – is a longitudinal study on quality and efficacy of Brazilian early grades elementary school, that followed Mathematics and Reading proficiency of students from the 2º to the 5º Elementary school. It involved samples of five Brazilian cities: Belo Horizonte (MG), Campinas (SP), Campo Grande (MS), Rio de Janeiro (RJ) and Bahia (BA), reaching around 300 schools, 900 elementary school classrooms and 20,000 students.


    for assigning directors position) with students’ performance, based on conceptual assumptions of school effectiveness and “integrated leadership”5 of school directors. Extracting data from Brazilian National Test of 2007, 2009 and 2011, the study analyzed the relationship between Principal’s Leadership Index (Índice de Liderança do Diretor – ILD), through factorial analysis, combined with two variables: forms of assignments of principals’ position and 5th year students’ performance in Mathematics. It concluded that ILD is positively associated to tests results given the fact that principals would make an institutional environment favorable to pedagogical practices and to significant learning. However, when school principals are politically nominated, such correlation is negative in relation to students’ performance.

    Salvador Junior, Novi & Ferreira (2016) investigated management and pedagogical practices correlated to good performances of students in Brazilian National Test (Prova Brasil). To investigate schools’ internal processes, this quantity/qualitative approach research used Data Envelopment Analysis statistical techniques to identify and select schools considered “efficient”, combined with multiple cases studies. The study has reiterated findings of previous ones on school efficacy and efficiency associated with school management and pedagogical processes.

    Resorting methodological approach of Management Quality Conditions Index - (Índice de Condições de Qualidade – ICQ), Souza & Silva (2018) developed a detailed analysis on the conditions of schools’ management of Brazilian municipal education systems drawing on contextual data collected through questionnaires addressed to school principals when Brazilian National Test of 2013 was performed. The national outlook of management conditions on elementary schools revealed deep inequalities between Brazilian states and high variation between municipal educational systems of each state, disclosing variances in effectiveness of management instruments examined by Management Quality Conditions Index.


  4. Fourth axis: Students’ Performance and School Management Models


Table 4 gathers nine articles about students’ performance, school management models among other aspects of school management. Five of them refer to the ways in which management teams use large-scale standardized tests results as educational indicators


5 The concept of “Integrated Leadership” proposed by Marks & Prints (2003) consider that principals’ role is related to pedagogical and management relational skills, in terms of confidence and acknowledgement from students. Cf. MARKS, H.M.; PRINTY, S.M. Principal leadership and school performance: an integration of transformational and instructional leadership. Educational Administration Quarterly, Thousand Oaks: Sage, n. 39, p. 370-397, 2003.


(CERDEIRA et al., 2017; MACHADO, FREITAS, 2014; MACHADO; ALAVARSE, 2014;

ROSISTOLATO et al., 2014; WERLE; AUDINO, 2015); one paper depicts school professionals’ perceptions about educational quality, external assessment and school work organization (HOJAS; MANFIO, 2014); one deals with democratic school management (MACHADO, 2016); one examined municipal education system of Rio de Janeiro (BERNARDO; CHRISTOVÃO, 2016); and a last one analyzed the making-up of classrooms and organization of schools in Brazilian cities in relation to democratization of education. (SOUZA; MARTINS, 2018).


Fourth table: Studies that associate students’ performance with management models


Authors

Journal

Year

HOJAS e MANFIO

Educação em Revista

2014

MACHADO e FREITAS

Revista Eletrônica de Educação

2014

ROSISTOLATO et al

Estudos em Avaliação Educacional

2014

MACHADO e ALAVARSE

RBPAE

2014

WERLE e AUDINO

RBPAE

2015

BERNARDO e CHRISTOVÃO

Educação & Realidade

2016

MACHADO

Estudos em Avaliação Educacional

2016

CERDEIRA et al

Estudos em Avaliação Educacional

2017

SOUZA e MARTINS

Educar em revista

2018

Source: Research data


The research work of Hojas & Manfio (2014) analyzed school management teams’ and teachers’ conception on education quality by means of two central axes: large- scale assessments and school organization work. This qualitative research was carried out in two schools of São Paulo state with very distinct features, identifying that in one of them educational work is mainly focused on external assessment to accomplish the best results possible; in the other, school’s management team considers that “other contents are also important for students’ education process” (HOJAS; MANFIO, 2014, p. 7793). The authors concluded that the consolidation of an assessment culture includes a critical and collective reflection about such a process in order to offer new possibilities for pedagogical work organization and change aiming at education and school management democratization.

Machado & Freitas (2014) have investigated the processes of appropriation of large- scale assessment results by management teams of four schools of the city of Sao Paulo. Drawing on field data, experiences, conceptions, and resistance movements of school teams in relation to external evaluations were described. The results showed that teacher training failures must be overcome for them to critically deal with concerns generated by school rankings and with


conflicts arise between schools’ members on how to use external evaluations results to improve

quality of education.

With similar concern, the study of Rosistolato and collaborators (2014) analyzed the conceptions of school managers of Rio de Janeiro's municipal education system in respect to large-scale assessments and its impact on day-today of schoolwork. From data collected in focal groups with school principals and education technicians (who act as intermediaries between schools and the Department of Education), the authors highlighted school managers’ lack of familiarity with technical aspects of external assessments, the “domino effect” related to charges and pressures over schools’ performance, and the “strategies” found by schools units – in the “Brazilian way” (“jeitinho brasileiro”) - to respond to the external demands for better results, like for example, preventing low-performing students from participating in nation test and/or masking schools’ failing rates.

Machado & Alvarse (2014) put into debate the relevance of school management to encourage school members to problematize internal/external assessments results. The authors stressed that standardized tests cannot be understood as an end in themselves, but as an opportunity to foster the “needed transformations, in the sense of fortifying the quality of the democratic public school”. (MACHADO; ALAVARSE, 2014, p. 75). This research-action, developed in a municipal school of the city of Sao Paulo, between 2010 and 2011, has compared internal assessment results of 2nd and 4th series with those accomplished by the same students in the standardized test of this municipality (Prova São Paulo). The study also found incongruities between both types of assessment, as there were cases of students who had failed in internal evaluations, carried out by their teachers, but had a considered advanced performance in “São Paulo Test”.

The forms of apprehension and use of educational indicators by management teams were also investigated by Werle & Audino (2015) in a study that focused large- scale assessment in elementary education and management practices in two state schools located in Porto Alegre. The research consisted in the systematization of IDEB6 (Basic Education Development Index), between 2009 and 2011, combined with data obtained from a structured questionnaire applied to the management teams of both schools (principals, pedagogical coordinators, educational supervisors, and educational counselors) and with the analysis of both schools’ official documents, such as school regiments and political-pedagogical project. The



6 IDEB – Índice de Desenvolvimento da Educação Básica – (Basic Education Development Index) is an index created by Brazilian federal government, in 2007, to measure and monitor quality education in public school systems.


authors observed that schools’ teams tend to reflect about assessments results not as a school quality indicator, but rather as a management tool to bring about external elements for the pedagogical, administrative, and participative planning.

Machado (2016) investigated democratic school management drawing on principals’ answers to the contextual questionnaire of Brazilian National Test of 2011, within the scope of public education system of the city of Guarulhos, in São Paulo state. The study have contrasted answers given by school principals considering the following concepts: autonomy, participation, school access and students’ school attendance. Through principals’ answers, it was possible to infer that, in general, schools seek to develop democratic practices by encouraging community participation in School Councils’ meetings (School and Class Councils); in relation to “autonomy”, the study showed that local authorities have hard interference over schools’ management; and regarding to students’ attendance, it suggested that there are strategies in progress to achieve this goal, like learning reinforcement programs, environmental projects and others regarding to violence, sexuality, and so forth.

The relationship between school teams’ appropriation of external assessments technical knowledge and its effective use was also investigated by Cerdeira and collaborators (2017) in a study carried out within elementary education system of the city of Rio de Janeiro. The methodology combined focal group discussions with naturalistic observation of an undergraduate course named “Comprehension and Use of Educational Indicators2”, whose data was then cross analyzed with those of a survey applied to the course participants. The results reinforce the hypothesis that such training courses might help school managers to change their perception on the possibilities of use of assessments and of educational indicators for the school planning.

Bernardo & Christovão (2016) analyzed the “Plus Education Program” (Programa Mais Educação) - a full–time education model and democratic management - within municipal elementary education system of Rio de Janeiro. Grounded upon theoretical debates on educational inequalities, the authors discussed the Program’s compensatory design to describe its potential impact on quality education. Drawing on results of Brazilian National Test of 2013 and qualitative data collected from six public school directors, the study explored peculiarities of schools’ management. The authors concluded that, when implemented locally, school management practices were far from the initial objectives of the national program, given to discrepant views of schools’ managers and local government lack of commitment to carry out an effective evaluation of its accomplishments.


Souza & Martins (2018) investigated the make-up and organization of schools in Brazilian municipalities from the analysis of school principals’ responses to the contextual questionnaire of Brazilian National Test of 2015 (Prova Brasil, 2015). When reflecting on the criteria declared by them to compose and group student classes, the researchers observed schools’ tendency to embrace inclusive principles in terms of school access and of students welcoming, which reveals the important role played by schools’ choices and practices towards democratization of education.


Final words


The 28 studies presented and discussed in this paper suggest that there are different views on the unfolding processes of educational assessments depending on the dynamics of schools' management.

Some studies of the first axis – Performance Assessment and Management of Educational Systems– bring about a critical analysis of these processes regarding to the fact that students’ performance results, measured by external indicators, fall over principals and teachers due accountability policies adopted by several educational public systems around the country. In contrast, some papers acknowledge the relevance of external assessments results for schools' pedagogical and administrative planning, although calling attention for the need of considering regional/local contexts which school units belong to, as well as to the tensions arise between local education authorities, schools' management, and teaching teams, especially, because of the ranking of schools.

In the second axis – Institutional Assessment, Self-Assessment, and School Democratization, – it was possible to identify that some studies stress positive aspects of external assessments in the sense of encouraging schools’ team to reflect about students’ learning performance in standardized assessments in order to keep a permanent attention to institutional practices. Concerning to institutional self-assessments examined in this second axis, some studies point out that such a practice seem to be “forgotten” insofar as school autonomy has been reduced, mainly due assessment policies implemented by local education systems, without significant involvement of principals and teachers. For the same reason, movements of resistance arise among school professionals, who are supposed to be the central protagonists of such a process. In short, despite gaps, difficulties and drawbacks, positive aspects of self-assessments policies were highlighted once they allow and encourage schools to reflect about their own institutional experience.


Another important aspect highlighted by in studies was that education professionals’ opinion over their institutional assessment haven’t had significant implications on governments’ policy agenda. In other words, perceptions of school units about their own work do not reverberate in the renewal of governments’ decision-making processes as a response to students’ and schools’ communities needs and/or demands.

In the third axis – School effect and/or effective schools features – it was observed that quantitative studies based on statistical methods, mainly drawing on Brazilian National Test data, were carried out to analyze school units’ endogenous factors linked to quality of education as well as to inequalities of educational opportunities. In general, the studies considered variables (such as “group-effect” associated with organization of students' groups according to their cognitive characteristics and their socio-economic background) that can (or cannot) impact positively on schools’ performance and/or on their institutional atmosphere. Directors’ profile, Directors’ Leadership Index – (Índice de Liderança do Diretor – (ILD), management and pedagogical practices, among others, were also factors considered on the analysis of this thematic axis.

The fourth and last axis of analysis brought together works that delt with Student Performance Assessment and School Management Models. Considering conceptual discussions on school efficacy, all of them, in one way or another, agree on the assumption that, even though each school unit has a particular style of management and a specific pedagogical project, managers’ leadership can positively influence the educational quality of schools.

The discussions around different kinds of appropriation and use of educational indicators by the schools’ management teams were the focus of qualitative research analyzed within the fourth axis. In general, these works sought to understand how the results of student assessments can become effective management tools to reorganize pedagogical, administrative, and participatory actions in schools, as well as a means of minimizing the resistances and insecurities of school teams in relation to external assessments.

In short, it is fair to say that the common concern of all studies gathered in this article - the relevance of external assessments and institutional self-assessment – raises questions of various orders as to their effectiveness in improving public education. Corroborating what Lima says (2015, p. 1345), one of the possible questions is the ability of school units to “negotiate” their autonomy in the face of “the heteronymous rules of the rational process of control resulting from external evaluation”.

Taking as a reference the studies and research analyzed in this literature review, apparently, external evaluations, as one of the central policies of education in Brazil, continue


to cause tensions in education systems and school units. Although self-assessment mechanisms are guaranteed, there is always a risk that measures that standardized official measures and programs are implemented by central authorities without considering regional/local particularities and needs.


REFERENCES


BERNADO, E. S. Organização de turmas: uma prática de gestão escolar em busca de uma escola eficaz. Revista Educação e Cultura Contemporânea, Rio de Janeiro, Universidade Estácio de Sá, v. 10, n. 21, p. 1-24, 2013.


BERNADO, E. S.; CHRISTOVÃO, A. C. Tempo de Escola e Gestão Democrática: o Programa Mais Educação e o IDEB em busca da qualidade da educação. Revista Educação & Realidade, Porto Alegre, v. 41, n. 4, p. 1113–1140, out./dez. 2016.


BETINI, G. Avaliação Institucional Participativa em Escolas Públicas de Ensino Fundamental. Educação: Teoria e Prática, n. 20, 2010.


BOURDIEU, P. Razões práticas: sobre a teoria da ação. Campinas, SP: Papirus, 2005.


BRANDALISE, M. A. T.; MARTINS, C. B. Programa de avaliação institucional da educação básica do Paraná: da produção à implementação da política na escola. Estudos em Avaliação Educacional, São Paulo, v. 22, n. 50, p. 1-21, set./dez. 2011.


CARVALHO, C. P.; OLIVEIRA, A. C. P.; LIMA, M. F. M. Avaliações externas: tensões e desafios para a gestão escolar. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 59, p. 50-76, set./dez. 2014.


CERDEIRA, D. et al. Conhecimento e Uso de Indicadores Educacionais no Município do Rio de Janeiro. Estudos em Avaliação Educacional, v. 28. n. 69. p. 926-968, dez. 2017.


CÔCO, V.; GALDINO, L. Gestão democrática: inserção dos gestores nas instituições de educação infantil. Revista Contrapontos, Itajaí, SC., v. 16, n. 2, p. 300-320, jul. 2016.


CONCEIÇÃO, S.; PARENTE, J. O perfil do diretor das escolas públicas de Itabaiana (SE): um estudo multivariado. EccoS – Revista Científica, v. 35, 173-190, 2014.


HOJAS, V. F.; MANFIO, A. Educação de qualidade: concepções da equipe de gestão e de docentes acerca da organização do trabalho na escola e da avaliação em larga escala.

Educação em Revista, Marília, v. 15, n. 1, p. 19-30, jan./jun. 2014.


LIMA, L. A avaliação institucional como instrumento de racionalização e o retorno à escola como organização formal. Educação e Pesquisa, v. 41, p. 1339-1352, 2015.


MACHADO, C. Avaliação externa e escolas públicas: elementos de gestão escolar democrática. Estudos em Avaliação Educacional, v. 27, n. 64, p. 218-240, 2016.


MACHADO, C.; ALAVARSE, O. M. Avaliação interna no contexto das avaliações externas: desafios para a gestão escolar. RBPAE, v. 30, n. 1, p. 63-78, jan./abr. 2014.


MACHADO, C.; FREITAS, P. F. Gestão escolar e avaliação externa: Experiências de escolas da Rede Municipal de São Paulo. Revista Eletrônica de Educação, v. 8, n. 3, p. 113-126, 2014.


MARTINS, A. M.; SOUSA, S. Z. A produção científica sobre avaliação educacional e gestão de sistemas e de escolas: o campo da questão entre 2000 e 2008. Ensaio: aval.pol.públ.Educ., Rio de Janeiro , v. 20, n. 74, p. 9-26, mar. 2012 .


OLIVEIRA, A. C. P.; CARVALHO, C. P. Gestão escolar, liderança do diretor e resultados educacionais no Brasil. Rev. Bras. Educ., Rio de Janeiro, v. 23, 2018.


OLIVEIRA, A. C. P.; WALDHELM, A. P. S. Liderança do diretor, clima escolar e desempenho dos estudantes: qual a relação? Ensaio: Avaliação e Políticas Públicas em Educação, v. 24, n. 93, p. 824 - 44, out./dez. 2016.


ORLANDO FILHO, O.; SA, V. I. M. Avaliação externa da gestão escolar do Programa Nova Escola do Estado do Rio de Janeiro: um estudo reflexivo sobre o seu primeiro ciclo de realização (2000–2003), passados quinze anos de sua implementação. Ensaio: aval.pol.públ.Educ., Rio de Janeiro, v. 24, n. 91, p. 275-307, jun. 2016.


PAES DE CARVALHO, C.; CANEDO, M. L. Estilos de Gestão, Cultura Organizacional e Qualidade de Ensino. Revista Educação e Cultura Contemporânea, v. 9, p. 78-98, 2012.


PASSONE, E. F. K. Gestão Escolar e Democracia: o que nos ensinam os estudos de Eficácia Escolar. Laplage em revista, v. 5, n. 2, p. 142-156, 2019.


PASSONE, E. F. K. Incentivos monetários para professores: avaliação, gestão e responsabilização na educação básica. Cad. Pesqui., São Paulo, v. 44, n. 152, p. 424-448, jun. 2014.


RIOS, M. P. G; TREVISOL, M. T. C; SOPELSA, O. Ações de escolas da rede pública municipal da mesorregião do oeste de Santa Catarina em prol da qualidade do ensino fundamental. Educação Unisinos, v. 21, n. 1, p. 90-101, jan./abr. 2017.


ROSISTOLATO, R.; PRADO, A.; FERNÁNDEZ, S. Cobranças, estratégias e “jeitinhos”: avaliações em larga escala no Rio de Janeiro. Estudos em Avaliação Educacional, São Paulo: Fundação Carlos Chagas, v. 25, n. 59, p. 78-107, set./dez. 2015.


SALGADO JUNIOR, A. P.; NOVI, J. C.; FERREIRA, J. Práticas escolares e desempenho dos alunos: uso das abordagens quantitativa e qualitativa. Educ. Soc., Campinas, v. 37, n. 134, p. 217-243, mar. 2016.


SILVA, I. M. Autoavaliação e gestão democrática na instituição escolar. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro, v. 18, n. 66, p. 49-64, mar. 2010.


SILVA, N. F.; ARANDA, M. A. M. Participação e gestão democrática da educação: o legislado é o praticado?. Horizontes - Revista de Educação, v. 8, n. 15, p. 230-244, jul. 2020.


SOUZA, A.R.; DA SILVA, M. Q. Panorama nacional das condições de gestão no ensino fundamental. Revista on line de Política e Gestão Educacional, p. 939-960, dec. 2018.


SOUZA, S. M. Z. L.; MARTINS, A. M. Composição e organização da clientela escolar em escolas municipais brasileiras: o que dizem os diretores. Educar em Revista, v. 34, n. 71, p. p. 175-190, nov. 2018.


VIEIRA, S. L.; VIDAL, E. M. A escola pública e seu entorno social – Uma questão em aberto. Atos de pesquisa em educação, Blumenau, v. 10, n. 1, p.7-30, jan./abr. 2015.


WERLE, F. O. C.; AUDINO, J. F. Desafios na gestão escolar. Revista Brasileira de Política e Administração da Educação - Periódico científico editado pela ANPAE, v. 31, n. 1, p.

125-144, set. 2015.


WERLE, F. O. C.; KOETZ, C. M.; MARTINS, T. F. K. Escola pública e a utilização de indicadores educacionais. Educação, v. 38, n. 1, p. 99-112, 2015.


How to reference this article


PASSONE; E. F. K.; MARTINS, A. M.; ROSA, S. S. Scientific production on educational assessment and self-assessment: interfaces with school management. Rev. @mbienteeducação, São Paulo, v. 14, n. 3, p. 579-596, Sep./Dec. 2021. e-ISSN: 1982-8632. DOI: https://doi.org/10.26843/v14.n3.2021.1077.p579-596


Submitted: 09/08/2021 Required revisions: 10/10/2021 Approved: 24/11/2021 Published: 16/12/2021