INSTRUMENTOS DE EVALUACIÓN: DE LA CREACIÓN A LA VALIDACIÓN Y APLICACIÓN
EVALUATION INSTRUMENTS: FROM CREATION TO VALIDATION AND APPLICATION
Júlio César PEREIRA1
A proposta da obra Construção e Validação de Instrumentos de Avaliação: da teoria à exemplificação prática é apresentar produtos do Programa de Pós-Graduação em Avaliação (PPGA) da Fundação Cesgranrio. Com característica multidisciplinar, o programa é voltado para diferentes profissionais graduados e tem como área de concentração a avaliação de sistemas, programas e instituições. O PPGA, homologado pelo Conselho Nacional de Educação em 2008, está estruturado na modalidade de mestrado profissional, e tem como exigência curricular a elaboração de um projeto de intervenção capaz de ser pautado por meio de um problema definido a partir de um espaço social ao qual se pretende aperfeiçoar a realidade. Neste sentido, a obra oferece elementos para que o leitor explore aspectos voltados para diferentes diagnósticos envolvendo políticas públicas, serviços e ações considerados como essenciais para a elaboração do referido projeto.
A obra, organizada pelas Profªs Drªs Lígia Gomes Elliot – atual coordenadora do PPGA
– e Lúcia Regina Goulart Vilarinho – professora titular do referido programa – apresenta o desenvolvimento de estudos/pesquisas voltados para a temática da Avaliação, ação humana e inata que possibilita julgar, agregando valor a alguma coisa.
Os trabalhos copilados nesta obra, culminaram na proposição, revisão e/ou validação de instrumentos avaliativos, aplicados em diferentes pesquisas. Tais instrumentos são utilizados em diversos campos de atuação (saúde, projetos sociais e educação, por exemplo). A intenção é demonstrar a amplitude de possibilidades desse trabalho e a necessária ação consequente de validar e reavaliar instrumentos para coleta de dados. Atendendo ao título da obra, é possível conhecer aspectos da teoria que embasam o tema, bem como explorar os componentes que
1 Secretaria de Estado da Educação de Minas Gerais (SEE/MG), São Lourenço – MG – Brasil. Professor na Escola Estadual “Dr Humberto Sanches”. Mestre em Educação pela Universidade Cidade de São Paulo (UNICID). ORCID: https://orcid.org/0000-0001-9965-7026. E-mail: julio_pereira@live.com
cercam o planejamento do trabalho, a aplicação de instrumentos, a avaliação e a devolutiva dos resultados.
Cada capítulo da obra versa sobre uma pesquisa distinta. Assim, é possível conhecer diferentes estudos, produzidos entre 2015 e 2016, e seus autores e autoras são egressos do PPGA. Como premissa de programas profissionais, as pesquisas apresentam uma proposta de intervenção a uma situação real. A obra está dividida em introdução seguida de sete capítulos. No capítulo um, Lúcia Vilarinho apresenta uma revisão teórica sobre instrumentos avaliativos. Com o título “Validade e confiabilidade em estudos avaliativos: uma revisão teórica”, a autora promove diálogos com outros autores para corroborar a intenção do capítulo, que é dar confiabilidade ao processo de aplicação e validação dos instrumentos avaliativos. É possível acompanhar a explanação sobre a legitimidade da pesquisa qualitativa envolta ao uso de instrumentos como questionários, escalas de mensuração e lista de verificação, entre outros. O texto explora as especificidades entre duas ações distintas (a ação de avaliar e a ação de pesquisar) além de explorar definições para validade e confiabilidade. Tem como base os seguintes autores: Martins (2006); Paiva Júnior, Souza Leão e Mello (2011); Ullrich (2012) e
Basso Júnior (2015).
O capítulo seguinte (2), escrito por Renata Melo Nascimento (Mestre em Avaliação) e Andreia Ferreira de Oliveira (Pós-doutora em saúde pública – epidemiologia), versa sobre pesquisa para atualização do instrumento Consulta de Enfermagem Pós TMO, aplicado em pacientes no período após procedimento de Transplante de Medula Óssea (TMO). Utilizado desde 2000 em um hospital público federal do Rio de Janeiro, instituição especializada no procedimento em questão, o instrumento de consulta de enfermagem se propõe a monitorar o processo evolutivo logo após o paciente se submeter a TMO. Com 15 anos de uso, com avanços tecnológicos e de terapêuticas, o instrumento de acompanhamento ao paciente demandava atualização e nova validação (o que motivou o desenvolvimento desta pesquisa). O objetivo geral da pesquisa é adequar o instrumento à atualidade e atender ao paciente em suas particularidades, personalizando uma escuta que oferece especificidade em cada processo pós- operatório. No artigo é possível acompanhar as etapas de revisão e validação do instrumento, sua aplicação e resultados.
Outro instrumento avaliativo, pesquisado no âmbito da área de saúde, é oferecido do capítulo 3. Com o título “Lista de verificação para avaliar ambiente e cuidado seguro em hospitais: atualização e validação”, os autores Ana Paula D’Oliveira dos Santos (Mestre em Avaliação) e Glauco da Silva Aguiar (Doutor em Educação), apresentam a pesquisa que desenvolveram pautados em listas de verificações utilizadas para promover a segurança em
procedimentos hospitalares (desde a higienização aos procedimentos medicinais complexos). O capítulo inicia-se com questões teóricas e sobre segurança de pacientes e procedimentos a serem adotados para evitar falhas em ambientes hospitalares. Em seguida, é disposta uma lista de verificação, em formato check-list, utilizada por profissionais em exercício nos hospitais (em sua maioria enfermeiros e enfermeiras) para a manutenção de processos desenvolvidos naquele ambiente. Por fim, segue-se a apresentação da metodologia para revisão e validação da lista de verificação, objeto da pesquisa. Cabe pontuar que a pesquisa culminou em uma nova proposta da referida lista, pautada pelos “achados” da pesquisa em consonância com a legislação que regulamenta o serviço de saúde. Em suma, o produto final se compõe por 34 itens divididos em 5 categorias (1 - prevenção e controle de infecção hospitalar; 2 – gerenciamento de resíduos; 3
medicamentos de alta vigilância e substâncias controladas; 4 – organização do ambiente e; 5
segurança do trabalhador).
O capítulo 4 se propõe a descrever um instrumento de avaliação destinado à projetos sociais, sua formulação e validação propostas pelas autoras do capítulo (Luciane Pires da Silva
Mestre em Avaliação e; Ligia Gomes Elliot – Pós doutora em Educação/Avaliação). O instrumento tem por objetivo avaliar projetos sociais voltados a Educação e é utilizado por gestores da Petrobrás em visitas técnicas a projetos apoiados pelo Programa Socioambiental da estatal. O capítulo se inicia em um breve histórico do referido programa e atuação social da empresa. Em seguida, há a apresentação de estudos sobre a literatura que subsidia o tema “Projetos Sociais”, apregoando ampla oportunidade para ação de avaliadores na área. Os meandros da pesquisa são relatados na sequência com a apresentação do instrumento e seu processo de validação, ao qual perpassou aos critérios de: 1 – singularidade; 2 – clareza; 3- ausência de superposição; 4 – abrangência; 5 – relevância; 6 – organização e; 7 – disposição gráfica. O instrumento é apresentado, detalhadamente, ao fim do capítulo.
A construção de um instrumento avaliativo para material didático é o tema da pesquisa apresentada no capítulo 5 da obra. Desenvolvida por Lúcia Regina Goulart Vilarinho (Doutora em Educação) e Alexandre Ferreira de Oliveira (Mestre em Avaliação e licenciado em História), tem por objetivo: “construir e validar um instrumento a ser aplicado na avaliação de conteúdos relativos à presença do negro e assuntos correlatos” em livros utilizados na disciplina de História durante o ensino fundamental. O capítulo inicia-se apresentando aspectos do Programa Nacional do Livro Didático (PNLD) e dissertando sobre a valorização dos negros e afrodescendentes no contexto educacional. Em seguida, a pesquisa discorre sobre a legislação que regulamenta os Parâmetros Curriculares Nacionais (PCNs) e a Lei de Diretrizes e Bases da
Educação Nacional (LDBEN). As etapas do estudo e o instrumento (desde sua formulação, formatação e validação) são apresentados no capítulo.
A pesquisa de mestrado: “Avaliação da fluência tecnológica de alunos de curso de graduação à distância”, desenvolvida por Margareth Braz Ramos para a obtenção do título de mestra é o tema do sexto capítulo da obra, escrito em conjunto com a Prof.ª Drª Lígia Silva Leite. O trabalho se propõe a compartilhar experiências advindas de um questionário aplicado em discentes dos cursos de Pedagogia e Turismo, na modalidade à distância, em uma instituição pública do Rio de Janeiro. Ao contrário dos demais capítulos, as autoras iniciam sua escrita dando ênfase ao tema avaliação e à elaboração de instrumentos. Na sequência é detalhado um instrumento que visa verificar a fluência tecnológica de alunos que se dedicam a graduar-se à distância (o que necessariamente requer maior utilização de meios digitais tecnológicos para o êxito). O instrumento conta com indicadores que determinam a fluência tecnológica do público alvo. Como exemplos podemos citar: a capacidade de utilizar as tecnologias; a capacidade de dar e receber feedbacks e; a capacidade de acessar correios eletrônicos e sítios na internet entre outros. O processo de validação do questionário, e suas etapas, também são descritas no capítulo. Ao final é apresentado os resultados e as análises advindos da aplicação do questionário seguido das considerações finais.
O capítulo sete (7), escrito por Lúcia Vilarinho, foi dedicado ao encerramento da obra com especial atenção aos procedimentos de validação dos instrumentos desenvolvidos nas pesquisas apresentadas. É feito um apanhado de informações relevantes para o desenvolvimento de cada trabalho sob o olhar externo de Vilarinho, com especial atenção para a intenção de apregoar que todos os processos de validação estão em atendimento às literaturas existentes sobre o assunto. Vilarinho pontua, também e para cada pesquisa descrita na obra, a importância do Quadro de Critérios para a avaliação de todos os instrumentos formulados ou revisados no âmbito das pesquisas selecionadas e que compõe esta obra. Discorre sobre o caminho percorrido por todos os pesquisadores na intenção de validação dos instrumentos propostos ou revisados: a consulta a especialistas. A revisão de literatura sobre avaliação aponta para a necessidade de saber o que e como medir o objeto a ser analisado. E, neste encaminhamento, a consulta de especialistas para o desenvolvimento dos instrumentos promove sua validação.
A obra, de maneira geral, apresenta a importância da validação para instrumentos avaliativos além de corroborar com a intenção de que avaliar é ação humana que contribui com o aperfeiçoamento do trabalho desenvolvido em diversas áreas da sociedade. Apresentar a teoria e mostrar sua aplicabilidade remete aos estudantes e leitores da obra o êxito de quem
utiliza-se da ação de avaliar para nortear seus encaminhamentos em sua atividade profissional, por exemplo. Outro ponto a destacar é a importância das propostas de intervenções que os discentes de programas stricto sensu profissional apresentam. A ligação universidade- sociedade deve ser contínua, em colaboração mútua para o desenvolvimento da pesquisa e o encaminhamento de tomadas de decisão pautados em dados científicos.
ELLIOT, L. G.; VILARINHO, L. R. G. Construção e validação de instrumentos de avaliação: da teoria à exemplificação prática. São Paulo: Pimenta Cultural, 2018. 238 p. ISBN 978-85-66832-98-3.
PEREIRA, J. C. Instrumentos avaliativos: da criação a validação e aplicação. Rev. @mbienteeducação, São Paulo, v. 14, n. 3, p. 762-766, set./dez. 2021. e-ISSN: 1982-8632. DOI: https://doi.org/10.26843/v14.n3.2021.1109. p762-766
INSTRUMENTOS AVALIATIVOS: DA CRIAÇÃO A VALIDAÇÃO E APLICAÇÃO
INSTRUMENTOS DE EVALUACIÓN: DE LA CREACIÓN A LA VALIDACIÓN Y APLICACIÓN
Júlio César PEREIRA1
The purpose of the book Construção e Validação de Instrumentos de Avaliação: da teoria à exemplificação prática is to present products from the Graduate Program in Evaluation (PPGA) of the Cesgranrio Foundation. With a multidisciplinary characteristic, the program is aimed at different graduate professionals and its area of concentration is the evaluation of systems, programs, and institutions. The PPGA, approved by the National Board of Education in 2008, is structured as a professional master's degree, and its curricular requirement is the elaboration of an intervention project capable of being guided by a problem defined from a social space to which it intends to improve reality. In this sense, the work offers elements for the reader to explore aspects related to different diagnoses involving public policies, services and actions considered essential to the elaboration of the project.
The work, organized by Professors Drs. Ligia Gomes Elliot - current coordinator of PPGA - and Lúcia Regina Goulart Vilarinho - a full professor in the program - presents the development of studies and research focused on the theme of Evaluation, an innate human action that makes it possible to judge, adding value to something.
The works compiled in this work culminated in the proposition, revision and/or validation of evaluative instruments, applied in different researches. Such instruments are used in several fields of action (health, social projects, and education, for example). The intention is to demonstrate the wide range of possibilities of this work and the consequent necessary action to validate and re-evaluate instruments for data collection. Attending to the title of the book, it is possible to get to know aspects of the theory behind the theme, as well as explore the components that surround the planning of the work, the application of the instruments, the evaluation, and the feedback of the results.
1 Secretariat of Education of the State of Minas Gerais (SEE/MG), São Lourenço – MG – Brazil. Teacher at the State School "Dr Humberto Sanches". Master’s degree in education from the City University of São Paulo (UNICID). ORCID: https://orcid.org/0000-0001-9965-7026. E-mail: julio_pereira@live.com
Each chapter of the work deals with different research. Thus, it is possible to get to know different studies, produced between 2015 and 2016, and their authors are graduates of PPGA. As premise of professional programs, the researches present a proposal of intervention to a real situation. The work is divided into an introduction followed by seven chapters.
In chapter one, Lúcia Vilarinho presents a theoretical review on evaluative instruments. Titled "Validity and reliability in evaluative studies: a theoretical review", the author promotes dialogues with other authors to corroborate the chapter's intention, which is to give reliability to the process of application and validation of evaluative instruments. It is possible to follow the explanation about the legitimacy of qualitative research involved in the use of instruments such as questionnaires, measurement scales, and checklists, among others. The text explores the specificities between two distinct actions (the action of evaluating and the action of researching) as well as exploring definitions for validity and reliability. It is based on the following authors: Martins (2006); Paiva Júnior, Souza Leão and Mello (2011); Ullrich (2012) and Basso Júnior (2015).
The following chapter (2), written by Renata Melo Nascimento (Master in Evaluation) and Andreia Ferreira de Oliveira (Post-doctorate in public health - epidemiology), is about research to update the instrument Post BMT Nursing Consultation, applied to patients in the period after the procedure of Bone Marrow Transplantation (BMT). In use since 2000 in a federal public hospital in Rio de Janeiro, an institution specialized in the procedure in question, the nursing consultation instrument aims to monitor the evolutionary process soon after the patient undergoes BMT. After 15 years of use, with technological and therapeutic advances, the patient follow-up tool needed updating and new validation (which motivated the development of this research). The general objective of the research is to adapt the instrument to the present time and to attend the patient in his particularities, personalizing a listening that offers specificity in each post-surgery process. In the article it is possible to follow the stages of revision and validation of the instrument, its application, and results.
Another evaluative instrument, researched in the health area, is offered in chapter 3. Titled "Lista de verificação para avaliar ambiente e cuidado seguro em hospitais: atualização e validação", the authors Ana Paula D'Oliveira dos Santos (Master in Evaluation) and Glauco da Silva Aguiar (Doctor in Education), present the research they developed based on checklists used to promote safety in hospital procedures (from hygiene to complex medical procedures). The chapter begins with theoretical questions about patient safety and procedures to be adopted to avoid failures in hospital environments. Then, a check-list is presented, in check-list format, used by professionals working in hospitals (mostly nurses) for the maintenance of processes
developed in that environment. Finally, the methodology for reviewing and validating the checklist, the object of the research, is presented. It is worth pointing out that the research culminated in a new proposal for this checklist, based on the research "findings" in line with the legislation that regulates the health service. In short, the final product is composed of 34 items divided into 5 categories (1 - prevention and control of hospital infection; 2 - waste management; 3 - high surveillance drugs and controlled substances; 4 - environmental organization and; 5 - worker safety).
Chapter 4 describes an evaluation tool for social projects, its formulation and validation proposed by the chapter's authors (Luciane Pires da Silva - Master in Evaluation and; Ligia Gomes Elliot - Post-doctorate in Education/Evaluation). The instrument aims to evaluate social projects focused on Education and it is used by Petrobras managers in technical visits to projects supported by the state company's Socio-environmental Program. The chapter begins with a brief history of the program and the company's social action. Next, there is the presentation of studies on the literature that subsidizes the theme "Social Projects", proclaiming a chance for the action of evaluators in the area. The research meanderings are reported in the sequence with the presentation of the instrument and its validation process, which went through the criteria of: 1
- uniqueness; 2 - clarity; 3 - no overlapping; 4 - comprehensiveness; 5 - relevance; 6 - organization and; 7 - graphic layout. The instrument is presented in detail at the end of the chapter.
The construction of an evaluative instrument for didactic material is the theme of the research presented in chapter 5 of the book. Developed by Lúcia Regina Goulart Vilarinho (Ph.D. in Education) and Alexandre Ferreira de Oliveira (Master in Evaluation and Undergraduate in History), its objective is to "build and validate an instrument to be applied in the evaluation of contents related to the presence of Black people and related subjects" in books used in the discipline of History during elementary school. The chapter begins by presenting aspects of the National Textbook Program (PNLD) and discussing the valorization of Black people and afro-descendants in the educational context. Next, the research discusses the legislation that regulates the National Curricular Parameters (PCNs) and the Law of Directives and Bases of National Education (LDBEN). The stages of the study and the instrument (from its formulation, formatting, and validation) are presented in the chapter.
The master's research: "Avaliação da fluência tecnológica de alunos de curso de graduação à distância", developed by Margareth Braz Ramos to obtain her master's degree, is the theme of the sixth chapter of the work, written in conjunction with Professor Dr. Lígia Silva Leite. The work proposes to share experiences coming from a questionnaire applied to students
of the courses of Pedagogy and Tourism, in the distance modality, in a public institution of Rio de Janeiro. Unlike the other chapters, the authors begin their writing emphasizing the theme of evaluation and the development of instruments. In the sequence, an instrument is detailed that aims to verify the technological fluency of students who dedicate themselves to distance learning (which necessarily requires greater use of technological digital media for success). The instrument has indicators that determine the technological fluency of the target audience. As examples we can cite: the ability to use technologies; the ability to give and receive feedback; and the ability to access e-mails and websites, among others. The validation process of the questionnaire, and its stages, are also described in the chapter. At the end, the results and analyses arising from the application of the questionnaire are presented, followed by the final considerations.
Chapter seven (7), written by Lúcia Vilarinho, was dedicated to the closing of the work with special attention to the validation procedures of the instruments developed in the researches presented. A collection of relevant information is made for the development of each work under Vilarinho's external view, with special attention to the intention of claiming that all validation processes are following the existing literature on the subject. Vilarinho also points out, for each research described in the work, the importance of the Criteria Framework for the evaluation of all the instruments formulated or reviewed in the scope of the selected researches that make up this work. It discusses the path taken by all researchers in the intention of validating the proposed or revised instruments: the consultation with experts. The literature review on evaluation points to the importance of knowing what and how to measure the object to be analyzed. And, in this approach, consulting experts to develop the instruments promotes their validation.
The work, in general, presents the importance of validation for evaluative instruments besides corroborating the intention that evaluating is a human action that contributes to the improvement of the work developed in several areas of society. Presenting the theory and showing its applicability reminds students and readers of the success of those who use the action of evaluating to guide their professional activities, for example. Another point to highlight is the importance of the proposals of interventions that the students of professional stricto sensu programs present. The university-society connection must be continuous, in mutual collaboration for the development of research and the forwarding of decision-making based on scientific data.
ELLIOT, L. G.; VILARINHO, L. R. G. Construção e validação de instrumentos de avaliação: da teoria à exemplificação prática. São Paulo: Pimenta Cultural, 2018. 238 p. ISBN 978-85-66832-98-3.
PEREIRA, J. C. Evaluation instruments: from creation to validation and application. Rev. @mbienteeducação, São Paulo, v. 14, n. 3, p. 756-760, Sep./Dec. 2021. e-ISSN: 1982-8632. DOI: https://doi.org/10.26843/v14.n3.2021.1109.p756-760