Avaliação por triangulação de métodos: mais uma resenha descuidada


cell-phone-triangulationEstou lendo mais um livro que está sendo muito útil no meu projeto: o uso de um jogo educativo sobre o Cerrado em escolas. Meu objetivo é aplicar em escolas e, especialmente, avaliar como os alunos vão reagir à experiência.

Para fazer isso foi preciso buscar uma base teórica decente, o que me levou ao livro Avaliação por triangulação de métodos: abordagem de programas sociais, sugestão do estatístico da equipe. O livro levanta as bases teóricas da pesquisa avaliativa e também descreve como foi concebido e aplicada a triangulação no processo de avaliação do programa Cuidar.

Analisar avaliação dessa forma sistemática e rigorosa é importante para reduzir incertezas e observar como funciona determinada intervenção. Isso permite decisões mais apuradas sobre ajustes ou até mesmo a continuidade de determinada política social ou pública.  Seu uso ganhou força a partir da segunda guerra mundial, com a ascensão do estado de bem estar social, especialmente nas economias liberais do primeiro mundo.

O que se entende por avaliação

Incialmente, autores se concentram nas definições de avaliação, que me foram úteis para entender o que exatamente eu estou fazendo. A avaliação é um processo sistemático de análise do mérito e relevância de um determinado assunto. Nesse caso a avaliação é especialmente importante para a análise de uma política social. Ela não é só classificatória, no sentido de dizer se uma política ou intervenção é boa ou ruim, mas também é promocional, um momento de reflexão e melhoria do objeto de avaliação, o conceito chave é mudança. Afinal espera-se que uma intervenção produza alguma mudança positiva em seu público-alvo. Apesar da minha ênfase ser o estudo de uma tecnologia, um jogo, eu não desejo isolá-lo do contexto escolar onde ele deve se inserir. Na verdade, eu desejo exatamente o contrário, eu quero inserir um jogo educativo dentro do contexto da forma mais suave e eficaz possível para garantir seu funcionamento adequado.

33375d080f499560c574028177b48b7f71abbacaExistem diferentes definições de avaliação e por consequência de foco e filosofia escolhida. Por exemplo, a definição de Pabon (1985) enfatiza os instrumentos de avaliação, enfatizando verbos como medir, comparar e diferenciar. Enquanto a de Rossi, Howard e Lispey (1999) dão importância ao método científico como forma de buscar a efetividade da intervenção.  E Silva&Brandão tem uma abordagem mais construcionista, considerando a avaliação como um processo que envolve parceiros variados. Essa variedade de definições serve para criar uma estrutura para criar nossa própria definição de avaliação.

A avaliação tradicional trabalha principalmente de forma quantitativa e com foco em 3 tipos de análise:

  • das estruturas , recursos físicos, humanos e materiais;
  • dos processos, focando as atividades realizadas pelos provedores da intervenção e;
  • dos resultados, efeitos e produtos provocados pela ação à luz dos objetivos da intervenção.

Considerando que intervenções sociais envolvem diferentes atores a partir dos anos 80 esse modelo quantitativo e positivista começou a ser questionado. E surge uma abordagem alternativa chamada avaliação qualitativa usando abordagens antropológicas para avaliar programas e serviços como entrevistas, observação, descrição sociocultural, econômica e demográfica dos contextos analisados. Mas ainda é pouco desenvolvida e não forma um corpo teórico completo e validado. (pg 27). Essa abordagem considera a participação e percepções dos sujeitos envolvidos na aplicação dos programas sociais

A minha preferida foi a idéia de investigação avaliativa. Que me pareceu algo mais exploratório e que se baseia na no contexto e no conteúdo do programa a ser avaliado, mas também analisa a produtividade e os efeitos da intervenção analisada, sem deixar de observar os diferentes atores envolvidos.

Multi, Inter e Transdiciplinar

Como disse Girardelli o mundo é complexo e uma totalidade nós estruturamos nosso conhecimento em diversas disciplinas. Assim para estudar , mas A idéia de se envolver áreas de conhecimento diversas, as disciplinas, não é nova e pode ocorrer em diferentes níveis:

  • O mais básico é a multidisciplinaridade, diferentes disciplinas, mas cada use atendo a seus métodos e teorias em perspectiva, sem foco em integrar conhecimentos. A maioria das escolas tradicionais funciona dessa forma.
  • Quando se fala no emprego de diferentes disciplinas para atender a um objetivo específico temos a interdisciplinaridade. Como escolas que usam projetos integradores ou trabalham temas específicos em diferentes matérias. Algo comum em temas como educação ambiental.
  • E por fim temos a transdisciplinaridade que é considerada como algo utópico por alguns ou uma evolução da interdisciplinaridade por outros. Ocorre quando a separação de disciplinas é desnecessária, ou se torna um entrave superado, o que importa é atender ao objetivo. A aprendizagem centrada é projetos é um bom exemplo de trabalho que almeja ser transdisciplinar. O primeiro a propor a idéia foi Piaget.

A triangulação

Para tanto entra o que os autores definem como triangulação de métodos.  Um amplo conjunto de elementos que envolve o avaliador externo, abordagens qualitativas e quantitativas e análise do contexto, história relações e representações. Esse método pretende ir além da objetividade do paradigma positivista de pesquisa ao considerar também a subjetividade do paradigma compreensivista, agregando os dois de forma complementar e dialética. Se as abordagens de pesquisa fossem partidos eu diria que se o qualitativo é de esquerda e o quantitativo de direita. Enquanto a proposta da triangulação de métodos é a típica proposta de centro, considerando os dois extremos e sintetizando eles. Jick (1979 p.30) vê isso como uma vantagem quando observa que cada modelo por si só não possui instrumentos para descrever um fenômeno especialmente um fenômeno social que ocorre fora de um ambiente controlado como uma laboratório de forma completa, como a intervenção que estou planejando. O que Denzil (1973 p. 30) considera como uma iluminação da realidade sob vários ângulos. A triangulação é um meio que também pode atuar em diferentes partes do processo. Como sugerido no blog Ensaios e Notas, é possível fazer triangulação com os dados, pesquisadores, com teorias e metodologias.

Assim, acredito que a triangulação de métodos é uma abordagem de avaliação que foca em ser, pelo menos, interdisciplinar e se possível transdisciplinar. Ela demanda participantes de áreas, perfis diferentes e, um detalhe importante, dispostos a cooperar. O que vai envolver um conflito de vez em quando, equilíbrio entre visões opostas e muito diálogo.

É preciso ter uma boa equipe que domine suas áreas de conhecimento. Profissionais fracos vão produzir uma interdisciplinaridade fraca. Samara (1992) diz que a combinação de diferentes métodos e teorias é sempre desigual, levando a supremacia de uma teoria sobre outras, o norte a ser escolhido deverá ser pragmático: atender os objetivos pretendidos para o projeto. As diferentes disciplinas e teorias são um meio e não um fim em si mesmo. O que obviamente não anula análises posteriores, outros trabalhos, sob o ponto de vista preferido de cada especialista. De qualquer modo,  nesse modelo a diversidade na equipe é uma vantagem. Se o objetivo é avaliar um programa ou política pública, que naturalmente são complexos, nada mais esperado do que se trabalhar com equipes e instrumentos complexos também.

Como todo trabalho do tipo é necessária uma série de etapas para o processo funcionar direito e a inserção de alguns pontos de controle para observar se essas etapas foram plenamente atendidas. É preciso planejamento antes da execução.

  1. Formular a pergunta principal a ser respondida
  2. Definição dos indicadores, que serão contextuais e relacionais. Sua definição é importante para alinhar conceitos com toda a equipe
  3. Definição das fontes de informação. Envolve a revisão de literatura e os fundamentos teórico que vão sustentar o processo.
  4. Definição dos instrumentos de investigação.
  5. O trabalho de campo, a hora de botar a mão na massa e coletar os dados
  6. Avaliação das informações
  7. Escrever registros e relatórios.

Portanto, condensar a complexidade da realidade a ser avaliada para caber em critérios que reflitam os objetivos da intervenção e sejam sintéticos o suficiente para interpretação é algo que está longe do trivial. Não existe resposta simples para perguntas complexas, mas os resultados podem ser muito legais. Por exemplo, imagino que a economia comportamental deve usar muito da triangulação de métodos para funcionar. A humanidade e o mundo em que vivemos é simplesmente complexo demais para ser analisado apenas sob uma ótica.

 

Um comentário em “Avaliação por triangulação de métodos: mais uma resenha descuidada

Adicione o seu

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s

Blog no WordPress.com.

Acima ↑

%d blogueiros gostam disto: