Imagine o seguinte cenário: dez “jovens” entre 16 e 40 anos se inscrevem para serem voluntários/as com uma organização que trabalha em comunidades precárias na periferia da cidade onde moram. Para a maioria desses e dessas jovens será a primeira experiência, ou primeiro contato, com uma realidade totalmente distinta daquela que se acostumaram a viver. A ideia é passar o fim de semana em uma dessas comunidades construindo casas de emergência, em substituição aos barracos à beira de desabarem e que representam uma grave ameaça para as pessoas que neles habitam. A ameaça não é apenas física, mas psicológica, social.
Estamos falando de direitos e dignidade.
Ainda nesse mesmo cenário, mude a perspectiva e tente se colocar no lugar das famílias em situação de vulnerabilidade. Qual será a expectativa delas? Será que é possível confiar nesse pessoal que aparece do nada? A casa é realmente boa? Vai ser meu próprio lar e vai me proteger das chuvas, enchentes, ratos, baratas?
Agora imagine um segundo cenário, menos promissor. Os dez jovens, por diversos motivos, nem ficaram sabendo que poderiam mudar a vida de diversas famílias. A organização que promovia essa e outras atividades não existem mais (ou nem mesmo chegou a existir). No entanto, as mesmas famílias que seriam beneficiadas continuam suas vidas, mesmo sem o programa. Suas trajetórias continuam independentes de qualquer intervenção que poderia ter ocorrido.
De volta para o primeiro cenário. Na tardezinha de domingo, após intenso trabalho (e até certa ansiedade de terminar a casa a tempo), a juventude organizada promove uma linda cerimônia de inauguração do lar. A alegria e gratidão da família é difícil de se colocar em palavras. Expressões como “vocês mudaram nossa vida” e “agora eu tenho meu cantinho digno” são frequentes. Extasiado com a experiência, o grupo de jovens volta para casa realizado. No entanto, uma pulga atrás da orelha fica incomodando, principalmente após passados alguns meses da atividade. As jovens se perguntam: mas fizemos diferença mesmo? Em que medida? Como saber se houve impacto e melhora efetiva? Em quais dimensões da vida nas comunidades o programa gera benefícios? Há algum efeito negativo inesperado?
Bem, talvez você se identifique com o cenário 1 e já tenha se deparado com essas perguntas que em algum momento surgem (se não na sua cabeça, talvez na cabeça dos céticos, ou de potenciais apoiadores de projetos sociais interessados em “resultados”). Posso dizer que, na minha experiência com a TETO, tanto as alegrias e realizações, como profundos questionamentos sobre a realidade do nosso país foram e continuam sendo uma constante. Por outro lado, acredito que ao menos em parte, podemos sim ter uma noção melhor da diferença que fazemos, daquilo que funciona e do que não funciona (e às vezes o porquê).
Foi com isso em mente que topei o desafio de fazer junto com a TETO uma extensa avaliação de impacto do programa de moradia emergencial.
Felizmente, existe pelo menos uma técnica de pesquisa que nos ajuda a buscar respostas mais concretas. Apesar de robusta em termos quantitativos (estatísticos), uma pesquisa como essa carrega alguns pressupostos filosóficos, pois se vale essencialmente da situação hipotética do cenário 2 para fazer inferências em relação ao cenário 1.
Uma avaliação de impacto quantitativa como a que fizemos pressupõe uma relação de causa e efeito entre o programa e as dimensões sociais e psicológicas que queremos investigar. Para dizer, por exemplo, que o programa causou um aumento de bem-estar das famílias participantes, precisamos de um conceito do que é causação. Pois bem, para êxtase dos amantes de humanidades, mesmo a matemática precisa da filosofia (me desculpem engenheiros).
Definimos que alguma intervenção no mundo real causa um efeito nas dimensões de interesse quando podemos distinguir diferenças relevantes entre duas situações hipotéticas. Voltemos para nossos dois cenários. Podemos encará-los como duas situações potenciais, o primeiro em que há uma intervenção e o segundo em que essa mesma intervenção não se realiza. Chamamos o cenário 2 de contrafactual do cenário 1. Ou seja, ele é exatamente o que teria acontecido com aqueles indivíduos do cenário 1 caso a intervenção nunca tivesse sido feita. É, filosoficamente, uma realidade paralela. Dizer que o programa gera impactos é simplesmente comparar as diferenças entre esses dois mundos, um com intervenção e outro sem. Se tudo fosse igual exceto a intervenção, então qualquer diferença mensurável nas variáveis de interesse só pode ser atribuída a ela. É claro que nem tudo são flores, pois não é possível que possamos medir os dois cenários ao mesmo tempo, para as mesmas pessoas (se um acontece, então necessariamente o outro não). A solução para isso que chamamos de “problema fundamental da causalidade” é montar um grupo de comparação que seja na média igual ao grupo que receberá o programa. Podemos usar outras famílias que de fato existam, desde que elas sejam em média iguais ao primeiro grupo em quaisquer variáveis (renda, saúde, educação, moradia e tudo o mais). A técnica estatística que garante isso (agora para delírio das engenheiras) é aleatorizar a intervenção.
Já dá para imaginar como isso pode ser polêmico. De fato, para quem se recorda, debatemos bastante sobre os limites éticos da pesquisa e mesmo daquilo que estávamos acostumados a fazer antes dela. Tivemos discussões francas e abertas, inclusive com moradores e moradoras. Acredito que chegamos a bons denominadores comuns nesse processo todo. A implementação da pesquisa também foi um grande desafio à parte. Agradeço a dedicação de todas e todos que se envolveram (voluntariado, lideranças, famílias e staff).
Fazer uma pesquisa como essa, ao nível nacional e em meio à pandemia do século, foi uma grande realização de todos nós. De concreto, tivemos muitos aprendizados, tanto de processos como substantivos.
Só para citar alguns exemplos: realizamos a incrível façanha de nos organizarmos entre sedes, podendo otimizar e padronizar práticas que antes eram bastante discricionárias dos “desejos” de cada local. Não que atender nuances e demandas locais seja menos importante. De fato, é preciso estar atento a isso, mas há tanto para aprender uns com os outros e tantas formas mais eficientes de realizar nosso trabalho que seria uma pena desperdiçar essas pontes entre os estados. A pesquisa ajudou um bocado nisso. Em termos substantivos, o arcabouço estatístico da avaliação de impacto trouxe diversas reflexões. Não cabe nesse texto citar tudo, mas aqui vai um exemplo.
Medimos com um bom nível de precisão um efeito positivo de bem-estar psicológico das famílias participantes. Também chegamos à conclusão de que a TETO melhora a confiança nas lideranças comunitárias por parte de quem se envolveu com nossa organização durante as construções. Além disso, notamos que houve um fortalecimento de laços sociais em termos de amizades próximas, mas nem tanto com vizinhos pouco conhecidos. Por outro lado, não verificamos efeitos imediatos em termos econômicos para as famílias nem em termos de proteção contra a Covid-19.
Como balanço final, hoje sabemos com um grau um pouco mais elevado o potencial da TETO em mudar vidas bem como alguns limites do nosso impacto. Em termos organizacionais, as duas coisas são importantes. Pesquisas como essa nos ajudam a fazer planejamentos, retraçar rotas, buscar suporte financeiro, criar entendimentos comuns, abrir espaços para a voz das comunidades, e mais alguns outros benefícios que poderiam ser listados. No entanto, para além desses ganhos práticos, acredito que o simples ato de se propor a entender nossos erros, dificuldades e limites, já se apresenta como bastante valioso.
Assim, destaco a seguinte conclusão que cheguei há não faz muito tempo: para além da robustez dos resultados (tanto quantitativos como qualitativos) a pesquisa de avaliação de impacto nos ajudou a pensar e questionar – isso por si só, para mim, já valeu a pena.
Portanto, finalizo com um convite à reflexão. O que você diria em resposta às angústias das jovens no cenário 1? E para as jovens do cenário 2, como você explicaria o que a TETO é e o que ela faz pelas pessoas?
Confira pesquisa completa – COVID-19: dificuldades e superações nas favelas¹ Pelo menos são jovens de espírito! Por que não?
² Apesar de focarmos na pesquisa quantitativa, também conduzimos em paralelo uma pesquisa qualitativa que pudesse complementar nossos achados.
Autor Leonardo Bueno
PhD student UCSD – Political Science. Researcher at CEPESP/FGV – Centro de Política e Economia do Setor Público. Doutorado em Administração Pública FGV-EAESP. Consultor em políticas urbanas e voluntário da TETO Brasil.
