4. Avaliação
Esta secção descreve os conceitos-chave e as considerações que podem ajudar uma empresa a medir (e, assim, a comunicar de forma credível) os resultados das suas Ações Positivas.
Tal como descrito anteriormente, uma empresa pode concretizar Ações Positivas de várias formas, mas essas atividades são geralmente enquadradas como projetos ou produtos. As orientações desta secção aplicam-se a ambos os casos, mas, por simplicidade, será utilizado o termo projetos.
4.1 Criar ou contribuir para um impacto positivo
O caminho para a geração de impacto positivo começa muitas vezes com intencionalidade, ou seja, quando uma empresa tem um propósito claro de alcançar determinados resultados e consegue declarar exatamente como pretende fazê-lo. No entanto, por vezes, as atividades de uma empresa podem conduzir a resultados positivos de forma não intencional.
Em qualquer dos casos, se uma empresa pretende compreender e comunicar a dimensão dos resultados que alcança, deve ser capaz de articular por que razão acredita existir uma ligação entre a ação e o resultado. Esta articulação é frequentemente designada por teoria da mudança (ver caixa abaixo).
Teoria da mudança
Uma teoria da mudança é uma descrição de como e por que razão se espera que um determinado resultado ocorra num contexto específico. [188] Esta descrição pode incluir as ligações entre o(s) problema(s) abordado(s), os recursos utilizados (capital investido, tempo, etc.), as atividades realizadas, os resultados imediatos gerados e os benefícios alcançados (e para quem) como consequência.
Para que uma empresa consiga articular de forma credível porque está a criar ou a contribuir para um resultado, deve ter um bom entendimento da sua teoria da mudança.
Sempre que possível, o progresso deve ser acompanhado desde o início do projeto. Ao fazê-lo, é importante distinguir entre vários níveis de avaliação, por ordem crescente de significado: recursos (inputs), resultados imediatos (outputs), resultados alcançados (outcomes) e impacto (ver Figura 11).
Os recursos e os resultados imediatos são os mais simples de monitorizar, uma vez que este tipo de informação é frequentemente registado pelos sistemas tradicionais de reporte financeiro ou de gestão de recursos. Os outputs não são, geralmente, o objetivo final do projeto, mas sim o mecanismo através do qual os resultados (outcomes) são alcançados.
O nível seguinte envolve a avaliação dos resultados alcançados: mudanças mensuráveis que ocorrem para as partes interessadas-chave. Estes resultados podem ser positivos ou negativos, e intencionais ou não intencionais. Em comparação com os resultados imediatos (outputs), a avaliação dos resultados alcançados (outcomes) requer normalmente a recolha e análise de dados que a empresa pode não monitorizar de forma rotineira. A quantificação dos outcomes é sempre preferível, mas por vezes os resultados de um projeto podem demorar anos a materializar-se, ou a sua medição pode ser impraticável. Nestes casos, a empresa pode optar por centrar a sua avaliação e comunicação apenas nos outputs.
Uma empresa pode assumir que, sem o seu projeto, tudo permaneceria como estava antes de este começar. Na realidade, o mundo está em constante mudança. Fatores como eventos climáticos, tendências económicas e culturais, disponibilidade tecnológica e alterações demográficas podem provocar mudanças significativas nos resultados que não se devem à intervenção da empresa. Na medida em que os recursos e a viabilidade o permitam, a empresa deve, por isso, procurar avaliar a sua contribuição para qualquer resultado alcançado, a fim de compreender verdadeiramente o impacto das suas ações.
A próxima secção descreve como avaliar e reportar Ações Positivas em cada um destes níveis.
Figura 11: Níveis de avaliação para as Ações Positivas.
4.2 Avaliação e reporte de Ações Positivas
Existem, potencialmente, infinitas formas de uma empresa concretizar uma Ação Positiva. Por exemplo, garantir que Mais pessoas têm saúde e estão protegidas de danos, reduzindo o impacto da diabetes entre as populações mais pobres do mundo, pode ser abordado através da educação para escolhas alimentares saudáveis, do acesso a insulina a preços acessíveis, ou da formação de profissionais de saúde para detetar e tratar a doença antes de os sintomas se agravarem.
Esta diversidade de abordagens faz com que seja um desafio realizar a avaliação e reporte de dois projetos de forma consistente e comparável. No entanto, esse esforço é fundamental — tanto para informar decisões futuras sobre projetos, como para apresentar os resultados de forma significativa a investidores e outras partes interessadas.
A necessidade de uma abordagem comum para descrever o impacto levou à criação do Impact Management Project (IMP), que serve de base às orientações apresentadas nesta secção (ver caixa de destaque abaixo).
Formas de caracterizar e avaliar os resultados de um projeto
A empresa deve escolher qual dos quatro níveis de avaliação (ou uma combinação dos mesmos) será o foco de cada projeto, tendo em conta as suas características e grau de maturidade.
Em qualquer projeto, o objetivo final deve ser avaliar os resultados em termos do impacto, mas, caso isso não seja possível ou viável, a empresa deve justificar a abordagem de avaliação escolhida.
Sobre o Impact Management Project (IMP)
Entre 2016 e 2018, o IMP reuniu mais de 2.000 profissionais de diferentes geografias e disciplinas, com o objetivo de chegar a um consenso sobre como gerir, medir e falar sobre impacto – articulando as perspetivas de empresas, organizações sem fins lucrativos, investidores, cientistas sociais, financiadores, avaliadores, decisores políticos, entidades de normalização e profissionais da contabilidade. Este grupo diverso chegou a uma definição comum de “impacto” e acordou os tipos de dados que devem constar em qualquer quadro ou relatório de impacto robusto.255 [18]
A Figura 12 identifica cinco conceitos-chave – parte interessada, escala, profundidade, duração e relevância – que, em conjunto, caracterizam a dimensão dos resultados de um projeto, sejam eles pretendidos ou efetivamente alcançados. Estes cinco conceitos sustentam as métricas e a narrativa utilizadas em cada nível de avaliação.
Figura 12: Conceitos-chave para a avaliação – parte interessada, escala, intensidade, duração e relevância.
| Conceitos-chave para avaliar as Ações Positivas | |||
|---|---|---|---|
| Conceitos | Descrição | Categorização | Avaliação |
| Parte interessada | As pessoas que experienciam o resultado alcançado ou, se aplicável, o ambiente afetado pela mudança | N/A | N/A |
| Escala | O número de pessoas que experienciam o resultado alcançado ou, se aplicável, a área ambiental afetada pela mudança | N/A | Determinar o número de indivíduos, comunidades ou área de terreno afetada |
| Profundidade | O grau de mudança social ou ambiental experienciado pela parte interessada (ex.: aumento das taxas de literacia) | N/A | Determinar a diferença entre o nível do resultado alcançado atualmente experienciado e a linha de base (condições antes do projeto) |
| Duração | Período de tempo durante o qual a parte interessada experiencia o resultado alcançado (ex.: número de meses) |
|
A duração e a relevância podem ser avaliadas através de:
|
| Relevância | Importância do resultado alcançado do ponto de vista da parte interessada afetada |
|
|
Avaliação e reporte dos recursos do projeto (project inputs)
Se um projeto estiver nas suas fases iniciais, os recursos que a empresa disponibilizou para o apoiar ou desenvolver podem ser o único elemento passível de monitorização. Nestes casos, o progresso deve ser objeto de avaliação e reporte conforme apresentado na Figura 13.
Figura 13: Como avaliar os recursos (inputs) de um projeto.
| Recursos do projeto | |
|---|---|
| Indicadores de progresso | Dados de contexto |
| Input: valor financeiro ou outro tipo de recurso disponibilizado para o projeto | Ação Positiva: tipo(s) de resultado que o projeto pretende alcançar |
Resumo do projeto: descrição breve do projeto, explicando como se espera que contribua para a Ação Positiva. Deve incluir:
|
|
| Escala prevista: Número de pessoas ou área ambiental que se prevê serem afetadas pelo projeto | |
| Profundidade prevista: Grau de mudança social ou ambiental que a parte interessada poderá experienciar | |
| Categoria de duração prevista: Temporária, período fixo ou permanente | |
| Categoria de relevância prevista: Satisfação de uma necessidade menor, significativa ou importante | |
| Possíveis compensações: Resultados negativos que possam resultar do projeto | |
Evidência: prova quantitativa e/ou qualitativa, incluindo detalhes sobre os métodos de medição usados para:
|
|
Avaliação e reporte dos resultados imediatos do projeto (project outputs)
Uma vez que um projeto esteja em funcionamento, a empresa deverá ser capaz de acompanhar os resultados intermédios – ou seja, os outputs – à medida que estes começam a acumular-se. O progresso deve ser objeto de avaliação e reporte conforme apresentado na Figura 14.
Figura 14: Como avaliar os resultados imediatos (outputs) de um projeto.
| Resultados imediatos do projeto | |
|---|---|
| Indicadores de progresso | Dados de contexto |
| Resultado: Número ou escala de objetos, condições ou serviços que são criados a partir do recurso | Ação Positiva: Tipo(s) de resultado que o projeto pretende alcançar |
Resumo do projeto: descrição breve do projeto, explicando como se espera que contribua para a Ação Positiva. Deve incluir:
|
|
| Escala prevista: Número de pessoas ou área ambiental que se prevê serem afetadas pelo projeto | |
| Profundidade prevista: Grau de mudança social ou ambiental que a parte interessada poderá experienciar | |
| Categoria de duração prevista: Temporária, período fixo ou permanente | |
| Categoria de relevância prevista: Satisfação de uma necessidade menor, significativa ou importante | |
| Possíveis compensações: Resultados negativos que possam resultar do projeto | |
Evidência: prova quantitativa e/ou qualitativa, incluindo detalhes sobre os métodos de medição usados para:
|
|
Avaliação e reporte dos resultados alcançados (outcomes) do projeto
A um nível mais geral, os resultados alcançados de um projeto podem ser descritos com base na(s) Ação(ões) Positiva(s) a que se referem – mas, sempre que possível, devem ser fornecidos detalhes específicos. Por exemplo, o resultado de um projeto que assegure que Mais pessoas vivem com saúde e em segurança pode ser quantificado em termos de aumento dos anos de vida ajustados pela qualidade (quality-adjusted-life-years - QALYs).
O progresso deve ser objeto de avaliação e reporte conforme apresentado na Figura 15. Para mais orientações sobre como calcular a profundidade e a duração, consultar esta pergunta frequente. Quando não for possível identificar um indicador de resultado (outcome) adequado, pode utilizar-se um indicador de output como substituto.256
Figura 15: Como avaliar os resultados alcançados (outcomes) de um projeto.
| Resultados alcançados do projeto | |
|---|---|
| Indicadores de progresso | Dados de contexto |
|
Escala: Número de pessoas ou área ambiental afetada pelo projeto |
Ação Positiva: Tipo(s) de resultado que o projeto pretende alcançar |
|
Profundidade: Grau de mudança social ou ambiental experienciada pela parte interessada |
Resumo do projeto: descrição breve do projeto, explicando como se espera que contribua para a Ação Positiva. Deve incluir:
|
|
Duração: Período de tempo durante o qual a parte interessada experienciou o resultado |
|
|
Categoria de duração: Pontual, período fixo ou permanente |
|
|
Relevância: Importância confirmada do resultado para a parte interessada |
Evidência: prova quantitativa e/ou qualitativa, incluindo detalhes sobre os métodos de medição usados para:
|
|
Categoria de relevância: Satisfação de uma necessidade menor, significativa ou importante |
|
| Compensações: Intensidade, duração e relevância de quaisquer efeitos negativos resultantes do projeto | |
Avaliação e reporte do impacto do projeto
Estabelecer até que ponto um resultado alcançado pode ser atribuído a um projeto específico pode ser um desafio. A forma mais fiável de o fazer é através da definição de um “contrafactual” – ou seja, o que teria acontecido na ausência da intervenção da empresa. O IMP fornece orientações úteis sobre este tema: consultar esta pergunta frequente para mais detalhes.
Uma vez definido um contrafactual adequado, o progresso deve ser objeto de avaliação e reporte conforme apresentado na Figura 16. Para mais informações sobre como calcular a contribuição da empresa para a profundidade e duração do impacto, consultar esta pergunta frequente.
Figura 16: Como avaliar os impactos de um projeto.
| Impactos do Projeto | |
|---|---|
| Indicadores de progresso | Dados de contexto |
|
Escala: Número de pessoas ou área ambiental afetada pelo projeto |
Ação Positiva: Tipo(s) de resultado que o projeto pretende alcançar |
|
Contributo para a profundidade: Grau de mudança social ou ambiental experienciada pela parte interessada e que é diretamente atribuível ao projeto |
Resumo do projeto: descrição breve do projeto, explicando como se espera que contribua para a Ação Positiva. Deve incluir:
|
|
Contributo para a duração: Período de tempo durante o qual a parte interessada experienciou o resultado e que é diretamente atribuível ao projeto |
|
|
Categoria de duração: Pontual, período fixo ou permanente |
|
|
Relevância: Importância confirmada do resultado para a parte interessada |
Evidência: prova quantitativa e/ou qualitativa, incluindo detalhes sobre os métodos de medição usados para:
|
|
Categoria de relevância: Satisfação de uma necessidade menor, significativa ou importante |
|
| Compensações: Intensidade, duração e relevância de quaisquer efeitos negativos resultantes do projeto | |
Avaliar as suas Ações Positivas permite a uma empresa avaliar a eficácia das suas atividades e comunicar os seus resultados às partes interessadas-chave. Para mais informações sobre como reportar os resultados das Ações Positivas, consultar a secção Como utilizar este guia.
4.3 Exemplo
A ACME Inc. fabrica e comercializa produtos de limonada 100% naturais. Cultiva internamente alguns dos ingredientes que utiliza e obtém os restantes junto de agricultores familiares da zona envolvente à sua unidade de produção. Tanto a ACME como esses agricultores dependem de uma fonte de água local, que tem sofrido de stress hídrico há já algum tempo.
Um relatório de uma ONG a operar no país identificou a região como economicamente vulnerável às alterações climáticas, devido à forte dependência da agricultura e à escassez de água. Nas próximas décadas, a ONG prevê que o maior impacto local das alterações climáticas será uma redução de 15% na produtividade agrícola.
Projeto
Teoria da mudança
A ACME decide organizar aulas gratuitas para agricultores familiares locais, com o objetivo de os ajudar a aumentar os seus rendimentos agrícolas e a reduzir o consumo de água, ensinando técnicas agrícolas de boas práticas que a própria empresa já utiliza. A ACME descreve os resultados pretendidos deste programa como dois: Outros contribuem menos para o stress hídrico e As capacidades das pessoas são reforçadas.
A expectativa da ACME é que o novo conhecimento adquirido pelos agricultores melhore os rendimentos agrícolas nos anos seguintes, enquanto reduz a sua dependência de água.
O curso é oferecido a agricultores num raio de algumas dezenas de quilómetros das instalações da ACME.
Descrição do projeto
Cada participante do curso é apoiado no preenchimento de um questionário de inscrição, e a ACME contabiliza os formulários preenchidos para determinar o número de participantes no programa. Durante o período de formação, a ACME monitoriza a assiduidade de todos os agricultores inscritos e, após a conclusão da formação, estes são testados verbalmente sobre o que aprenderam.
A ACME visita cada agricultor 6 meses após a formação inicial, para determinar até que ponto estão a aplicar as técnicas ensinadas. A empresa também aloca recursos para realizar visitas anuais aos agricultores durante os 3 anos seguintes, para monitorizar se as novas técnicas continuam a ser utilizadas, oferecer formação de atualização e medir se ocorreu o aumento esperado na produtividade agrícola.
Avaliação do projeto após 3 anos
Após três anos, a ACME avalia o impacto do projeto. Embora os agricultores relatem que o seu consumo de água não aumentou, as evidências sobre a quantidade efetivamente poupada são meramente informais, dada a ausência de monitorização formal durante o período. Assim, a ACME não consegue determinar se o projeto assegurou que Outros contribuem menos para o stress hídrico.
Em vez disso, foca a sua avaliação na forma como os seus esforços permitiram assegurar que As capacidades das pessoas são reforçadas.
Escala
Um total de 60 agricultores inscreveu-se e participou na formação. Após 6 meses, verificou-se que 40 dos 60 agricultores estavam a aplicar ativamente o que aprenderam.
Profundidade
Ao longo dos 3 anos, as colheitas dos 40 agricultores que aplicaram as novas técnicas aumentaram, em média, 30% por ano (em comparação com um grupo de controlo de agricultores semelhantes que não receberam formação, operando na mesma região).
No momento da inscrição no curso, os agricultores foram inquiridos sobre as suas práticas agrícolas existentes, qualquer formação recebida nos 5 anos anteriores e as razões que os levaram a inscrever-se. Os resultados revelaram que, sem a intervenção da empresa, os agricultores provavelmente não aprenderiam a aplicar as novas técnicas agrícolas.
A ACME conclui, portanto, que a melhoria na produtividade é principalmente atribuível ao seu programa de formação.
Duração
A expectativa da ACME era de que o novo conhecimento adquirido pelos agricultores melhoraria as colheitas nos anos seguintes, e foi isso que as evidências indicaram: o aumento na produtividade (em comparação com o grupo de controlo) ocorreu na estação seguinte à formação e manteve-se consistente desde então. A ACME conclui, por isso, que a duração pode ser classificada como permanente.
Relevância (Significance)
Para avaliar a relevância do projeto, a ACME realizou inicialmente a sua própria investigação. Ao analisar o custo de vida na região e compará-lo com o rendimento obtido com a venda de culturas por uma amostra de agricultores locais, a ACME concluiu que a redução esperada na produtividade agrícola devido às alterações climáticas provavelmente levaria vários agricultores a ter dificuldades em cobrir as necessidades básicas das suas famílias.
Assim, a ACME caracterizou a relevância do projeto como correspondendo a uma necessidade significativa.
A ACME também contactou dez dos agricultores, perguntando-lhes até que ponto o projeto impactou as suas vidas. O feedback foi consistente: os agricultores sentiram-se confiantes na aplicação das novas técnicas e o aumento do rendimento, resultante da melhoria das colheitas, reforçou a sua resiliência face a eventos climáticos extremos.
Reporte da contribuição da empresa
Após concluir a avaliação, a ACME foi capaz de reportar o seguinte:
- Ação Positiva: As capacidades das pessoas são reforçadas.
- Resumo do projeto: Programa de formação para agricultores familiares, com o objetivo de aumentar a produtividade agrícola, de forma a contrariar a redução de colheitas prevista devido às alterações climáticas. A contribuição da empresa para os recursos é de 100% (cobrindo todos os custos financeiros e disponibilizando tempo dos colaboradores para ministrar a formação e monitorizar os resultados).
- Escala: 40 participantes concluíram o programa.
- Evidência: Registos de assiduidade das sessões de formação.
- Contribuição para a profundidade: Aumento médio anual de 30% na produtividade agrícola em comparação com o grupo de controlo.
- Evidência: Medições da produtividade dos agricultores formados, comparadas com um inquérito sobre as colheitas médias dos agricultores não formados da mesma região.
- Contribuição para a duração: O projeto resultou num benefício permanente para os agricultores.
- Categoria de duração: Permanente.
- Evidência: Aumento mensurável na produtividade após três anos, com expectativa de continuidade indefinida.
- Relevância: O programa teve um impacto positivo significativo no bem-estar dos agricultores.
- Categoria da relevância: Significativa.
- Evidência: Testemunhos dos agricultores, além de uma declaração de uma ONG sobre a vulnerabilidade económica das comunidades agrícolas na região em causa.
- Compensações : Não foram identificados impactos negativos.
Quando os resultados da avaliação são compilados, a ACME sente-se suficientemente confiante no sucesso do projeto para envolver o governo do país e uma ONG nacional que apoia agricultores em todo o território. É concebido um novo programa, no qual a empresa e o governo cofinanciam a formação dos técnicos da ONG, capacitando-os para replicar programas de formação semelhantes junto de agricultores vulneráveis em todo o país.
Bibliografia
A Future-Fit Foundation é uma das entidades autoras desta iniciativa e, sempre que possível, procurará alinhar as suas orientações com as do IMP, à medida que este evolui.↩︎
Quando uma variável é de difícil mensuração (ex.: devido a restrições orçamentais), as empresas são incentivadas a utilizar uma variável de substituição (proxy variable). Trata-se de uma variável que se presume estar fortemente correlacionada com a variável impossível de medir. Por exemplo, para avaliar o efeito de um projeto de redução da criminalidade, uma organização pode utilizar a variação do número de vítimas de agressão admitidas em hospitais como substituto da percentagem de redução de crimes violentos.↩︎