Claire Wordley (Conservation Evidence project, University of Cambridge) looks at evaluation and evidence in testing interventions and asks the question, ‘What works in conservation’?

A Spanish version  of this post is also available.

Evidence in conservation: does it matter?

What do scaring juvenile offenders, giving steroids to head trauma patients, and bat bridges all have in common? They are all examples of interventions that were done to try and make the world a better place, but which, after detailed study, turned out to either not work or make things worse. They are a reminder that we can’t change the world with good intentions alone.

I hope you would agree with me that evidence matters in conservation. There are many different types of evidence, and they can be used in very different ways. Think of a species distribution map showing that the hotspot for a species overlaps with a proposed development; a PCR assay showing that white-nose syndrome has affected bats in a certain locality; or remote sensing data showing that deforestation is occurring within a protected area. One type of evidence which is often under-emphasized is that of testing conservation interventions, that is, evaluating the things we do to try and improve the status of species or habitats and seeing whether they worked.

It is this sort of evidence that is gathered by the Conservation Evidence Project, whose flagship book, What Works in Conservation, collates and summarizes the data for 1,277 different actions that you might take for conservation; from adding road culverts for amphibians to implementing community forest schemes. Drawing on over 5,000 studies, the book aims to provide a useful reference for a wide range of conservationists: reserve managers, ecological consultants, conservation officers, government agency staff and more. Each intervention is colour coded with a category from ‘Beneficial’ to ‘Likely to be ineffective or harmful’ along the way, pointing out studies with ‘Unknown effectiveness’ due to insufficient data, or even ‘No evidence found’.

What sorts of evidence do we need more of?

While conservation practitioners and policy makers will hopefully get their teeth into the evidence in ‘What Works’ to figure out which interventions to choose, there is rich material here for conservation scientists too. For every taxa and habitat there are some interventions – for some topics many interventions – where the evidence is scanty or non-existent. This is therefore a valuable resource for deciding on research projects; for your subject area, you can quickly find what urgently needs testing for conservation. Many of these interventions would be great to test as part of a PhD, giving young researchers the opportunity to contribute directly to saving species and habitats.

So what needs testing? Interventions in general could do with more evaluation (a paper from 2005 found that across three top conservation journals, fewer than 13% of papers tested conservation actions), but some areas stand out as especially data poor. Bats and primates are both taxa for which the evidence base is rather patchy in ‘What Works’, with many interventions classed as unknown effectiveness or no evidence found.

Human behaviour change interventions are also underrepresented; while this may partly be due to the journals searched for interventions being more ‘conservation’ than ‘social science’ (although, of course, they should encompass each other), still there is a paucity of data around the impacts of education programmes, sustainable alternative livelihoods schemes, engaging local communities to collect data or guard animals, and certification schemes. Legal interventions for conservation are even less well-tested and, while often difficult to evaluate, these interventions can be among the most important and far-reaching.

High quality tests of interventions that are currently lacking in data, ideally from a range of locations encompassing different ecological and sociological systems, would go a long way towards making it easier for conservationists to take evidence-based decisions.

What do we mean by high quality evidence?

High quality evidence, in this context, would mean experimental tests of an intervention, comparing it to a control (doing nothing) or to an alternative intervention. While before and after controls are acceptable, before-after-control-impact (BACI) trials are the gold standard (i.e. take two groups, measure the variable you are interested in, then do your intervention with one group, then measure your variable in both groups again). Ideally there would also be replication of the intervention, and some form of randomisation (randomly allocating which group gets the intervention) and blinding (the data processor does not know which group got the intervention). To make the results as clear as possible, only one intervention should be carried out at a time.

This is of course difficult for most practitioners to incorporate into the messy, underfunded reality of working in conservation; and less than perfect studies are still extremely valuable. However, for researchers, at least some of these points to improve evidence quality should be achievable. The better the data, the more confidence we can have in our results; and the more accurately we can pick the best conservation interventions for the job.

What Works in Conservation 2018 is available in paperback or as a free download.

Spanish version

Escrito por Claire Wordley, proyecto ‘Conservation Evidence’, Universidad de Cambridge

Traducido con ayuda de Alfredo Romero-Muñoz, Universidad de Humboldt-Berlin

Evidencia en la conservación: ¿Importa?

 ¿Qué tienen en común asustar a delincuentes juveniles, administrar esteroides para tratar pacientes con traumas en el cráneo, y los puentes para los murciélagos? Todos son ejemplos de intervenciones que se implementaron para hacer el mundo un lugar mejor, pero que, después de un estudio detallado, resultaron no funcionar o empeorar las cosas. Son un recordatorio de que no podemos cambiar el mundo solo con buenas intenciones.

Espero que estén de acuerdo conmigo en que la evidencia importa en la conservación. Hay muchos tipos diferentes de evidencia, y se pueden usar de maneras muy diferentes. Piense en un mapa de distribución de especies que muestre que un lugar importante para una especie se superpone con un proyecto de desarrollo propuesto; un ensayo de PCR que muestra que el síndrome de nariz blanca afecta a los murciélagos de una determinada localidad; o datos de teledetección que muestran que la deforestación ocurre dentro de un área protegida. Un tipo de evidencia que a menudo se subestima es la de probar las intervenciones de conservación, es decir, evaluar las cosas que hacemos para tratar de mejorar el estado de las especies o hábitats y ver si funcionaron.

Este es el tipo de evidencia recopilada por el proyecto ‘Conservation Evidence’ (Evidencia de la Conservación), que este mes lanzó la tercera edición de su libro emblemático ‘What Works in Conservation‘ (Qué funciona en conservación). Este libro, que puede comprarse como una copia en papel o descargarse gratis, recopila y resume los datos de 1277 acciones diferentes que usted podría tomar para la conservación, desde la adición de túneles en caminos para anfibios, hasta la implementación de esquemas forestales comunitarios. Basándose en más de 5000 estudios, el libro tiene como objetivo ser una referencia útil para una amplia gama de conservacionistas; gerentes de reservas, consultores ecológicos, oficiales de conservación, personal de agencias gubernamentales y más. El libro codifica con colores cada intervención con una categoría de ‘Beneficioso’ a ‘Posiblemente ineficaz o perjudicial’, mientras que señala estudios con ‘Eficacia desconocida’ debido a datos insuficientes, o incluso ‘No se encontró evidencia’.

¿De qué tipos de evidencia necesitamos más?

Mientras que esperamos que los profesionales de conservación y los formuladores de políticas  pongan sus dientes en ‘What Works’ para decidir qué intervenciones elegir, aquí también existe material abundante para los científicos de la conservación. Existen intervenciones para cada taxón y hábitat – para algunos temas muchas intervenciones – donde la evidencia es escasa o inexistente. Por lo tanto, éste es un recurso valioso para decidir sobre proyectos de investigación: para su área temática, puede encontrar rápidamente lo que urgentemente se necesita examinar para la conservación. Muchas de estas intervenciones serían estupendas para probar como parte de un doctorado, dando la oportunidad a investigadores jóvenes de contribuir directamente al salvar especies y hábitats.

Entonces, ¿qué se necesita probar? Las intervenciones en general podrían mejorar con más evaluación (un artículo de 2005 encontró que en tres de las principales revistas de conservación, menos del 13% de los artículos evaluaron las intervenciones de conservación), pero algunas áreas se destacan como especialmente deficientes en datos. Los murciélagos y los primates son taxones para los cuales la base de evidencia es bastante pequeña en ‘What Works’, con muchas intervenciones clasificadas como ‘efectividad desconocida’ o ‘sin evidencia encontrada’.

Las intervenciones para el cambio del comportamiento humano también están subrepresentadas; mientras esto puede deberse en parte porque las revistas evaluadas sobre intervenciones fueran más sobre ‘conservacionistas’ que sobre ‘ciencias sociales’ (aunque, por supuesto, se deberían solapar en parte), todavía hay escasez de datos sobre los impactos de programas educativos, esquemas de alternativos de medios de subsistencia sostenibles, involucramiento de comunidades locales para recolectar datos o proteger animales, y sobre esquemas de certificación. Las intervenciones legales para la conservación son incluso menos probadas; aunque a menudo son difíciles de evaluar, estas intervenciones pueden ser las más importantes y de gran alcance.

Pruebas de alta calidad de intervenciones que actualmente carecen de datos – idealmente de una variedad de localidades que abarquen diferentes sistemas ecológicos y sociológicos – contribuirían en gran medida a facilitar que los conservacionistas tomen decisiones basadas en evidencia.

¿Qué queremos decir con evidencia de alta calidad?

Evidencia de alta calidad, en este contexto, significa pruebas experimentales de una intervención, comparándola con un control (no hacer nada) o con una intervención alternativa. Mientras los controles antes y después son aceptables, las pruebas de antes-después-control-impacto (BACI) son el estándar de oro (es decir, tome dos grupos, mida la variable que le interesa, después haga su intervención con un grupo y luego mida su variable ambos grupos de nuevo). Idealmente, también habría una replicación de la intervención, y alguna forma de asignación al azar (asignación aleatoria de qué grupo recibe la intervención) y cegamiento (el procesador de datos no sabe qué grupo recibió la intervención). Para que los resultados sean lo más claros posible, solo se debe llevar a cabo una intervención a la vez.

Para la mayoría de los profesionales de conservación ésto, por supuesto, es difícil  de incorporar a la realidad  complicada y sub-financiada de hacer conservación; y estudios menos que perfectos son extremadamente valiosos. Sin embargo, para los investigadores, al menos algunos de estos puntos para mejorar la calidad de la evidencia deberían ser alcanzables. A mejores datos, mayor la confianza en nuestros resultados; y con mayor precisión podemos elegir las mejores intervenciones de conservación para realizar el trabajo.