TÉCNICAS CUANTITATIVAS EN LA EVALUACIÓN DE PROGRAMAS Y PROYECTOS PSICOSOCIALES

I. INTRODUCCIÓN

Toda evaluación de programas y/o proyectos psicosociales requiere de una serie de recolección de datos para lo cual se utilizan diferentes estrategias o técnicas, ya sea de tipo cualitativo o cuantitativo. En esta oportunidad se describen algunas técnicas cuantitativas, sus ventajas, desventajas, uso, entre otros aspectos.

El propósito de este espacio informativo es que el lector logre tener una visión más amplia de las técnicas cuantitativas en la evaluación de proyectos o programas psicosociales, en la forma de recolección de datos, asimismo la información redactada sirva como referencia informativa. 
II. CONTENIDOS

2.1. CONCEPTOS BÁSICOS

            2.1.1. Técnica cuantitativa

Se apoyan en la medición objetiva. Persiguen obtener resultados extrapolables a un grupo específico de la población,  mediante la selección de una muestra del mismo, un número estadísticamente significativo de dicha población, o bien mediante el estudio de todo el grupo (Perea, 2003).

            2.1.2. Programa o Proyecto Psicosocial

Conjunto especificado de acciones humanas y recursos materiales, diseñados e implantados organizadamente en una determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas. Se caracteriza por tener una especificación previa e implantación coordinada.

Proyecto

“Es una empresa planificada consistente en un conjunto de actividades interrelacionadas y coordinadas con el fin de alcanzar objetivos específicos dentro de los límites de un presupuesto y un periodo de tiempo dados” (ONU, 1984).

Programa

“Se constituye por un conjunto de proyectos que persiguen los mismos objetivos. Este establece las prioridades de la intervención, identificando y ordenando los proyectos, definiendo el marco institucional y asignando los recursos que se van a utilizar” (ONU, 1984).

2.2. EVALUACIÓN DE PROGRAMAS O PROYECTOS PSICOSOCIALES

2.2.1 ¿Qué es evaluación?

Según Nirenberg (2008) la evaluación implica una reflexión, que se orienta a revisar qué es lo que se está proponiendo, que se está haciendo o qué se ha hecho. Es principalmente analizar las características de las metodologías de intervención planteadas o desplegadas, y determinar si la orientación se dirige efectivamente hacia lo deseable, aclarando cuáles escollos y cuáles facilidades se presentan y cuáles logros se esperan y/o se han obtenido.

2.2.2 ¿Qué es la evaluación de programas o proyectos psicosociales?

Es la sistemática investigación a través de métodos científicos de los efectos, resultados y objetivos de un programa, con el fin de tomar decisiones sobre él  (Ballesteros, 1995).

Según Pérea (2003) la evaluación de programas o proyectos psicosociales es una función que consiste en hacer una apreciación tan sistemática y objetiva como sea posible sobre un proyecto o programa, por realizarse, en curso o acabado, es decir, su concepción, su realización y sus resultados. En este proceso se trata de determinar la pertinencia de sus objetivos y su grado de realización, la eficiencia en cuanto a la acción social, la eficacia, el impacto y la viabilidad. Por lo que una evaluación debe proporcionar unas informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de elaboración de las decisiones.

Según Rossi, Freeman y Lipsey (1999) este proceso requiere de:

– Recolección de datos

– Existencia de criterios de valoración

Por tanto, teniendo en cuenta que toda evaluación es un proceso sistemático que requiere el uso de instrumentos o técnicas para  medir, analizar y valorar unos diseños, procesos y resultados con el fin de generar conocimiento útil para la toma de decisiones. Por tanto se cree necesario dar a conocer las técnicas cuantitativas que se pueden emplear en la evaluación de programas y proyectos psicosociales.

2.3. TÉCNICAS CUANTITATIVAS EN LA EVALUACIÓN DE PROGRAMAS Y PROYECTOS PSICOSOCIALES

2.3.1. Encuesta

La encuesta es uno de los instrumentos más populares, aunque en la evaluación de proyectos de acción social su uso es más restringido, ya que requiere recursos de los que generalmente no se dispone sobre el determinado situación.Por lo general, se realizada sobre una muestra 36 de sujetos representativa de un colectivo más amplio y se lleva a cabo en el contexto de la vida cotidiana, utilizando procedimientos estandarizados de interrogación, con el fin de obtener mediciones cuantitativas de gran variedad de características objetivas de la población. (Pareas,(2003) citado en la Plataforma de ONG de Acción Social)

La encuesta descansa sobre dos pilares:

 • La estadística matemática.

 • La sociopsicología de la comunicación (la conversación entre dos interlocutores/as, entrevistador/a y entrevistado/a).

2.3.2. Medición directa u observación

Según Perea (2003), da referencia sobre la técnica cuantitativa que consiste en recopilar datos de acuerdo a un esquema determinado y es muy utilizada en contextos de proyectos de desarrollo. Para que la medición sea significativa, y es muy importante determinar de manera previa qué propiedades o características van a considerarse y cuáles son las dimensiones que se manejan. También, mencionar las medición directa, se relaciona con la comprobación de los indicadores objetivamente verificables que se recogen en la matriz de planificación del proyecto. Un problema común se produce cuando los indicadores se encuentran mal enunciados o resultan imposibles de medir.

El uso de esta técnica facilita la obtención de datos muy fiables sobre fenómenos o procesos físicos pero no logra profundizar en las causas que provocan determinada situación. Por ello, la medición directa debe ir acompañada por otros modos de análisis más valorativos.

2.3.3. Censo

Según Perea (2003), El censo constituye una herramienta crucial para un estudio cuantitativo de la realidad social. Es muy útil haber realizado el censo en la fase de identificación del proyecto y haber ido incorporando sus cambios de información obtenida del contexto. La existencia de este documento donde se recogen los datos demográficos actualizados es, sin duda, de gran ayuda en el trabajo de evaluación.

Según la Vázquez (1991), define al Censo Población como el conjunto de operaciones que consisten en recopilar, resumir, valorar, analizar y publicar los datos de carácter demográfico, cultural, económico y social de todos los habitantes del país y de sus divisiones político administrativas, referidos a un momento o período determinado.

El censo es un proyecto que permite conocer, en una fecha dada, el efectivo de la población en un territorio con algunas de sus características:

• Distribución por edad.

• Sexo.

• Edad.

 • Estado civil.

 • Situación familiar.

Su ejecución se basa generalmente en cumplimentar cuestionarios, por parte de las personas afectadas o algunas de ellas o incluso el agente del censo.

2.3.4. Técnicas de Análisis Económico ­Financiero y Medición de Impacto

Según Perea (2003), hace énfasis en el análisis económicos o financieros, y se utilizan diferentes técnicas esto se debe tener  en cuenta el  análisis de coste ­ efectividad (ACE), está adecuado para realizar el proyectos habituales en el Acción Social, que no sólo producen bienes y servicios tangibles, sino también expresarles en unidades monetarias, además producen otro tipo de beneficios, intangibles y es más difícil cuantificar.

Es decir, se debe tener en cuenta la utilización del análisis de coste de efectividad se  pretende determinar, en la evaluación, hasta qué punto el empleo de los recursos ha sido coste ­ efectivo, entendiendo que la relación deseable en una circunstancia de recursos escasos y grandes necesidades de alcanzar la mayor efectividad posible, entendida como el logro de resultados y objetivos deseables, con el menor coste. Asimismo, el análisis de coste de efectividad puede ser utilizado antes de la ejecución de un proyecto para determinar hipotéticamente los resultados esperados con un coste determinado, pero también puede ser útil en la evaluación intermedia o final para saber qué es lo que se ha conseguido en realidad, si se ha logrado cumplir el objetivo inicial para que después se modificado mediante la toma de decisión.

Las técnicas que se utilizan para evaluar la eficiencia según Pérea (2003) son:

A)    Análisis Coste - Beneficio (Acb)

Este análisis puede aplicarse ex-ante, con lo cual ayudaría a la toma de decisiones eficientemente sobre alternativas de actuación, o ex-post, de forma que permite determinar el grado de eficiencia alcanzada.

B)    Análisis Coste - Eficacia

Este tipo de análisis es una alternativa al análisis coste-beneficio, ya que, intenta encontrar la eficiencia en las inversiones públicas, especialmente en sectores en los que los costes y los beneficios son difíciles de medir en términos monetarios. No es muy eficaz cuando se aplica a Programas o Proyectos con muchos objetivos.
C)    Comparación Entre Los Precios De Licitación, Adjudicación Y Ejecución

La comparación entre los precios de licitación, adjudicación y ejecución funciona como una vía alternativa para medir la eficiencia.
D)    Técnicas De Análisis Frontera (Dea)
Esta es una técnicas de análisis en la eficiencia pública, lo cual, permite comparar unidades de gestión que desarrollan servicios análogos, de manera que muestra la eficiencia relativa de dichas unidades en relación con la “frontera eficiente”,ya que, se realiza de forma individual para evaluar lo aprendido a través de una medida del nivel medio de los resultados de eficiencia.

E). Estudio de caso

En esta técnica se realiza  el estudio de  Programa o Proyecto y algunas actuaciones en su ámbito natural, en su contexto, analizado desde múltiples perspectivas y agentes de supervisiones. Implica el objetivo en contrastar una serie de hipótesis, establecidas con carácter previo, sobre el Programa o Proyecto, fundamentalmente a través de entrevistas y encuestas, todo estas técnicas tiene que estar ajustado al contexto para  obtener mejores análisis de los resultados.

 Selección del caso en función de la conveniencia, accesibilidad a la información y representatividad.

 • Establecimiento de las hipótesis sobre el Programa o Proyecto a contrastar.

• Recopilación y procesamiento de la información.

 • Redacción y presentación del informe. Es el paso crucial, exige un filtro de toda la información, de tal forma que sea fácil de consultar, tanto cronológica como temáticamente, y sirva para futuras investigaciones sobre el tema, así para aumentar  la fiabilidad del estudio se puede involucrar a dos evaluadores en el mismo caso, o a agentes externos al Programa o Proyecto.

F) Métodos experimentales

En este proceso es para establecer dos grupos, el primer grupo está compuesto por sujetos que participarán en el Programa o Proyecto como  (grupo experimental), y el segundo por sujetos no participantes (grupo de control). Estos dos grupos deben ser representativos de la población objetivo, y la probabilidad que tiene una persona para que sean partes estos  dos grupos debe ser idéntica. Éste es el conocido como “diseño experimental clásico”. Por medio de una encuesta, anterior a la aplicación del Programa o Proyecto, los dos grupos son preguntados acerca de cuestiones relativas a los temas en los que el Programa o Proyecto impactará.

G. Análisis de regresión y los modelos econométricos

Consisten en la construcción de coeficientes que ayudarán al equipo evaluador a estimar (no a calcular) el alcance de los impacto del Programa o Proyecto. Por ejemplo, con la aplicación de estas técnicas se puede estimar la cantidad de empleo creado por millón de euros gastados en el Programa o Proyecto.
H) Programa SPSS

Según Camacho (2002, citado en Perea, 2003) es un programa informático que se utiliza para realizar una gran variedad de análisis estadísticos y ofrece un sistema eficiente, integrado, potente y fácil de usar para organizar y analizar datos. 

III. COMENTARIO CRÍTICO 

Es importante conocer sobre las técnicas cuantitativas, porque nos permite obtener informaciones con una visión clara y precisa sobre un determinada situación en la que se encuentra la población, ya que, esta técnica se basa en la recolección y producir datos estadísticas que sirvan para medir y graduar los fenómenos de gran  intensidad en la que se encuentra un contexto, así para tomar decisiones en las diversas áreas y estos deben ser pertinente a su objetivo y su grado de realización de estudio.También, deben tener en cuenta la eficiencia en cuanto a la acción social, la eficacia, el impacto y la viabilidad. Por lo que una evaluación debe proporcionar informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas para la hora de realizar su trabajo en las elaboraciones de programas y proyectos sociales. Asimismo, en el caso de trabajar en una comunidad, se debe tener en cuenta el contexto en la que se encuentra los individuos para adaptar un instrumento como (la encuesta y los formularios del censo), para obtener mejores resultados del individuo, el medio social y político, que se busca el desarrollo sostenible y mejoramiento de calidad de la sociedad.

VI. CONCLUSIÓN

Después de haber revisado diferentes fuentes sobre técnicas cuantitativo, esta técnica se enfoca en la recolección de datos estadísticos mediante los estudios sociodemográficos, para la recopilación de datos se utiliza las encuesta, medición directa o observación, y el censo, para obtener mejor información para el resultado mediante la población directa que están involucrados en los problemas psicosociales.  

La encuesta es una de las técnicas más representativa y destacada del método cuantitativo, ya que, esta técnica es un método para investigador basa en recoger la información en datos que son cuantificables, que parte de la observación y posteriormente de la verificación de los datos obtenidos, en busca de un enfoque objetivo, así mismo establece características o variable que toman valores numéricos que se presenten en datos estadísticos.

V. ENLACES

https://www.edx.org/es/course/tecnicas-cuantitativas-y-cualitativas-upvalenciax-tcci201-x-0

http://entornovirtualparaeldesarrollode.weebly.com/41tecnicas-cuantitativas.html

https://www.researchgate.net/publication/259009027_Metodos_y_tecnicas_cuantitativas_de_analisis_en_la_investigacion_educativa
http://www.um.es/docencia/pguardio/documentos/master2.pdf

https://www.uv.mx/rmipe/files/2017/02/Guia-didactica-metodologia-de-la-investigacion.pdf

VI. BIBLIOGRÁFICA

Vázquez, R. C. (1991). Confiabilidad de los resultados preliminares del XI Censo General de Población y Vivienda de 1990. Estudios demográficos y urbanos, 33-68: Recuperado de: http://www.ine.es/censo2001/6.pdf

Perea, Ó. (2003). Guía de evaluación de programas y proyectos sociales. Recuperado de http://www.plataformavoluntariado.org/ARCHIVO/documentos/recursos/guia-de-evaluacion-de-programas-y-proyectos-sociales.pdf

Tejada, J. (2004).Evaluación de Programas. Recuperado de:

http://www.carcheles.es/export/sites/default/galerias/galeriaDescargas/diputacion/dipujaen/formacion/centro-documental/Evaluacixn_programas_de_formacixn.pdf



QUANTITATIVE TECHNIQUES IN THE EVALUATION OF PSYCHOSOCIAL PROGRAMS AND PROJECTS.

I. INTRODUCTION

At present all the evaluation of programs and / or psychosocial projects requires a series of data collection for which different strategies or techniques are used, either qualitative or quantitative. In this opportunity some quantitative techniques are described, their advantages, disadvantages, use, among other aspects.

The purpose of this informative space is for the reader to have a broader view of quantitative techniques in the evaluation of psychosocial projects or programs, in the form of data collection, and the information written serves as an informative reference.

II. CONTENTS

2.1. BASIC CONCEPTS

2.1.1. Quantitative technique

They rely on objective measurement. They seek to obtain results extrapolated to a specific group of the population, by selecting a sample of it, a statistically significant number of said population, or by studying the whole group (Perea, 2003).

2.1.2. Psychosocial Program or Project

It is a specified set of human actions and material resources, designed and implemented in an organized social reality, with the purpose of solving a problem that concerns a group of people. It is characterized by having a prior specification and coordinated implementation.

Draft

"It is a planned enterprise consisting of a set of interrelated and coordinated activities in order to achieve specific objectives within the limits of a given budget and time period" (UN, 1984).

Program

"It is constituted by a set of projects that pursue the same objectives. This establishes the priorities of the intervention, identifying and ordering the projects, defining the institutional framework and allocating the resources that will be used "(UN, 1984).

2.2. EVALUATION OF PSYCHOSOCIAL PROGRAMS OR PROJECTS

2.2.1 What is evaluation?

According to Nirenberg (2008) the evaluation involves a reflection, which is aimed at reviewing what is being proposed, what is being done or what has been done. It is mainly to analyze the characteristics of the intervention methodologies proposed or deployed, and to determine if the orientation is effectively directed towards what is desirable, clarifying what pitfalls and what facilities are presented and what achievements are expected and / or have been obtained.

2.2.2 What is the evaluation of psychosocial programs or projects?

It is the systematic investigation through scientific methods of the effects, results and objectives of a program, in order to make decisions about it (Ballesteros, 1995).

According to Pérea (2003) the evaluation of psychosocial programs or projects is a function that consists in making an assessment as systematic and objective as possible about a project or program, to be carried out, in progress or finished, that is, its conception, its realization and its results. In this process, it is necessary to determine the relevance of its objectives and its degree of achievement, the efficiency in terms of social action, effectiveness, impact and viability. Therefore, an evaluation must provide credible and useful information that allows integrating the lessons learned in the decision-making mechanisms.

According to Rossi, Freeman and Lipsey (1999) this process requires:
              - Data collection

 - Existence of evaluation criteria

Therefore, taking into account that any evaluation is a systematic process that requires the use of instruments or techniques to measure, analyze and evaluate some designs, processes and results in order to generate useful knowledge for decision making. Therefore it is considered necessary to make known the quantitative techniques that can be used in the evaluation of psychosocial programs and projects. 

2.3. QUANTITATIVE TECHNIQUES IN THE EVALUATION OF PSYCHOSOCIAL PROGRAMS AND PROJECTS

2.3.1. Poll

The survey is one of the most popular instruments, although in the evaluation of social action projects its use is more restricted, since it requires resources that are not usually available on the given situation. It is usually done on a sample 36 of subjects representative of a larger group and is carried out in the context of daily life, using standardized interrogation procedures, in order to obtain quantitative measurements of a great variety of objective characteristics of the population. (Pareas, (2003) cited in the Social Action NGO Platform)

The survey rests on two pillars:

• Mathematical statistics.

•The sociopsychology of communication (the conversation between two interlocutors, interviewer and interviewee.

2.3.2. Direct measurement or observation

According to Perea (2003), it refers to the quantitative technique that consists of collecting data according to a specific scheme and is widely used in contexts of development projects. So that the measurement is significant, and it is very important to determine in advance what properties or characteristics are going to be considered and what are the dimensions that are handled. Also, mentioning direct measurement is related to the verification of objectively verifiable indicators that are included in the project planning matrix. A common problem occurs when the indicators are poorly stated or impossible to measure.

The use of this technique facilitates obtaining very reliable data on physical phenomena or processes but fails to delve into the causes that cause a certain situation. For this reason, direct measurement must be accompanied by other, more valuable modes of analysis.

 

2.3.3. Census

According to Perea (2003), the census is a crucial tool for a quantitative study of social reality. It is very useful to have carried out the census in the identification phase of the project and to have incorporated their changes of information obtained from the context. The existence of this document where the updated demographic data is collected is undoubtedly a great help in the evaluation work.

According to Vázquez (1991), defines the Population Census as the set of operations that consist of collecting, summarizing, assessing, analyzing and publishing the demographic, cultural, economic and social data of all the inhabitants of the country and its political divisions. administrative, referred to a specific time or period.

The census is a project that allows to know, on a given date, the cash of the population in a territory with some of its characteristics:

            •Distribution by age

• Sex.

• Age.

• Civil status.

• Family situation.

Its execution is usually based on completing questionnaires, by the people affected or some of them or even the census agent.

  

2.3.4. Techniques of Economic Financial Analysis and Impact Measurement

According to Perea (2003), he emphasizes the economic or financial analysis, and different techniques are used, this must be taken into account the cost-effectiveness analysis (ACE), is adequate to carry out the usual projects in the Social Action, which not only they produce tangible goods and services, but also express them in monetary units, they also produce other types of benefits, intangible and it is more difficult to quantify.

That is, the use of cost effectiveness analysis must be taken into account. In the evaluation, it is intended to determine to what extent the use of resources has been cost effective, understanding that the desirable relationship in a circumstance of scarce and large resources needs to achieve the greatest possible effectiveness, understood as the achievement of desirable results and objectives, with the lowest cost. Likewise, the analysis of cost of effectiveness can be used before the execution of a project to hypothetically determine the expected results with a certain cost, but it can also be useful in the intermediate or final evaluation to know what has been achieved in reality, if the initial objective has been achieved so that later it can be modified by making a decision.

The techniques used to evaluate efficiency according to Pérea (2003) are:

A) Cost - Benefit Analysis (Acb)

This analysis can be applied ex-ante, which would help the decision making efficiently on alternatives of action, or ex-post, in a way that allows to determine the degree of efficiency reached.

B) Cost Analysis – Efficiency

This type of analysis is an alternative to cost-benefit analysis, since it tries to find efficiency in public investments, especially in sectors where costs and benefits are difficult to measure in monetary terms. It is not very effective when applied to Programs or Projects with many objectives.

C) Comparison Between Bidding, Adjudication and Execution Prices

The comparison between bidding, award and execution prices works as an alternative way to measure efficiency.

D) Border Analysis Techniques (Dea)

This is an analysis techniques in public efficiency, which allows us to compare management units that develop analogous services, in such a way that it shows the relative efficiency of said units in relation to the "efficient frontier", since it is carried out in a individual to evaluate what has been learned through a measure of the average level of efficiency results.

E). Case study

In this technique the study of Program or Project is carried out and some actions in its natural environment, in its context, analyzed from multiple perspectives and agents of supervisions. It implies the objective in contrasting a series of hypotheses, established previously, on the Program or Project, mainly through interviews and surveys, all these techniques have to be adjusted to the context to obtain better analysis of the results.

 Selection of the case according to convenience, accessibility to information and representativeness.

• Establishment of hypotheses about the Program or Project to be tested.

           •Collection and processing of information
     •Writing and presentation of the report. It is the crucial step, requires a filter of all information, so that it is easy to consult, both chronologically and thematically, and serve for future research on the subject, so to increase the reliability of the study can involve two evaluators in the same case, or to agents external to the Program or Project.

F) Experimental methods.
In this process is to establish two groups, the first group is composed of subjects who will participate in the Program or Project as (experimental group), and the second by non-participants (control group). These two groups must be representative of the target population, and the probability that a person has to be part of these two groups must be identical. This is the one known as "classic experimental design". Through a survey, prior to the application of the Program or Project, the two groups are asked about issues related to the topics on which the Program or Project will impact.

G. Regression analysis and econometric models.
They consist of the construction of coefficients that will help the evaluation team to estimate (not calculate) the scope of the impact of the Program or Project. For example, with the application of these techniques you can estimate the amount of employment created per million euros spent on the Program or Project.

           H) SPSS Program.
According to Camacho (2002, cited in Perea, 2003) is a computer program that is used to perform a wide variety of statistical analysis and offers an efficient, integrated, powerful and easy to use system to organize and analyze data.

III. CRITICAL COMMENT

It is important to know about quantitative techniques, because it allows us to obtain information with a clear and precise vision about a certain situation in which the population is located, since this technique is based on the collection and production of statistical data that serve to measure and to graduate the phenomena of great intensity in which a context is found, so to make decisions in the different areas and these must be pertinent to their objective and their degree of study completion. They must also take into account the efficiency in terms of social action, effectiveness, impact and viability. Therefore, an evaluation must provide credible and useful information that allows integrating the lessons learned for the time of carrying out their work in the elaboration of social programs and projects. Likewise, in the case of working in a community, the context in which individuals find themselves must be taken into account in order to adapt an instrument such as (the survey and the census forms), in order to obtain better results for the individual, the social environment and political, which seeks the sustainable development and improvement of the quality of society.

IV. CONCLUSION
After having reviewed different sources on quantitative techniques, this technique focuses on the collection of statistical data through sociodemographic studies, for the collection of data the surveys, direct measurement or observation, and the census are used, to obtain better information for the result through the direct population that are involved in psychosocial problems.

The survey is one of the most representative and outstanding techniques of the quantitative method, since, this technique is a method for researcher based on collecting the information in data that are quantifiable, which starts from the observation and then from the verification of the obtained data , in search of an objective approach, likewise establishes characteristics or variables that take numerical values ​​that are presented in statistical data.

V. LINKS

https://www.edx.org/es/course/tecnicas-cuantitativas-y-cualitativas-upvalenciax-tcci201-x-0

http://entornovirtualparaeldesarrollode.weebly.com/41tecnicas-cuantitativas.html

https://www.researchgate.net/publication/259009027_Metodos_y_tecnicas_cuantitativas_de_analisis_en_la_investigacion_educativa

http://www.um.es/docencia/pguardio/documentos/master2.pdf

https://www.uv.mx/rmipe/files/2017/02/Guia-didactica-metodologia-de-la-investigacion.pdf

VI. BIBLIOGRAPHIES

Vázquez, R. C. (1991). Reliability of the preliminary results of the XI General Population and Housing Census of 1990. Demographic and urban studies, 33-68: Retrieved from: http://www.ine.es/censo2001/6.pdf

Perea, Ó (2003). Guide for the evaluation of social programs and projects. Recovered from: http://www.plataformavoluntariado.org/ARCHIVO/documentos/recursos/guia-de-evaluacion-de-programas-y-proyectos-sociales.pdf

Tejada, J. (2004). Program Evaluation. Recovered from:

http://www.carcheles.es/export/sites/default/galerias/galeriaDescargas/diputacion/dipujaen/formacion/centro-documental/Evaluacixn_programas_de_formacixn.pdf