Validación de un instrumento de investigacion para el diseño de una metodología de autoevaluación del sistema de gestión ambiental

Validation of a research instrument for the design of a self-assessment methodology for the environmental management system.

Héctor Andrés Hernández

Alina Eugenia Pascual Barrera

¹ Doctor en Proyectos con Especialidad en Investigación, Medio Ambiente, Calidad y Prevención. Universidad Internacional Iberoamericana de México (Campeche - México). Magíster en Educación Ambiental y Desarrollo Sostenible, Universidad Santiago de Cali. (Cali - Colombia). E-mail: andreshernandez19@gmail.com

² Doctora en Ciencias del Mar. (España). Docente e investigadora del Programa de Doctorado en Proyectos de la Universidad Internacional Iberoamericana de México. – E-mail: alina.pascual@unini.edu.mx

Abstract: The purpose of this study proposal is to validate a research instrument in order to obtain the necessary data to generate a methodology that self-evaluates the environmental management system, taking into account those aspects related to environmental regulations. The instrument was submitted for consideration by experts in the area, applying the Delphi method that allows determining the coefficient of competence in form and content. Based on this information, the instrument was validated and the reliability was measured by calculating the Cronbach's alpha coefficient using the specialized software Statistical Product and Service Solutions (SPSS), version 21. From these results, a pilot test was conducted on a population sample, applying a questionnaire which was constructed under a Likert scale and for validation the SPSS program V. 21 is applied, which certifies that the instrument can be applied to analyze and determine which variables will be part of the self-assessment methodology of the environmental management system.

Keywords: Instrument, Environmental Management System, ISO 14001 Standard Methodology.

Resumen: La presente propuesta de estudio tiene como objetivo validar un instrumento de investigación con el fin de obtener los datos necesarios para generar una metodología que autoevalúe el sistema de gestión ambiental, teniendo en cuenta aquellos aspectos relacionados con la normatividad de medio ambiente. El instrumento fue sometido a consideración por expertos en el área, aplicando el método Delphi que permite determinar el coeficiente de competencia en forma y contenido. A partir de esta información se procedió a validar el instrumento y se midió la confiabilidad calculando el coeficiente de alfa de Cronbach utilizando el software especializado Statistical Product and Service Solutions (SPSS) versión 21. A partir de estos resultados se realizó una prueba piloto a una muestra poblacional, aplicando un cuestionario el cual fue construido bajo una escala tipo Likert y para su validación se aplica el programa SPSS V. 21, con el cual se certifica que el instrumento podrá ser aplicado para analizar y determinar cuáles son las variables que harán parte de la metodología de autoevaluación del sistema de gestión ambiental.

Palabras Clave: Instrumento, Metodología, Norma ISO 14001, Sistema de Gestión Ambiental.

Introducción. El presente estudio de investigación se enmarca dentro de la temática de Medio Ambiente, donde se propone validar un instrumento de investigación tipo encuesta que servirá para el diseño de una metodología que autoevalúe el sistema de gestión ambiental bajo los requisitos de la Norma ISO 14001. La investigación realizada se ubica en el contexto colombiano, específicamente en instituciones de nivel superior en la ciudad de Bogotá que ya han implementado el sistema de gestión ambiental. Dicho instrumento será construido a partir de los aspectos relacionados con el medio ambiente y los requisitos de la Norma ISO 14001, posteriormente será sometido a un proceso de validación por medio de expertos en el tema y a partir de ahí, determinar el grado de confiabilidad, para conocer la correlación existente entre las variables de la encuesta, que en este caso serán el sistema de gestión ambiental y la autoevaluación, como parte de las acciones de cumplimiento del sistema de gestión ambiental. Por lo tanto, la validación del instrumento el cual se encuentra soportado en un fundamento bibliográfico, permitirá visualizar los valores en cada uno de los ítems descritos y considerar si cumple con las especificaciones para la formulación de la metodología de autoevaluación del sistema de gestión ambiental. De esta manera, en la metodología se describe el proceso secuencial para la validación del instrumento y los resultados de la validación de la encuesta.

A partir de lo anterior, el objetivo de este estudio se enfoca en validar un instrumento de investigación (encuesta) para el diseño de una metodología que autoevalúe el sistema de gestión ambiental bajo los requisitos de la Norma ISO 14001 y que sirva para el ejercicio de conservar y proteger el medio ambiente.

Revisión bibliográfica

Sistema de gestión ambiental. El sistema de gestión ambiental desde al ámbito internacional, se define como aquellos elementos (procesos, procedimientos y métodos) mediante los cuales una empresa planea, ejecuta y controla las actividades que están encaminados a dar respuesta a unos objetivos planteados desde el contexto de la conservación y un manejo adecuado del medio ambiente en que se refleje el desarrollo sostenible. (ICONTEC, 2014).

De acuerdo con el  V Informe Nacional de Biodiversidad de Colombia de 2014, describe que para aumentar la conciencia social sobre el cuidado de la biodiversidad y su importancia en los sectores productivos y el bienestar humano, existe en Colombia  cinco factores de cambio que están afectando el medio ambiente: el cambio en el uso del suelo, la disminución, pérdida o degradación de elementos de los ecosistemas nativos y agrosistemas, las invasiones de especies no nativas, la contaminación y toxificación del agua por la actividad minera, la agricultura industrial y la ganadería y, finalmente el cambio climático (Franco y Ruiz, 2014, p.85).

Norma ISO 14001. La Norma ISO 14001 para las organizaciones se ha convertido en un pilar importante en los procesos que vienen desarrollando, en la generación de conciencia por la conservación de los recursos naturales y propender iniciativas que contribuyan al desarrollo sostenible. Iniciativa como estás son decisiones que se toman desde la alta gerencia en la aplicación e implementación de los requisitos que exige la Norma ISO 14001. De acuerdo con las palabras de Walss (2011), “la aplicación de la Norma ISO 14001 y los recursos destinados para la protección ambiental son una inversión y no un gasto”. Con esto se ha logrado que las organizaciones cambien su pensamiento y generen mayor responsabilidad social en la conservación de un ambiente sano.

Validación del instrumento de investigación. Para la validación del instrumento de investigación (encuesta), se debe proporcionar toda fiabilidad al momento de realizar su aplicabilidad. Este proceso de validación garantiza que al momento de ser aplicada la encuesta genere resultados veraces para el diseño de la metodología de autoevaluación del sistema de gestión ambiental. Por lo cual, la metodología detallada a continuación, busca guardar los pasos que establecen cada uno de los autores citados, lo que permitirá arrojar los resultados que se esperan en la investigación a desarrollar.

Metodología. Para la construcción de la encuesta se tomaron como punto de partida los aspectos relacionados con el medio ambiente y los requisitos establecidos en la Norma ISO 14001.

La metodología empleada para la validez del instrumento tomó en cuenta dos criterios: forma y contenido. Posteriormente fue sometido a validación, tomando como referencia el Método Delphi, el cual consiste en una técnica de obtención de información, basada en la consulta a expertos de un área, con el fin de obtener la opinión de consenso más fiable del grupo consultado. Estos expertos fueron sometidos individualmente a una serie de cuestionarios en profundidad que se intercalan con retroalimentación de lo expresado por el grupo y que, partiendo de una exploración abierta, tras las sucesivas devoluciones, producen una opinión que representa al grupo. (Reguant & Torrado (2016).

Los expertos seleccionados presentan los aspectos a valorar previamente determinados por el investigador, a través de una tabla de Aspectos / Rangos de Valoración. (Hurtado 2012).

Con relación al coeficiente de competencia (K) los resultados con el número de expertos con coeficiente (K) se sugiere lo siguiente:

• Coeficiente 8 < k < 0.9 es excelente
• Coeficiente 5 < k < 0.8 es bueno
• Coeficiente k < 0.5 es deficiente

Para confiabilidad se procedió a hacer uso del software especializado Statistical Product and Service Solutions (SPSS) versión 21, el cual, a través del cálculo del coeficiente de alfa de Cronbach, se pudo estimar la fiabilidad de la consistencia interna del instrumento. La medida de la fiabilidad mediante el alfa de Cronbach asume que los ítems (medidos en escala tipo Likert) miden un mismo constructo y que están altamente correlacionados (Welch & Comer, 1988). Cuanto más cerca se encuentre el valor del alfa de Cronbach a 1 mayor es la consistencia interna de los ítems analizados. La fiabilidad de la escala debe obtenerse siempre con los datos de cada muestra para garantizar la medida fiable del constructo en la muestra concreta de investigación.

Como criterio general, George y Mallery (2003, p. 231) sugieren las recomendaciones siguientes para evaluar los coeficientes de alfa de Cronbach:

• Coeficiente alfa >.9 es excelente
• Coeficiente alfa >.8 es bueno
• Coeficiente alfa >.7 es aceptable
• Coeficiente alfa >.6 es cuestionable
• Coeficiente alfa >.5 es pobre
• Coeficiente alfa <.5 es inaceptable

Para el análisis del instrumento se tomó una muestra de diez (10) expertos, de los cuales el cien por ciento (100%) respondieron y diligenciaron el cuestionario bajo los dos criterios: forma y contenido, y se realizó una prueba piloto con una muestra poblacional.

Materiales y métodos.

Instrumento de investigación. El instrumento que se utilizará para el presente estudio será una encuesta elaborada ad hoc con veintidós (22) preguntas cerradas construidas con base a los criterios del medio ambiente y los requisitos de la Norma ISO 14001 (tabla 1). La calificación será realizada con una escala tipo Likert, con opciones de respuesta de 1 a 5 para determinar el cumplimiento en mayor o menor medida de cada uno de los aspectos relacionados con el sistema de gestión ambiental.

Tabla 1. Instrumento para el diseño de la metodología de autoevaluación del sistema de gestión ambiental

Fuente: elaboración propia (2018)

Validez del instrumento. Para el análisis del instrumento se tomó una muestra de diez (10) expertos, de los cuales el cien por ciento (100%) respondieron y diligenciaron el cuestionario bajo los dos criterios: forma y contenido. Así mismo, para el análisis del resultado de cada uno de los ítems, se analizaron los porcentajes de cada pregunta de acuerdo a lo definido en el Método Delphi, obteniendo los siguientes resultados que se resumen en la tabla 2 y figura 1.

 Tabla 2. Resultado final del instrumento en forma y contenido

Figura Porcentaje final del instrumento de forma y contenido

Por último, en la tabla 3, se presentan las recomendaciones de los expertos, los ítems más bajos de acuerdo al coeficiente de competencia (K), los cuales se tuvieron en cuenta para el diseño final del instrumento.

Tabla 3 Recomendaciones de los expertos

Confiabilidad del instrumento. Para obtener la fiabilidad del instrumento se realizó el análisis de los datos a partir de los criterios de forma y de contenido, luego se procedió a calcular el coeficiente de alfa de Cronbach. En la tabla 4 se presenta el resumen del proceso de los casos.

Tabla 4 Resumen del procesamiento de casos utilizado en el programa SPSS para el instrumento

Así mismo, en la tabla 5 se muestra que el coeficiente de alfa de Cronbach se encuentra en un noventa por ciento (90%), que según George y Mallery (2003, p. 231) el coeficiente es excelente.

Tabla 5 Coeficiente de alfa de Cronbach

De acuerdo con los resultados de la confiabilidad del instrumento, se procedió a realizar una prueba piloto, la cual se aplicó a (24) personas encargadas de coordinar el sistema de gestión ambiental. Para el análisis del instrumento se procedió de igual manera a medir la fiabilidad a partir de las respuestas obtenidas, tal como se muestra en la tabla 6 con el resumen del procesamiento de los casos utilizando el SPSS V. 21.

Tabla 6 Resumen del procesamiento de casos del instrumento

Seguidamente, en la tabla 7 se muestra el cálculo del coeficiente de alfa de Cronbach, haciendo uso del programa SPSS V. 21., obteniendo como resultado el ochenta y dos por ciento (82%), que según George y Mallery (2003, p. 231) el coeficiente es bueno.

Tabla 7 Coeficiente de alfa de Cronbach del instrumento

Resultados y Discusión. Para la construcción de la encuesta se tomaron, como punto de partida, las variables medio ambiente, metodología de autoevaluación y los requisitos de la Norma ISO 14001. La validez de este instrumento tipo encuesta permitió una mayor confiabilidad para la recolección de la información necesaria y determinar la correlación entre ellas, en función de cómo diseñar una metodología que permitirá autoevaluar el sistema de gestión ambiental bajo los requisitos de la norma ISO 14001. De esta manera, esta metodología será un modelo y herramienta de gestión para la organización y el cumplimiento de las metas institucionales.

Conclusiones. Los resultados producto de la aplicación de la metodología planteada para la validación y confiabilidad del instrumento de investigación permiten:

• Garantizar que el instrumento aplicado es un cuestionario que ha sido construido con su respectiva confiabilidad y validez para su aplicación.
• Realizar el respectivo análisis de correlacion para determinar las variables necesarias que formarán parte de la metodología de autoevaluación del sistema de gestión ambiental.
• Con los resultados obtenidos en esta validación diseñar una metodología de autoevaluación del sistema de gestión integral.

Referencias bibliográficas.

1. Alonso, E., Marlín, C., Durán, S., González, M. &Viera, J.(s.f.). El juicio de expertos [presentación power point]. Recuperado de https://es.slideshare.net/estheralfonzo100/juicio-de-expertos-9747991
2. Alshuwaikhat, H. m., & Abubakar, I. (2008). An integrated approach to achieving campus sustainability: assessment of the current campus environmental management practices. Journal of Cleaner Production.
3. Anastasi, A. (1982). Psychological testing. New York: McMillan Publishing
4. Barbosa, J. F. (2005). Planteamiento metodologico para autoevalución de las universidades.
5. Brito G., S. N. (2016). Sistema de Gestión Ambiental ISO 14001 y su relación con las normas de responsabilidad social ISO 26000 con respecto al compromiso que toma una empresa ante el medio ambiente. 
6. Duran. R., G, (2007). Empresa y medio ambiente. Políticas de gestión ambiental. Pág. 148
7. Franco V., L., & Ruiz, J. P. (2014). V Informe de Biodiversidad. Bogota: Ministerio de Ambiente y Desarrollo Sostenible.
8. Frederic Marimona, I. H. (Enero de 2009). ISO 9000 and ISO 14000 standards: A projection model. Total Quality Management, 20(1), 1-21.
9. Galindo, L. (2009). La evolución de la agenda ambiental una visión global. D - Instituto Nacional de Ecología, 8.
10. George, D., & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update (4thed.). Boston: Allyn & Bacon
11. Hernandez, H. A. (2012). Propuesta metodologica para el segumiento y evaluación de la gestión ambiental. Cali, Colombia.
12. Hernández, L. P. (2007). Desarrollo de una metodología para la valoración en el análisis del ciclo de vida aplicada a la gestión integral de residuos municipales.
13. Hurtado, S. (2012). Criterios de  expertos. Su procesamiento a trvés del Método Delphy. Recuperado de http://www.ub.edu/histodidactica/index.php?option=com_content&view=article&id=21:criterio-de-expertos-su-procesamiento-a-traves-del-metodo-delphy&catid=11&Itemid=103
14. Isaac, C., et al., (2008). Metodología para el diagnóstico ambiental de las Instituciones de la Educación Superior en Cuba. Memorias del Tercer Congreso Internacional por el desarrollo sostenible y el medio ambiente. Redesom. Colombia. P. 308.
15. ICONTEC. (2014). Norma Tecnica Colombiana NTC ISO 14001. Bogota: Instituto Colombiana de Normas Tecnicas.
16. Martínez, E. S. (2008). Metodología de diagnóstico para implementar un sistema de gestión ambiental ISO 14001 (Vol. 4). Acta Nova.
17. Merino, G. A., Ramos, G. D., & Domínguez, D. C. (2009). Gestión ambiental y conflicto social en América Latina. Buenos Aires: CLACSO.
18. Procuraduría Federal de protección al ambiente. (2014). Guía de auto evaluación ambiental. México. Obtenido de:   http://biblioteca.semarnat.gob.mx/janium/Documentos/Ciga/Libros2014/CD001814.pdf
19. Ramírez, A. V., & Durán, P. L. (2006). Política y gestión ambiental: características y lineamientos generales. Red Psicología y Ciencia Social, 10.
20. Reguant, M., Torrado, M. (2016). El Método Delphi. Revista de innovación y recerca educación - REIRE. Recuperado de http://revistes.ub.edu/index.php/REIRE/article/download/reire2016.9.1916/18093
21. Rivas, M. (2011) Modelo de sistema de gestión ambiental para formar universidades ambientalmente sostenibles en Colombia. Gestión y Ambiente, Vol. 14, Núm. 1
22. Tor, D. (2009). Sistema integrado gestión ambiental; seguridad y salud ocupacional. El Cid Editor. Obtenido de: http://bibliotecavirtual.unad.edu.co:2077/lib/unadsp/detail.action?docID=10317321
23. Toro Calderón, J., & Martínez Prada, R. (2013). Métodos de Evaluación de Impacto Ambiental en Colombia. Revista De Investigación Agraria Y Ambiental, 4(2), 43-53. doi:http://dx.doi.org/10.22490/21456453.990
24. UNAD. (2016). Sistema Integrado Gestión . Obtenido de https://sig.unad.edu.co/gestion-ambiental
25. Walss Aurioles, R. (2011). Guía práctica para la gestión ambiental. México: McGraw-Hill Interamericana
26. Welch y Comer (1988). Coeficiente de Alpha de Cronbach. Recuperado de
27. http://www.uv.es/~friasnav/AlfaCronbach.pdf.