buscar
     

Artículos Originales


UTILIDAD DE LAS CURVAS DE SENSIBILIDAD Y ESPECIFICIDAD CONJUNTA EN LA APLICACIÓN DE UNA PRUEBA DE DIAGNÓSTICO

Salud Pública Méx 1994; Vol. 36(3):311-317

Indice

Autores


ARTURO FAJARDO-GUTIÉRREZ, M. C., M. EN C.,(1) LIRIA YAMAMOTO-KIMURA, M. C., M. S. P., (2) LUCÍA YÁÑEZ-VELASCO, M. C., M.. EN C., (3) JUAN GARDUÑO-ESPINOZA, M. C., M. EN C., (1) MA. CARMEN MARTÍNEZ-GARCÍA, M. C., M. EN C. (1)

(1) Departamento de Epidemiología Clínica, Unidad de Investigación Clínica en Enfermedades Infecciosas y Parasitarias, Instituto Mexicano del Seguro Social. Hospital de Pediatría del Centro Médico Nacional.
(2) Departamento de Epidemiología y Comunidad, Facultad de Medicina, Universidad Nacional Autónoma de México.
(3) Centro de Investigaciones sobre Enfermedades Infecciosas, Instituto Nacional de Salud Pública, México.

Resumen

El propósito de esta investigación fue obtener el punto de corte para establecer seronegatividad de un individuo en relación al sarampión, cuando se utiliza la prueba de ELISA, usando reactivos comerciales. Para obtener la sensibilidad de la prueba se emplearon los sueros de 22 individuos mayores de 21 años, que hubieran padecido sarampión y que no hubieran sido vacunados; a este grupo se le denominó control positivo. Para la especificidad se ocuparon los sueros de 22 niños entre 15 y 24 meses de edad, sin antecedentes de vacunación contra el sarampión, ni de haberlo padecido, ni de haber tenido contacto con alguna persona con sarampión en la etapa previa a la realización del estudio; a este segundo grupo se le denominó control negativo. A ambos se les determinaron ,sus títulos de anticuerpos con la técnica de ELISA y posteriormente con el método de Brunell; también se construyó una curva de sensibilidad y especificidad conjunta (CSEC), que contó con valores diferentes de corte, para encontrar el mejor punto de corte e identificar a los individuos seropositivos y seronegativos al sarampión. Se aplicó el método recomendado por Brunell, encontrándose el punto de corte en 0.4090 y 0.5042, si se agregaban al promedio de los valores del grupo control negativo dos y tres desviaciones estándar respectivamente. Se tenía en el primer grupo una sensibilidad de 1.0 y una especificidad de 0.95. En el segundo se tuvo una sensibilidad de 0.95 y una especificidad de 1.0. Al elaborar la CSEC el punto de corte estuvo en 0.4500, el cual tuvo una sensibilidad y especificidad del 1.0. El mejor método es construir una CSEC para obtener el punto de corte, porque nunca se establecen valores arbitrarios en la distribución de los datos, ni se sigue una curva de distribución normal estadísticamente, lo que impide se sobrestime o subestime la prevalencia de seronegativos al sarampión en una población.

Palabras clave: inmunidad al sarampión, prueba de ELISA, sensibilidad, especificidad, curvas ROC.

Abstract

The aim of this study was to obtain the cut point to determine an individual's seronegativity with respect to tneasles using commercial reagents. To determine the test sensitiviiy, the serum of 22 individuals 21 years of age or older, and a positive history of measles (positive control group), was studied. For specificity, the serum of 22 children 15 to 24 months old, and no measles vaccination record nor positive history of measles (negative control group), was analyzed. The antibodies titer determination for both groups was done using the ELISA technique and the Brunell method, subsequently, as well as a ROC cuwe (Received Operating Cuwe). When the Brunell method was used, the cut points were 0.4090 (sensitivity 1.0 and specificity 0.95) and 0.5042 (sensitivity 0.95 and specificity 1.0). When a ROC cuwe was done the cut point was 0.4500, with a sensitivity and specijicity of 100 per cent. It was also concluded that the latter is the best rnethod to obtain this cut point, because it does not establish arbitrary values when the data distribution does not follow a normal pattern.

Key words: ELISA, ROC curves, measles, sensitivity, specificity

Solicitud de sobretiros: Dr. Arturo Fajardo Gutiérrez. Hospital de Pediatría, Centro Médico Nacional Siglo XXI. Av. Cuauhtémoc 330, colonia Doctores, 06725 México. D.F.

Introducción

LA FRECUENCIA DEL sarampión disminuyó notablemente desde el uso generalizado de la vacuna antisarampionosa. A pesar de ello existen individuos susceptibles a la enfermedad por diferentes motivos, que pueden ser ocasionados por problemas en el transporte y empleo de la vacuna, así como por aplicarla a una edad inadecuada o porque no fueron vacunado.1-3

Para detectar si un individuo es susceptible de padecer sarampión, independientemente de que haya sido vacunado, es conveniente conocer su estado inmunológico, razón por la cual es necesario realizar pruebas serológicas que indiquen si está protegido o no. Generalmente la prueba de inhibición de la hemaglutinación (IH) se considera como la prueba de elección para diagnosticar infección o inmunidad.

Sin embargo, se sabe que la validez de la IH para detectar anticuerpos antisararnpión puede alterarse si el suero de los pacientes no recibe un pretratarniento para eliminar inhibidores no específicos y aglutininas.4 Además es laborioso hacer una cuantificación del titulo de anticuerpos cuando se utiliza IH, debido a que es necesario realizar la dilución senada de los sueros, requiriendo mucho tiempo para su estudio.

La prueba de ELISA descrita por Voller y Bidwell mostró ser una prueba sencilla de practicar, serológicamente sensible y específica para una gran variedad de agentes infecciosos. Se comprobó que es válida para la detección y cuantificación de anticuerpos contra sarampión y presenta ventajas sobre otras pruebas tales como: IH, fijación de complemento, inmunofluorescencia, neutralización viral y radioinmunoensayo.5,6

La utilización de la prueba de ELISA para conocer el estado inmunológico de un individuo, generalmente se efectúa con reactivos de tipo comercial que, en su gran mayoría, se producen en el extranjero. Por ello el punto de corte que recomiendan para considerar a un paciente como seropositivo o seronegativo, se obtiene de poblaciones con diferentes características socioambientales con respecto a la población donde se aplicará la prueba.

En un estudio previo, el cual se realizó con el propósito de conocer la susceptibilidad al sarampión en la población adolescente del Distrito Federal, se utilizó la prueba de ELISA y se compraron reactivos comerciales. Por esta razón se consideró conveniente estandarizar la prueba, para obtener un punto de corte que permitiera estimar a los individuos como seropositivos o seronegativos. La finalidad del presente estudio es señalar cómo se obtuvo el punto de corte.

Material y Métodos

Las pruebas de ELISA para determinar los anticuerpos antisarampión se realizaron en placas de microtitulación Enzygnost Measles Test Plate de Behring, siguiendo las indicaciones del fabricante (Enzignost Measles; folleto 271, Behring, 1987). Se hizo lo siguiente: a) se diluyeron los sueros problema (1:25) con solución de buffer; posteriormente ésta se colocó en pozos que contenían 0.15 ml de la misma; al final quedó una dilución del suero de 1: 100; b) las placas se incubaron durante una hora a 37°C; posteriormente se succionaron los sueros y las placas se lavaron en dos ocasiones con 0.2 ml de solución de lavado; c) se añadió 0.05 ml de conjugado a cada pozo y se incubó una hora a 37°C; d) nuevamente se lavaron y se agregó 0.1 ml de sustrato a cada pozo y se incubaron durante 30 minutos a 37°C; e) la reacción fue detenida porque se agregó 0.05 ml de Na OH 2N; f) el resultado se obtuvo mediante un espectofotómetro (ELISA "reader") utilizando una longitud de onda de 405 nm (nanómetros). El valor final de absorbancia para cada suero problema, se determinó al restar el valor del pozo control al del pozo con antígeno (ΔA). 7,8

Para la estandarización de la técnica de ELISA se siguió la metodología recomendada por Brunell,9 con la finalidad de obtener un punto de corte para catalogar a los individuos como seropositivos (no susceptibilidad al sarampión) y seronegativos (susceptibilidad al sarampión). Para esto se empleó la sensibilidad y especificidad de la prueba, que se conocieron utilizando dos grupos de individuos que se denominaron control positivo y negativo, respetivamente.2,9,10

Los criterios de selección para el grupo control positivo, con el que se determinó la sensibilidad de la prueba, fueron: a) tener 21 años o más; b) haber padecido sarampión; y, c) no haber sido vacunados contra esta enfermedad. El objetivo fue contar con un grupo de individuos que por sus características personales tuvieran una alta probabilidad de ser inmunes a la enfermedad, básicamente por haberla padecido.

Se investigaron todos los criterios mencionados, pero el que se consideró prioritario para seleccionar a este grupo fue la edad, porque es el que mejor indica el estado inmunológico de un individuo,11 ya que los otros están sujetos a sesgos de memoria. De esta manera, los individuos seleccionados más jóvenes (edad mínima 21 años), tenían 15 años en 1973, año en el que se inicia la vacunación contra sarampión en población abierta en nuestro país, lo que los ubica con una mayor probabiIidad de haber padecido la enfermedad. Las personas escogidas fueron maestros de escuelas secundarias del Distrito Federal, que cumplieron los criterios señalados, obteniéndose un total de 22 individuos.

El grupo control negativo con el cual se estableció la especificidad de la prueba, fue un grupo difícil de conseguir porque se necesitaban niños que tuvieran una alta probabilidad de no tener anticuerpos antisarampión. Los criterios de selección para este grupo fueron rígidos: a) deberían tener una edad comprendida entre 15 y 24 meses; b) no tener antecedentes de vacunación contra sarampión; y, c) carecer de antecedentes de haber padecido sarampión, y que no hubieran tenido contacto con álguna persona con sarampión en la etapa previa a la realización del estudio. Este grupo se conformó durante los meses de octubre a diciembre en tres centros de salud de la Secretaria de Salud (SSA) , a donde acudieron en compañía de sus madres para recibir la vacuna antisarampionosa.

La selección se realizó de la siguiente forma: a las madres que llevaban a sus hijos a vacunar, antes de la aplicación de la misma, se les interrogó sobre los antecedentes de sus hijos y se solicitaba su cartilla de vacunación. Se seleccionaban los qu? cumplían con los criterios mencionados y, previa aceptación de la madre, se les extraían 2 ml de sangre de las venas superficiales de los brazos y posteriormente se les aplicaba la vacuna. Se evaluó un total de 22 niños.

De acuerdo con Brunell y colaboradores, para mejorar la especificidad de la prueba se recomienda agregar al promedio del control negativo dos o tres desviaciones estándar, para incluir en teoría al 95 o 99 por ciento de la población seronegativa, respectivamente.9

Con los valores obtenidos de ambos grupos se calculó la sensibilidad y la especificidad de la prueba a diferentes niveles de corte, con los cuales se construyó una curva (curvas ROC o "receiver operating characteristic curves") para obtener el valor de corte "ideal"; es decir, el valor donde se encontraba la mayor sensibilidad y especificidad.12 El "estándar de oro" fue el grupo control positivo para los casos, y el grupo control negativo para los no casos.

Resultados

En el grupo control positivo se tuvieron los siguientes resultados: media = 0.8959; desviación estándar (DE)= 0.3330; amplitud= 0.4500 - 2.000 (cuadro I).


En el grupo control negativo los resultados fueron los siguientes: x = 0.1313; DE= 0.1243; amplitud= 0.000 - 0.409 (cuadro I).

Siguiendo las recomendaciones de Brunell, el punto de corte se obtuvo de la siguiente manera: + 3 DE (0.13 13 + 0.3729) = 0.5042

Este resultado, que en teoría incluye al 99 por ciento de la población del grupo control negativo, toma un valor del grupo control positivo como negativo (falso negativo); en este nivel de corte la sensibilidad y especificidad de la prueba es de 95 y 100 por ciento, respectivamente.

Por otra parte, al agregar dos desviaciones estándar se tienen los siguientes resultados:

- 2 DE (0.1313 + 0.2886) = 0.3799

Este nuevo resultado, que en teoría comprendió al 95 por ciento de la población del grupo control negativo, tiene un valor del grupo control negativo (0.409) como positivo (falso positivo). En ese punto de corte la sensibilidad y especificidad es de 100 y 95 por ciento, respectivamente.

Al tomar diferentes puntos de corte para calcular la sensibilidad y especificidad de los mismos y construir una curva para estos dos (curva ROC), se observó que el punto de corte "ideal" se presenta en 0.45, ya que a ese nivel la sensibilidad y especificidad identificadas fueron del 100 por ciento (cuadro II, figura 1).


Discusión

Para obtener los índices de diagnóstico derivados de poblaciones con características socioambientales diferentes a las de la población en que se aplicaría, se emplearon diversas pruebas para el diagnóstico, en las que frecuentemente se usaron reactivos comerciales. Antes de utilizarlos en una población diferente y diagnosticar en los individuos su estado de salud o enfermedad, a partir de su seropositividad o seronegatividad, es necesario que se prueben en la población en la cual se realizará el estudio.9

El objetivo fundamental de esta investigación es el obtener el punto de corte "ideal", que permita diferenciar claramente los seropositivos de los seronegativos en la población de estudio, para no subestimar o sobrestimar la frecuencia de la enfermedad que se estudia. De ahí que la metodología que recomienda Brunell para obtener el mejor punto de corte en la estimación de la frecuencia de seroneg ativos al sarampión, cuando se utiliza la prueba de ELISA, debe tener como finalidad el mejorar la especificidad de la misma, ya que una especificidad baja puede subestimar la prevalencia de susceptibles.9

Lo anterior se observó en el estudio realizado, ya que al tomar como punto de corte el valor promedio del grupo control negativo, el cual fue de 0.13 13, se obtuvo una sensibilidad y especificidad del 100 y 45 por ciento, respectivamente. Al seguir las recomendaciones de Brunell, de agregar dos o tres desviaciones estándar, la especificidad de la prueba se incrementó al 95 y 100 por ciento, respectivamente.

Un problema que se presentó al utilizar este método es que cuando se añaden sólo dos desviaciones estándar, se tiene un valor del control negativo como positivo (falso positivo) y sucede lo contrario cuando se añaden tres desviaciones estándar (falso negativo). Es decir, que al seguir las indicaciones de Brunell se subestima o sobrestima la población de susceptibles.

Por otra parte, el método recomendado por Bninell no es la mejor forma de identificar la variabilidad de los datos cuando éstos no siguen una distribución normal, como es la situación de los que se obtuvieron en este estudio. Una forma de "normalizar" los datos es transformarlos a sus logaritmos o calcular sus percentiles. De ahí que cuando los valores absolutos se transformaron en sus logaritmos se obtuvo el punto de corte 0.4295, y cuando se calculó el percentil en 97.5, el valor encontrado fue 0.4090. Como puede observarse, se obtuvieron casi los mismos valores que cuando se siguió la metodología anterior; sin embargo el procedimiento estadístico de estos dos últimos métodos es el más adecuado.

El método para construir una curva de sensibilidad y especificidad conjunta proporciona algunas ventajas, al eliminar la elección de un punto de corte basado en criterios rígidos, ya que es un método con el que pueden evaluarse diferentes puntos de corte y utilizar aquél que sea el mejor, tanto en la sensibilidad como en la especificidad. El utilizar este método en esta investigación permitió diferenciar claramente al grupo seropositivo del seronegativo (0.450).

Uno de los principales problemas para obtener la validez de una prueba y poder calcular tanto su sensibilidad como su especificidad, es el establecimiento de un "estándar de oro" adecuado. En este caso se tomó a los grupos control positivo (adultos) y negativo (niños) como estándares para los casos (seropositivos) y los controles (seronegativos), respectivamente. Un problema derivado de elegir a este último grupo es el de subestimar o sobrestimar la prevalencia de susceptibles. Por esta razón es imposible afirmar que se haya encontrado el valor de corte "ideal", ya que es difícil estar completamente seguros de que los pacientes de este gruponuncapadecieron sarampión, dado que pudieron tenerlo en forma subclínica; sin embargo es un riesgo conocido y mencionado por diferentes autores.9, 10

En el estudio realizado, no obstante que se siguió la metodologíarecomendadapor Brunell y colaboradores9 se encontró un punto de corte para indicar seronegatividad al sarampión, mayor al señalado en otros estudios donde se empleó la prueba de ELISA.2,10 Así, después de agregar tres desviaciones estándar al promedio encontrado de absorbancia en el grupo control negativo, Brunell obtiene un punto de corte para señalar seronegatividad de 0.07, valor que es muy inferior al que se encontró en esta investigación.

Se considera que esta diferencia obedece principalmente a la forma en que se desarrolló la prueba de ELISA en los diferentes estudios y por lo tanto es de esperar que los resultados no sean los mismos. Esto se corrobora al revisar los valores del control positivo, en donde también se obtuvieron distintos valores. Puede notarse que el valor promedio del control positivo de Brunell, así como su dispersión es muy bajo en comparación con el valor promedio de nuestro grupo control positivo. Esto, además de que los datos de Brunell tienen una mayor variabilidad, explica indirectamente el hecho de que los puntos de corte de los grupos control negativo sean tan diferentes (cuadro III).



Por otra parte, aunque ideal, es muy difícil encontrar un punto de corte que divida muy claramente a dos poblaciones (seropositivos y seronegativos), aspecto que en este estudio se logró; sin embargo, se desconoce qué pasaría con un grupo control diferente como "estándar ideal". El fabricante recomienda utilizar un punto de corte entre 0.2 y 0.4 para indicar seropositividad o seronegatividad, lo que es consistente con el hecho de que el punto encontrado en esta investigación fue 0.450. Esto permite estar relativamente seguros de que al decidir tomar éste como el punto de corte, no se sobrestimará a la población de susceptibles.

El emplear la metodología señalada y haber encontrado un punto de corte diferente al descrito en la literatura, pero parecido al que el fabricante indica, muestra que al aplicar la prueba en la población de estudio se estará estimando la prevalencia real de seronegativos, aspecto que no se hubiera tenido al desconocer cómo se comportaría la prueba en la población a estudiar.

La prueba de ELISA demostró, en otros estudios, tener ia misma validez que la de neutralización, pero tiene la ventaja de que es más sencilla y se emplea menos tiempo en su realización. Se puede proponer para ensayos en los que se maneja un gran volumen de muestras, como en las investigaciones epidemiológicas, así como en la evaluación inmunológica en campañas de vacunación.6,13

Se recomienda que los valores de corte propuestos en los equipos comerciales de diagnóstico sean aceptados con reserva, y de ser posible se realice la determinación el punto de corte para la población en la cual se realizará el estudio. La utilización de curvas de sensibilidad y especificidad conjuntas puede contribuir a la identificación del punto de corte idóneo en la población que se quiera estudiar y es un método superior al basado en la distribución normal.

Referencias

1. Fernández de Castro J. El sarampión en México En Simposio Internacional sobre Inmunizaciones contra Sarampión Organización Panamericana de la Salud, 7 1985 21-26 Publicación Científica 477.
2. Murphy MD, Brunell PA, Lievenes AW et al. Effect of early immunization on antibody response to reimmuniza- 8 tion with measles vaccie as demonstrated by enzyme- Iinked immunosorbent assay (ELISA) Pediatrics 1984;74:90-93.
3. Ruíz Gómez J, Bustamante Calvillo ME Seroepidemología del sarampión, rubéola y parotiditis en la República Mexicana. Salud Publica Mex 1978;20.19-27.
4. Clayton-Hopkins JA, Docuphinats RM Análisis por enzimas filadas inmunoabsorbentes. En. Rose NR, Freedman H, ed. El laboratorio en inmunología clínica 2a 11. edición. Buenos Aires: Panamericana, 1982:414-426.
5. Lievenes AW, Brunell PA Specific immunoglobulii M enzim-linked immunosorbent assay for confirming the 12 diagnosis of measles. J Clin Microbiol 1986;24 391-394.
6. Kleiman MB, Blackbum CKL, Zimmerman SE et al. Companson of enzyme-linked immunosorbent assay for 13. acute measles with hemmaglutination inhibition, complement fixation, and fluorescent antibody methods J Clin Microbiol 1981,14.147-152.
7. Rice GPA, Casa11 P, Oldstone MBA. A new solid-phase enzyme-linked immunosorbent assay for specific antibodies to measles virus J Infect Dis 1983,147 1055-1059.
8. Boteler WL, Luipersbeck PM, Fuccido DA et al. Enzyme- linkedimmunosorbent assay for detection of measles antibody J Clin Microbiol 1983,s 814-818.
9. Brunell PA, Wigle K, Murphy MD et al. Antibody response following measles-mumps-rubella vaccine under conditions of customary use JAMA 1983,250: 1409- 14 12.
10. Gustafson TL, Lievens AW, Brunell PA et al. Measles outbreak in a fully immunized secondary-school population N Engl J Med 1987;316.771-774.
11. Kim M, LaPonte J, Liu FJG. Epidemiology of measles irnmunity in population of health care workers. Infect Control Hosp Epidemiol 1992; 13:399-402.
12. Fletcher RH, Fletcher SW, Wagner EH. Diagnostic test. Clinicai epidemology. Baitimore. Williams and Willuns, 1982; Cap 3:41-58.
13. Weigle KA, Murphy MD, Brunell PA. Enzyme-linked immunosorbent assay for evaluation of immunity to measles virus. J Clin Microbiol 1984:19:376-379.

Descargar artículoDescargar artículo en PDF

Descargar artículo

 

Instituto Nacional de Salud Pública
Av. Universidad 655
Col. Santa María Ahuacatitlán
62508 Cuernavaca, Morelos, México

Salud Pública de México es una publicación periódica electrónica, bimestral, publicada por el Instituto Nacional de Salud Pública (INSP), con domicilio en Avenida Universidad núm. 655, col. Santa María Ahuacatitlán, Cuernavaca, Morelos, C.P. 62100, teléfono 3293000, página web: www.insp.mx, ISSN: 1606-7916, Reserva de Derechos al Uso Exclusivo con número: 04-2012-071614550600-203. Ambos otorgados por el Instituto Nacional del Derecho de Autor. Editor responsable: Carlos Oropeza Abúndez. Responsable de la versión electrónica: Subdirección de Comunicación Científica y Publicaciones, Avenida Universidad núm. 655, Planta Baja, col. Santa María Ahuacatitlán, Cuernavaca, Morelos, C.P. 62100, teléfono 3293000. Fecha de última modificación, 01 de julio de 2014. D.R. © Instituto Nacional de Salud Pública.