Medir y decidir en seguridad alimentaria. Incertidumbre, z-score y adecuación al uso previsto

Iñaki Eguileor
ISTEN CONSULT

Resumen: La obtención de medidas fiables en el sector agroalimentario y su empleo correcto por las partes interesadas presenta una dificultad destacable por la variedad de matrices, parámetros y niveles a tratar así como de ámbitos de aplicación de estas medidas.

En este contexto los ejercicios de intercomparación resultan una excelente herramienta para conocer la calidad de las medidas aportadas por los laboratorios y su adecuación al uso previsto de las mismas.

En este trabajo se presenta una revisión de aspectos relevantes de los ejercicios de intercomparación en su aplicación al sector agroalimentario analizando algunas carencias y dificultades existentes y planteando puntos de interés y mejora para su aplicación eficiente en la toma de decisiones.

Palabras clave: seguridad alimentaria, z-score

Abstract: Obtaining reliable measures in the agri-food sector and its correct use by the interested parties presents a remarkable difficulty due to the variety of matrices, parameters and levels to deal with as well as the areas of application of these measures.

In this context, the intercomparison exercises are an excellent tool to know the quality of the measures provided by the laboratories and their fitness for the purpose.

This paper presents a review of relevant aspects of the intercomparison exercises in their application to the agri-food sector, analyzing some existing deficiencies and difficulties and proposing points of improvement for their efficient application in decision-making.

Keywords: food safety, z-score

1.Introducción

La seguridad alimentaria es un ámbito complejo que requiere de información para la toma de decisiones en todos los aspectos relacionados con la cadena alimentaria desde la producción hasta el consumo. Esto supone que deben realizarse medidas sobre los elementos de producción primaria (piensos, fertilizantes, …), las correctas prácticas agrícolas y ganaderas (sanidad animal y vegetal, medicamentos, plaguicidas,…), el origen y calidad de las materias primas e ingredientes, su transformación, elaboración, distribución, (materiales en contacto, conservación, …) hasta llegar al consumidor.

En este punto final de la cadena alimentaria el consumidor debe disponer de la información necesaria para garantizar una decisión correcta en la selección de los alimentos conforme con sus deseos, cumpliendo con los requisitos básicos de atender sus necesidades nutricionales y aportar seguridad suficiente acorde con su situación individual por edad, estado de salud, susceptibilidad, etc.

En este universo de matrices y analitos se aplican muy diversos métodos de ensayo (físicos, químicos, microbiológicos, biológicos, moleculares, sensoriales, etc.) siendo un reto importante asegurar la comparabilidad de los resultados emitidos por diferentes laboratorios y distintos métodos garantizando su “adecuación al uso previsto”.

La complejidad de las posibles combinaciones matriz/analito/concentración hace que la evaluación frente a un valor asignado por consenso sea la metodología habitual de los ejercicios de intercomparación de laboratorios disponibles.

Es en este contexto donde se hace esta revisión sobre la utilidad que tienen los ejercicios de intercomparación en la evaluación de la calidad de los resultados que ofrecen los laboratorios.

En concreto se presenta el ejemplo del uso correcto de z-score (alejamiento del valor medio en desviaciones estandar), con criterio objetivo adecuado al uso previsto, como un método sencillo y claro de comprobar que las incertidumbres de los resultados obtenidos por los diferentes laboratorios, empleando sus métodos habituales, aportan valor a la toma de decisiones contribuyendo a la fiabilidad de nuestro sistema alimentario y con ello a la salud pública y protección de los consumidores.

2. Desarrollo / descripción

La acreditación frente a una norma internacional de competencia técnica y la participación en ensayos de aptitud (PTs) fueron establecidas en 1993 por la Directiva 93/99/CEE [1] como requisitos para los laboratorios que participan en el sistema de control oficial de alimentos.

Este marco regulador inicial de la Unión Europea se ha complementado con Directivas, Reglamentos o Guías, y en el ámbito internacional mediante Codex, donde se recogen requisitos/objetivos de calidad que deben cumplir los métodos de análisis para asegurar que son “adecuados al uso previsto” al aplicarse en los diferentes ámbitos del control oficial (plaguicidas, medicamentos veterinarios, contaminantes, etc.).

En definitiva se ha pasado de confiar en la aplicación de los métodos oficiales, o métodos descritos en norma, como únicos recursos para obtener información fiable a centrarse en el resultado definiendo la calidad del método de ensayo que debe aplicarse. Con esto se dispone de los requisitos que permiten realizar su validación y evaluar la capacidad del laboratorio para obtener medidas fiables adecuadas para la toma de decisiones.

En los últimos 15 años la exigencia a los laboratorios de su acreditación frente a la Norma UNE-EN ISO/IEC 17025 [2] se ha ido extendiendo a diferentes ámbitos del sector agroalimentario incluyendo no solo aspectos de seguridad sino también de calidad alimentaria.

Igualmente las entidades de certificación y de inspección acreditadas en el sector agroalimentario se han convertido en unos actores importantes en el establecimiento de requisitos que deben de cumplir los métodos de ensayo aplicados por los laboratorios para asegurar que cumplen sus necesidades.

Por ello resulta imprescindible disponer de un mecanismo de evaluación independiente que permita transmitir al propio laboratorio y a las partes interesadas (clientes, entidades de acreditación, auditores, administración competente, etc.) una medida de la fiabilidad de las medidas en relación con su uso previsto.

La participación de laboratorios en ejercicios de intercomparación (EI) con carácter voluntario ha sido una práctica habitual durante décadas antes de que se estableciera como requisito reglamentario en el ámbito del control oficial o para acreditarse frente a la norma UNE-EN ISO/IEC 17025. La nueva revisión de la Norma establece la diferencia entre los ensayos de aptitud y otras intercomparaciones siendo los ensayos de aptitud el objeto del presente trabajo y a los que se hace referencia de forma exclusiva al indicar EI.

En los primeros años del nuevo siglo los proveedores de EI mantenían unas pautas de actuación muy variables. No solo una mayoría de evaluaciones seguían siendo descriptivas sino que aspectos básicos como la sistemática de evaluación de homogeneidad y estabilidad de los materiales o la determinación de los Valores Asignados (VA) eran muy diferentes. Así, en los procesos de acreditación se ponía en evidencia que la aplicación práctica presentaba numerosas carencias que afectaban a su eficacia e indirectamente a la evaluación de ese apartado en el cumplimiento de la Norma UNE-EN ISO/IEC 17025.

Una revisión realizada en 2004 sobre 23 proveedores de ejercicios de intercomparación en el ámbito agroalimentario [3] ofrecía una situación con numerosos incumplimientos de lo que entonces era el borrador de la revisión del Protocolo Armonizado de IUPAC sometido a debate público [4]. Ej.: falta de declaración sobre realización de pruebas de homogeneidad e incluso de descripción de las muestras remitidas, admisión de más de un resultado por laboratorio sin excluirlos del cálculo del valor asignado, uso de la media aritmética para determinar el valor asignado sin evidencia de estudios para comprobar que la media fuera un estimador adecuado de tendencia central, evaluaciones “descriptivas”, gráficos con valores desordenados, escalas inapropiadas, etc.

El comienzo, a partir de 2002, de procesos de acreditación de proveedores de ejercicios de intercomparación, inicialmente frente a la Norma UNE 66543-1 y la Guía ILAC-G13 y posteriormente, frente a la Norma UNE-EN ISO/IEC 17043:2010 [5] creó una situación anacrónica en la que proveedores acreditados competían con no acreditados pero los laboratorios, sus clientes, carecían de criterios y procesos para su evaluación y selección.

En este contexto era necesario destacar el valor que aportaba a los laboratorios la participación en EI acreditados. Debe tenerse en cuenta que, a diferencia de la selección de laboratorios de calibración, exigir que los laboratorios solo participen en ejercicios de intercomparación acreditados no era posible ni probablemente lo sea nunca. El motivo es que aplicar el requisito de acreditación con carácter general excluiría numerosas áreas de ensayo con combinaciones matriz/analito que son solamente ofrecidas por un reducido número de laboratorios donde los EI, en muchos casos, se ofrecen de forma voluntaria y que nunca podrían abordar los costes que supondría su acreditación.

Por ello se hacia necesario disponer de un documento útil para la evaluación y selección de proveedores recordando que la participación en EI de proveedores acreditados evitaba una parte significativa de los esfuerzos de evaluación.

La actualización del Protocolo IUPAC en 2006 se convirtió en una herramienta eficaz reflejada en normas y adoptada por las entidades de acreditación. De hecho, tras la publicación del Protocolo se ha podido observar una mejora sustancial en la calidad de los EI e, incluso, muchas de sus recomendaciones se aplican fuera del ámbito químico para el que fueron establecidas.

Además del uso del Protocolo IUPAC para la evaluación de los proveedores de EI, en 2008 ENAC publicó su Guía 14 [6] incorporando los criterios IUPAC para ayudar a los laboratorios en la evaluación y selección de EI, además de aportar pautas de actuación ante los resultados. Su principal contribución fue establecer la importancia y necesidad de hacer evaluación del rendimiento objetiva frente a la descriptiva empleada históricamente.

Esta Guía, que se aplica también a laboratorios de calibración, ha tenido un mayor impacto en los laboratorios de ensayo agroalimentarios ya que una mayoría de los EI realiza la asignación del valor de referencia mediante consenso. Curiosamente el hecho de incluir en la Guía la referencia lógica al número En, de uso en calibración, ha llevado a los laboratorios de ensayo, y en algunos casos a proveedores de EI, a interpretar erróneamente que para evaluar el rendimiento son equivalentes En y z-score y, por tanto, que el número En o Índice de Compatibilidad es de aplicación y aporta eficacia en ejercicios donde el VA se obtiene por consenso.

La acreditación frente a la Norma UNE-EN ISO/IEC 17025 y, especialmente, la aplicación de la Política de ENAC sobre Intercomparaciones descrita en la NT 03 [7] ha eliminado la tradicional evaluación descriptiva. Actualmente se requiere a los laboratorios la participación en EI donde se evalúe su rendimiento empleando su método de ensayo habitual, independientemente de su jerarquía legal o científica, mediante criterios objetivos que permitan demostrar que sus resultados son “adecuados al uso previsto”.

Si estudiamos los 3 aspectos fundamentales de una intercomparación por consenso:

• Muestra homogénea y estable
• Valor de referencia/ Valor Asignado
• Evaluación del rendimiento/desempeño expresado con un valor numérico

La disponibilidad de criterios de evaluación objetivos ha permitido una mejora sustancial en los dos primeros aspectos gracias a la aplicación de la sistemática implícita en el concepto de “homogeneidad suficiente” [8] de la muestra y el uso de estadística robusta contrastada junto con detección y tratamiento de la bi y multimodalidad en la determinación del valor asignado.

Los laboratorios que operan en el sector agroalimentario disponen de una amplia oferta de proveedores de EI acreditados frente a la Norma UNE-EN ISO/IEC 17043 que proporcionan información sobre la calidad real de los resultados que emiten los laboratorios y el valor que aportan a sus clientes al permitirles tomar decisiones adecuadas.

Sin embargo la revisión de informes emitidos por los proveedores de EI plantea diversos ámbitos que requieren mejora y no todos se corresponden con la complejidad de matrices/analitos y niveles en que se opera.

3. Resultados y discusión

Se presentan los puntos de mejora de los EI que pueden realizarse en los tres aspectos básicos señalados.

3.1 Muestra homogénea y estable

Los estudios de homogeneidad y estabilidad (H/E) son, sin duda, el aspecto más costoso de un EI por requerir la realización de ensayos y el consumo de muestras listas para su empleo.

En este sentido se detecta una tendencia a la realización de ensayos sobre un número de muestras sensiblemente inferior al considerado “mínimo” para poder estudiar la homogeneidad suficiente de las muestras empleadas en un EI. Igualmente ha aumentado la realización de estos estudios de H/E sobre una parte y no la totalidad de los parámetros incluidos en un EI.

Estas pautas de actuación podrían estar justificadas cuando se emplean siempre matrices iguales sobre las que el proveedor puede mostrar evidencias de una experiencia contrastada con matrices/parámetros/niveles que justifiquen el uso de técnicas habituales de control de calidad en su producción. Sin embargo, se observan algunos casos en que esta simplificación en el estudio de H/E se aplica a casos en que se detectan problemas de dispersión elevada, y por tanto incertidumbre significativa del VA, en parámetros para los que no se ha realizado una evaluación de H/E. Es decir que el proveedor carece de evidencias de que esta sobredispersión no está provocada por aportar una muestra inapropiada.

Igualmente se detectan casos de reducida transparencia por parte de los proveedores que en los informes incluyen frases del tipo “de acuerdo con su experiencia” para evitar referencias concretas al tipo de estudio de H/E que aplica y que, incluso, ante la solicitud de información sobre los resultados obtenidos se limitan a aportar valores medios obtenidos en el estudio de H/E sin señalar el número de muestras que han sido evaluadas.

3.2 Valor de referencia / Valor Asignado

La aplicación de una estadística robusta y la capacidad de detectar y tratar distribuciones de resultados que se alejen de la normalidad son aspectos importantes en la determinación del VA.

La mayoría de los proveedores aplican estadística robusta descrita en norma y suficientemente contrastada. Sin embargo, en algunos informes se observan resultados de laboratorios que obtienen │z-score│<2 a pesar de lo cual se identifican como excluidos del cálculo estadístico para obtener el VA por consenso. Esta exclusión de resultados, que finalmente se consideran satisfactorios, además de peculiar parece contradictoria con la declaración del proveedor de que aplica una estadística “robusta” para determinar el VA.

En el caso de la evaluación de la presencia de distribuciones bi o multimodales e identificación correcta de la moda se ha introducido el empleo de densidades kernel o métodos más sofisticados. Sin embargo se observan algunos casos en los que no hay evidencias de que la aplicación de estas técnicas sea acorde con el empleo de un criterio de desviación estándar diana acorde al uso previsto.

3.3 Evaluación del rendimiento

El uso de z-score con el empleo de una Desviación Estándar Diana acorde con el uso previsto (DED_FFP) es, sin duda, el sistema más eficaz para la realizar la evaluación del rendimiento y asegurar la comparabilidad de resultados de los laboratorios de ensayo. Es un sistema de puntuación ideal ya que es simple, de aplicación universal y comprensible.

Un valor de z-score=3,2 tiene el mismo significado para analistas y usuarios finales independientemente de:

• Analito y su concentración
• Material de ensayo
• Principio físico del método de ensayo
• Laboratorio que realiza el trabajo

Es decir un valor de z-score, correctamente construido, se acerca más al ideal de puntuación. Sin embargo, en el ámbito alimentario, la citada complejidad de las combinaciones posibles de analitos, matrices y concentraciones supone un reto a su empleo por diversos motivos.

3.3.1 Elección de Desviación Estándar Diana acorde con el uso previsto

En muchos ensayos aplicados en el ámbito agroalimentario no se dispone de criterios universales de aceptación de DED_FFP para la evaluación en EI. Existen diferentes fuentes para obtener DED_FFP:

• Definición legal o normativa
• Estudios colaborativos / Estudios de rendimiento de métodos
• Modelos predictivos, por ejemplo la ecuación Horwitz o sus modificaciones
• Limite inferior de interés (LLI)
• “Regla” de 0,25 log en microbiología [9]
• Opinión de expertos, etc.

Esta variabilidad de criterios que aplican los proveedores hace que, aun en el caso hipotético de que diferentes proveedores enviaran la misma muestra a un laboratorio y tanto el VA por consenso como el resultado del laboratorio fueran exactamente iguales, el laboratorio podría obtener diferentes valores de z-score dependiendo del criterio del proveedor. Las diferencias entre las DED_FFP aplicadas por los proveedores pueden, en algunos casos, llegar a ser muy significativas. Ej.: Superiores al 50% en parámetros químicos o a 0,35 log en parámetros microbiológicos. Incluso se emplean relaciones lineales simples entre desviación estándar relativa y concentración aceptando, por ejemplo, un 25% como DED_FFP en intervalos de concentración de µg/kg a g/kg en obvia contradicción con la heterocedasticidad de los métodos de ensayo.

Estas diferencias exigen a los laboratorios la verificación de que los criterios aplicados por el proveedor, aunque esté acreditado, sean adecuados al uso de los resultados de sus ensayos previsto por sus clientes.

Esto puede incidir en la facilidad o dificultad para los laboratorios en obtener resultados satisfactorios dependiendo del proveedor y la necesidad de verificar los criterios que emplean los proveedores. Resulta evidente que la forma más sencilla de abordar este problema es que el laboratorio disponga de sus propios criterios DED_FFP de evaluación para asegurar la comparabilidad de los resultados de z-score que obtenga para cada parámetro independientemente del proveedor de EI que elija.

Precisamente la disponibilidad de este criterio propio para la participación en EI permite, además, al laboratorio comprobar fácilmente su coherencia con los criterios que aplica en su control interno de la calidad (ej.: exactitud, repetibilidad, reproducibilidad, etc.) así como las incertidumbres de sus resultados que declara.

Un aspecto complementario, pero relevante, al uso de DED_FFP y la obtención de un valor de z-score que informa sobre la comparabilidad de las medidas de diferentes laboratorios tiene relación con las decisiones que los usuarios finales toman a partir de los resultados emitidos por el laboratorio.

El criterio de DED_FFP que, como se ha dicho, supone una tolerancia en la aceptación de resultados “satisfactorios” si está bien construido nunca debe de entrar en conflicto con las decisiones que pueden tomar los usuarios aunque los valores que se someten a evaluación contengan los puntos de decisión.

Sin embargo incluso en valores contemplados en normativa pueden existir situaciones que requieran una comprobación adicional por parte de los laboratorios.

A modo de ejemplo se puede citar, en el ámbito de la salud pública, la situación creada en un ensayo de detección y recuento de Legionella spp ya que los proveedores de EI para estos ensayos han ampliado los criterios de DE aplicados en los ejercicios. En un principio existían grandes diferencias entre proveedores con variaciones entre 0,25 y 0,50 log en las DED_FFP. Sin embargo, en los últimos años se aplican de forma generalizada valores de 0,50 log y superiores. Este aumento, que podría tener alguna justificación por las limitaciones de la norma de ensayo recientemente modificada [11], supone una tolerancia de +/-1,0 log. Estos dos órdenes de magnitud implican que en valores de recuento de Legionella claramente positivos, que requerirían una acción acorde con la legislación sobre instalaciones de riesgo de legionelosis, puedan existir laboratorios que obtengan resultados de z-score satisfactorio con recuentos tan bajos que, si se correspondieran con muestras de agua real, sus clientes no considerarían necesario establecer acción alguna sobre la instalación afectada.

En el campo de la calidad agroalimentaria sirve de ejemplo la norma COI [10] para análisis sensorial de aceite de oliva que admite como DED_FFP un valor absoluto de 0,7 en una escala de 0-10. Este valor supone que la respuesta sensorial humana se mantiene constante en todas las intensidades con una tolerancia de hasta +/-1,4 sobre la mediana obtenida. Además resulta contradictorio con el criterio de aceptación en Control de calidad que es un valor relativo del 20 % en función de la intensidad.

Sin embargo el hecho relevante en EI es que el uso de este valor de 0,7 puede suponer que los paneles sensoriales participantes obtengan un z-score satisfactorio a pesar de la clasificación que hagan del aceite sea errónea.

3.3.2 Incertidumbre en EI. Uso de z´-score

En el ámbito de los ensayos agroalimentarios la cadena de trazabilidad a las unidades del SI tiene, en muchos casos, una contribución muy limitada a la incertidumbre combinada de los resultados analíticos. Así, la transferencia de las unidades del SI a la poyata del laboratorio puede presentar una contribución a la incertidumbre inferior al 0,1 %. (ej.: masa y volumen) mientras que los resultados analíticos se mueven en el intervalo aproximado de (1-30) %.

Sin embargo el aspecto de la incertidumbre que afecta a la eficacia de los EI es el correspondiente a la del VA cuando se obtiene mediante consenso. Las contribuciones más significativas a esta incertidumbre son la calidad de la muestra (homogeneidad y estabilidad) y la sistemática de obtención del valor asignado (número de resultados y de su variabilidad). Con ellos se condiciona la capacidad discriminante del valor de z-score y las decisiones que se tomen a partir de este resultado.

Actualmente se detecta un uso incorrecto de los criterios del Protocolo de IUPAC respecto de la incertidumbre del VA. El Protocolo recomienda usar solo z-score frente a una DED_FFP en la evaluación del rendimiento y establece que cuando la incertidumbre del VA sea significativa frente a DED_FFP el proveedor debe indicarlo a los participantes identificando la z-score como informativa. Además señala que debe ponerse un límite a la incertidumbre del VA de forma que a partir de este valor no se emita ninguna z-score.

Hasta la revisión de 2015 la Norma ISO 13528 [12] excluía explícitamente el uso de la incertidumbre del VA para evaluar el rendimiento en los ejercicios de consenso ya que los resultados son correlados. En la versión actual se ha suprimido esta exclusión admitiendo el uso de z´-score. La norma se limita a indicar las consecuencias de su empleo y cómo, en la medida en que la incertidumbre del VA asignado sea significativa, puede afectar a su comparabilidad con z-score.

Esta tolerancia en el uso de z´-score fue adoptada por algunos proveedores incluso antes de la aprobación de la norma. El interés de los proveedores en su empleo resulta evidente ya que les permite emitir siempre un resultado numérico sobre el rendimiento/desempeño de los laboratorios aunque la incertidumbre del VA sea significativa y esté afectando a la eficacia del ejercicio.

Existe la percepción entre los laboratorios de que la expresión mediante z´score es una mejora frente a un z-score clásico que emplee DED_FFP por incorporar de la incertidumbre del VA en el cálculo del rendimiento. Parece no tenerse en cuenta que esto sucede precisamente porque ha existido un problema en este EI y que puede, entre otras causas, ser debido a la calidad de las muestras empleadas o al número y dispersión de resultados.

La confusión creada por la aplicación de este aspecto concreto de la nueva revisión de la Norma ISO 13528 se debe, sobre todo, al hecho de que no establece un límite a la incertidumbre que puede aplicarse ni la necesidad de comunicar a los participantes, de forma inequívoca, que se usa z´-score.

Por el contrario, actualmente se detectan informes en los que se incluye de manera sistemática, en tablas y gráficos, la indicación z/z´ como una forma de normalizar y hacer equivalentes ambas formas de expresión del rendimiento. Se transmite una impresión incorrecta de igualdad entre ambas puntuaciones sin explicitar que su empleo afectará al conocimiento del laboratorio sobre su rendimiento y, por lo tanto, a su toma de decisiones y a la de los clientes, auditores, etc. ya que deberán escudriñar para encontrar la tilde y entender su significado.

Esta situación resulta más problemática que el uso de la evaluación descriptiva ya que ni siquiera se evalúa frente a la calidad prevalente que ofrece el conjunto de laboratorios. La evaluación frente a z´-score presenta una imagen distorsionada del rendimiento al aumentar el criterio objetivo de DED_FFP con una variable (la incertidumbre del VA) precisamente cuando es significativa e irrepetible, ya que depende de la situación concreta de un EI, y que por lo tanto impide su comparación con otros valores de z´-score o z-score.

La Royal Society of Chemistry ha publicado un documento [13] señalando el uso correcto de los sistemas de puntuación en intercomparación indicando claramente la falta de conveniencia en el uso de z´-score. En este sentido algún proveedor de EI ha realizado una declaración expresa de que no considera correcto el empleo de z´-score en sus ejercicios porque “oculta con eficacia la elevada incertidumbre del valor asignado”.

Una situación más llamativa se produce en casos en los que el proveedor realiza una interpretación errónea de las recomendaciones de IUPAC combinada con lo señalado en la Norma ISO 13528:2015 para el uso de z´score. En este caso solamente considera pertinente informar sobre la existencia de un problema a partir de una incertidumbre del VA que supera 0,7 DED_FFP emitiendo en ese momento z´score. Es decir, que aunque se supere la relación de 0,3 DED_FFP, y sea por tanto significativa, el proveedor continúa emitiendo z-score sin ninguna indicación a los participantes.

3.3.3 Expresión de resultados de z-score

Las mejoras en el uso de la incertidumbre del VA tienen su implicación en el número de decimales empleados al presentar z-score en los informes pues, con cierta frecuencia, se presentan de forma injustificada con 2 decimales.

La indicación de z-score con 2 decimales no parece coherente con los criterios de aceptación empleados en los EI (ej.:aceptación de estudio de H/E) ya que difícilmente se explica el uso de más de un decimal. Por otra parte la expresión de z-score con 2 decimales transmite una capacidad discriminante injustificada que, además, no se ajusta a los cuadros de clasificación de resultados de z-score que emplean los valores de 2,0 y 3,0 para calificar │z-score│ como satisfactorio o no y, por lo tanto, puede afectar a las decisiones que en función del dato de z-score puedan tomar los laboratorios.

3.3.3 Evaluación mediante z-score por métodos de ensayo

La evaluación del rendimiento de acuerdo con los métodos empleados por los participantes, aunque no es una práctica generalizada, debe de estar justificada técnicamente (ej.: uso de métodos empíricos, alergenos mediante kits). El motivo fundamental es que toda segregación de los resultados disponibles supone disminuir el número de datos que contribuyen al VA y, por lo tanto, aumentar su incertidumbre aportando una falsa confianza en esta información.

Debe de tenerse en cuenta que en un EI con evaluación frente a un criterio DED_FFP no se trata de comprobar si existen diferencias estadísticas entre los métodos empleados por los participantes, sino de verificar si las posibles diferencias encontradas entre los métodos tienen significación práctica y, por tanto, pueden condicionar la toma de decisiones de los usuarios.

4. Conclusiones

1) Es necesario avanzar en la definición de DED_FFP para la evaluación mediante z-score y que los laboratorios los apliquen de forma sistemática para asegurar su coherencia con el control de calidad interno y permitir la comparabilidad de sus resultados en el tiempo independientemente del proveedor elegido.

2) Los laboratorios deben comprobar que el criterio que aplica el proveedor en la evaluación del rendimiento mediante z-score es adecuado al uso previsto de sus ensayos. La acreditación no garantiza que los criterios de DED_FFP que aplica un proveedor sean adecuados al uso previsto de un laboratorio particular. Es la misma situación que cuando se seleccionan los laboratorios de ensayo o calibración acreditados de acuerdo con los requisitos particulares del cliente.

3) La incorporación del uso de la incertidumbre del VA para el cálculo del rendimiento y su expresión mediante z´score distorsiona la evaluación frente a un criterio objetivo. Puede transmitir una falsa confianza en la capacidad del laboratorio y en la competencia del proveedor además de impedir la comparabilidad de los resultados.

Este artículo se presentó en el 6º Congreso Español de Metrología [14].