ESSAIS D'APTITUDE PROTOCOLE D'ORGANISATION - Bipea
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
ESSAIS D’APTITUDE PROTOCOLE D’ORGANISATION Document valide au 01/10/2018 Rédacteur : Marie-Philippe SEILLER Ce guide vous donne des informations sur la conception des essais d’aptitude proposés par le BIPEA. Pour des informations complémentaires, n’hésitez pas à nous contacter : +33 1 40 05 26 30 / contact@bipea.org www.bipea.org
Protocole d'organisation des essais d'aptitudes TABLE DES MATIERES PRESENTATION DU BIPEA ................................................................................................................... 4 GENERALITES CONCERNANT LES ESSAIS D’APTITUDE ................................................................. 4 Définition d’un essai d’aptitude (EN ISO/CEI 17043) .......................................................................... 4 Définition d’un essai interlaboratoires (EN ISO/CEI 17043) ................................................................ 4 Intérêts des essais d’aptitude .............................................................................................................. 4 Normes applicables ............................................................................................................................. 4 Programme d’essais d’aptitude ........................................................................................................... 4 ORGANISATION D’UN ESSAI D’APTITUDE ......................................................................................... 5 Schéma typique d’un essai d’aptitude ................................................................................................. 5 Coordination et responsabilité ............................................................................................................. 5 Coordinateur .................................................................................................................................... 5 Président de Commission ................................................................................................................ 5 Groupes techniques ........................................................................................................................ 5 Conseil de Direction Technique ....................................................................................................... 5 Document valide au 01/10/2018 Sous-traitance...................................................................................................................................... 5 COMMUNICATION AVEC LES PARTICIPANTS ................................................................................... 6 Conditions d’inscription ........................................................................................................................ 6 Frais de participation ........................................................................................................................... 6 Confidentialité ...................................................................................................................................... 6 Anonymat des participants .............................................................................................................. 6 Confidentialité des données des participants .................................................................................. 6 Réclamations ....................................................................................................................................... 6 Contact ................................................................................................................................................ 6 DEROULEMENT DES ESSAIS D’APTITUDE ........................................................................................ 7 Choix de la matière première .............................................................................................................. 7 Préparation des échantillons ............................................................................................................... 7 Contrôle de l’homogénéité et de la stabilité ........................................................................................ 7 Emballage et transport ........................................................................................................................ 7 Analyses et méthodes ......................................................................................................................... 7 Transmission des résultats des laboratoires ....................................................................................... 8 ANALYSE DES DONNEES ET EVALUATION DE LA PERFORMANCE............................................... 9 Valeur assignée ................................................................................................................................... 9 Critères de performance ...................................................................................................................... 9 Statistiques de performance .............................................................................................................. 10 Le z-score ...................................................................................................................................... 10 Le zêta-score ................................................................................................................................. 10 Evaluation des incertitudes ................................................................................................................ 10 DGPROT01-FR Révision f du 28/09/2018 2/11
Protocole d'organisation des essais d'aptitudes RAPPORTS ........................................................................................................................................... 11 Le rapport de comparaisons interlaboratoires ................................................................................... 11 Le rapport personnalisé ..................................................................................................................... 11 L’export des données ........................................................................................................................ 11 Le rapport annuel .............................................................................................................................. 11 Document valide au 01/10/2018 DGPROT01-FR Révision f du 28/09/2018 3/11
Protocole d'organisation des essais d'aptitudes PRESENTATION DU BIPEA Fondé en 1970, le Bureau Interprofessionnel d’Etudes Analytiques (BIPEA) est une association à but non lucratif régie par la loi de Juillet 1901. Le BIPEA organise des essais d’aptitude dans différents secteurs d’activités tels que l’industrie céréalière, l’agroalimentaire, l’environnement et les cosmétiques. GENERALITES CONCERNANT LES ESSAIS D’APTITUDE Définition d’un essai d’aptitude (EN ISO/CEI 17043) Evaluation de la performance d’un participant par rapport à des critères préétablis au moyen de comparaisons interlaboratoires. Définition d’un essai interlaboratoires (EN ISO/CEI 17043) Organisation, exécution et évaluation de mesurages ou d’essais sur la même entité ou des entités similaires par deux laboratoires ou plus selon des conditions prédéterminées. Intérêts des essais d’aptitude Par sa participation à un essai d’aptitude, le laboratoire obtient une évaluation de sa performance permettant ainsi l’amélioration de la confiance de ses clients et, le cas échéant, l’identification de Document valide au 01/10/2018 problèmes au sein du laboratoire. Les essais d’aptitude peuvent également permettre la détermination de l’efficacité et la comparabilité des méthodes d’essai ou de mesure, la validation des incertitudes revendiquées, et la formation du personnel des laboratoires participants. Normes applicables EN ISO/CEI 17043 « Exigences générales concernant les essais d’aptitude » EN ISO 9001 « Système de management de la qualité – Exigences » ISO 13528 « Méthodes statistiques utilisées dans les essais d’aptitude par comparaison interlaboratoires » EN ISO 5725 « Exactitude (justesse et fidélité) des résultats et méthodes de mesure » Programme d’essais d’aptitude Le BIPEA propose des programmes d’essais d’aptitude constitués de plusieurs essais permettant notamment de tenir compte de la variabilité des matrices. Cette organisation permet : aux laboratoires d’aller au-delà de l’essai ponctuel et d’assurer ainsi un suivi de ses performances dans le temps en vue de mettre en évidence des biais ou des dérives à l’aide de cartes de suivi. au BIPEA de proposer un suivi qualité performant en adaptant la fréquence des essais qui peuvent varier de trois à trente essais annuels selon les programmes. Le planning des programmes d’essais d’aptitude est disponible sur le site du BIPEA. Dans l’espace adhérent, le laboratoire peut suivre le déroulement de ses essais d’aptitude, en termes de date de réception des échantillons, de type d’analyses à effectuer, de date de clôture de saisie des résultats, de publication des rapports de comparaisons interlaboratoires. DGPROT01-FR Révision f du 28/09/2018 4/11
Protocole d'organisation des essais d'aptitudes ORGANISATION D’UN ESSAI D’APTITUDE Schéma typique d’un essai d’aptitude Un essai d'aptitude est décomposé selon les principales étapes suivantes : inscription des laboratoires, préparation des échantillons, contrôle de l'homogénéité et de la stabilité des entités soumises à l’essai, expédition des échantillons, communication des résultats et des informations obtenus par les laboratoires participants, traitement statistique des données avec estimation d'une valeur assignée, évaluation de la performance des laboratoires, diffusion des résultats et des informations aux participants. Coordination et responsabilité Coordinateur Pour chaque programme d’essais d’aptitude, un responsable est chargé de la coordination de ces essais. Il assiste le président et garantit le respect des exigences de la norme NF EN ISO/CEI 17043. Président de Commission Pour chaque programme d’essais d’aptitude, un président est élu parmi les participants. Il apporte une compétence technique spécifique à chaque programme d’essais d’aptitude. Il approuve les résultats Document valide au 01/10/2018 de l'analyse statistique avant publication et, éventuellement, les commente. Il interprète les bilans de campagne et donne également son approbation pour les comptes rendus de réunion et les rapports annuels établis par le BIPEA. Il est l’interlocuteur privilégié du BIPEA et assure l’interface entre le BIPEA et les participants dont il reste le garant face aux exigences qui peuvent apparaître. Groupes techniques Pour l’aider dans sa mission, le Président de chaque programme peut s’appuyer sur un groupe technique, constitué de quelques participants. Conseil de Direction Technique Le Conseil de Direction Technique est composé d’experts techniques : les Présidents de chaque programme d’essais d’aptitude, des Conseillers Scientifiques, des membres nommés pour leur expertise dans des domaines particuliers. Le Conseil de Direction Technique est l'instance consultative de la Direction du BIPEA. Il est sollicité pour : la création de nouveaux circuits, la conception du modèle statistique général, des sujets techniques, le développement des nouveaux marchés, les orientations stratégiques. Le Conseil de Direction Technique se réunit au moins une fois par an. Sous-traitance Le BIPEA fait appel à des sous-traitants pour la réalisation des analyses dans le cadre du contrôle de l'homogénéité et de la stabilité. Ces analyses sont confiées à des laboratoires accrédités selon la norme ISO 17025, lorsque cela est possible. Dans le cas où le sous-traitant participe à l’essai d’aptitude concerné, il est traité exactement de la même manière que les autres participants. Toutes les autres opérations d’un essai d’aptitude sont réalisées au BIPEA. La maîtrise de ces opérations permet au BIPEA d’assurer l’amélioration continue de ses programmes d’essais. DGPROT01-FR Révision f du 28/09/2018 5/11
Protocole d'organisation des essais d'aptitudes COMMUNICATION AVEC LES PARTICIPANTS Conditions d’inscription Les essais interlaboratoires du BIPEA concernent tous les laboratoires réalisant des analyses physico-chimiques, microbiologiques et sensorielles. Notre politique est basée sur l’analyse de la performance des laboratoires dans le temps. Les laboratoires s’inscrivent en début de campagne pour tous les essais programmés. Lorsque l’inscription est demandée en cours de campagne, le laboratoire est inscrit à tous les essais programmés auxquels il pourra participer. Frais de participation Les frais de participation sont composés : de la cotisation annuelle, comprenant les frais d’adhésion pour les nouveaux adhérents. Notre statut associatif nous amène à solliciter une contribution financière de la part des laboratoires adhérents pour couvrir les frais administratifs. des frais annuels de participation aux circuits de comparaisons interlaboratoires. Les conditions générales sont disponibles sur le site internet du BIPEA (lien). Confidentialité Un système de codage est mis en place afin de garantir la confidentialité des informations fournies par les participants et l’anonymat des participants. Un engagement de confidentialité est signé par l’ensemble du personnel du BIPEA et les intervenants extérieurs (experts techniques). Anonymat des participants Document valide au 01/10/2018 Lors de l’adhésion d’un laboratoire au BIPEA, un "code adhérent" lui est attribué. Il est permanent et permet une identification rapide. Le BIPEA ne publie aucun annuaire de ses adhérents, ni de liste de participants à un programme d’essais d'aptitude. Confidentialité des données des participants L’identification des résultats publiés dans le rapport de comparaisons interlaboratoires est assurée par un numéro attribué aléatoirement à chacun des participants : c’est le "code édition". Il est confidentiel et temporaire : il est modifié au début de chaque programme d’essais d’aptitude. Réclamations Les participants peuvent faire une réclamation par l’envoi d’un email à : contact@bipea.org ou, statistiques@bipea.org pour tout ce qui concerne les rapports de comparaisons interlaboratoires. Les actions correctives adéquates sont ensuite mises en œuvre, et communiquées au laboratoire concerné. Contact BIPEA CAP 18 - 189, rue d'Aubervilliers 75018 PARIS FRANCE Tél : 33 (0) 1 40 05 26 30 Fax : 33 (0) 1 42 09 26 85 contact@bipea.org DGPROT01-FR Révision f du 28/09/2018 6/11
Protocole d'organisation des essais d'aptitudes DEROULEMENT DES ESSAIS D’APTITUDE Choix de la matière première Les produits mis en œuvre dans les essais d’aptitude du BIPEA sont sélectionnés pour être au plus près des matrices réellement analysées par les laboratoires en routine. Les matières premières peuvent être des produits commerciaux ou non, utilisées tels quels, enrichis, dopés ou transformés. Préparation des échantillons Le mode de préparation des échantillons envoyés aux participants est adapté et dépend : de la nature du produit mis en œuvre (liquide, pulvérulent, poudre, grains, graines, granulés, viande, poisson, etc ...), des caractéristiques souhaitées. Les caractéristiques peuvent être naturellement présentes, ajoutées ou dopées pour atteindre les valeurs souhaitées par les participants. Pour des considérations d’homogénéité et de stabilité, les échantillons peuvent être des échantillons synthétiques. Les matériels utilisés et leurs modes opératoires sont spécifiques à chaque programme d’essais d’aptitude. Ils permettent d’obtenir : des échantillons fabriqués selon un processus industrialisé, reproductible et robuste avec une intervention humaine limitée, une homogénéité suffisante des échantillons entre eux pour l’objectif de l’essai, une stabilité suffisante des échantillons pour la durée et l’objectif de l’essai. Le principe de préparation retenu pour chaque essai est indiqué dans le rapport de comparaisons interlaboratoires. Document valide au 01/10/2018 Contrôle de l’homogénéité et de la stabilité Les contrôles d’homogénéité et stabilité sont effectués selon la norme EN ISO 13528. Les échantillons ne sont pas adressés aux laboratoires tant que l’homogénéité et la stabilité ne sont pas jugées suffisantes en fonction des objectifs de l’essai. La conclusion concernant la vérification de l’homogénéité et de la stabilité est indiquée dans le rapport de comparaison interlaboratoires. La nature et la fréquence de ces contrôles varient selon les programmes d’essais. Celles-ci sont déterminées par le coordonnateur en fonction : des connaissances acquises (bibliographie, études expérimentales, avis des experts, …), des études expérimentales lors de la mise en place des essais d’aptitude, des résultats des contrôles précédents, de la fréquence annuelle des essais d’aptitude. A l’issue de chaque essai, une évaluation a posteriori des résultats est réalisée par l'examen de la distribution de ceux-ci au regard des caractéristiques des échantillons ou de la date d’analyse annoncée par le laboratoire et du suivi des écarts-types observés. Emballage et transport Les échantillons sont conditionnés pour garantir leur intégrité et de manière à ce que leurs caractéristiques n’évoluent pas par rapport à l’objectif de l’essai. Ainsi certains échantillons seront expédiés en maitrisant la température de l’échantillon (réfrigéré ou congelé). Tous les envois sont réalisés par transporteur express. Pour les laboratoires, hors Europe, l’envoi peut être anticipé pour que la date prévisionnelle de réception soit identique à celle des laboratoires européens. Analyses et méthodes Le lendemain de la date d’expédition, les instructions de prise en charge et de traitement des échantillons par les participants sont disponibles dans l’espace adhérent sur le site du BIPEA. La liste des analyses y figure également. Les laboratoires sont à même de choisir les analyses et les méthodes pour lesquelles ils souhaitent contrôler leur aptitude. De plus, pour certaines analyses, les laboratoires ont la possibilité de tester leur justesse pour plusieurs méthodes comparables. Les échantillons doivent être analysés selon les procédures habituelles en vigueur au laboratoire. DGPROT01-FR Révision f du 28/09/2018 7/11
Protocole d'organisation des essais d'aptitudes Transmission des résultats des laboratoires Les laboratoires saisissent leurs résultats sur les pages sécurisés de l’espace adhérent du BIPEA jusqu’à la date de clôture de saisie des résultats. Des mots de passe spécifiques sont transmis lors de l’inscription, pour autoriser soit la saisie des résultats, soit leur validation. Le mot de passe « saisie » peut être communiqué à tous les opérateurs. Le mot de passe « validation » doit être utilisé uniquement par les personnels habilités à la validation des résultats dans le laboratoire. Même transmis au BIPEA, les résultats peuvent être modifiés jusqu’à la date de clôture de saisie des résultats. Il suffit de refaire la procédure de transmission. Pour confirmer la transmission, un code de transmission est adressé en retour, celui-ci fait foi en cas de doute. A tout moment le laboratoire peut connaitre le statut de la transmission des résultats : « vierge », « en cours », « transmis », sur le planning des essais. Si les résultats ne sont pas transmis, une ou deux alertes sont adressées, entre 2 et 5 jours avant la date de clôture de saisie des résultats. Au-delà de la date de clôture, les résultats ne peuvent plus être saisis. Document valide au 01/10/2018 DGPROT01-FR Révision f du 28/09/2018 8/11
Protocole d'organisation des essais d'aptitudes ANALYSE DES DONNEES ET EVALUATION DE LA PERFORMANCE L’objectif des comparaisons interlaboratoires du BIPEA est de permettre au laboratoire de vérifier la justesse de son résultat d’analyse. Cette vérification est réalisée en comparant le résultat obtenu à une valeur assignée. Le traitement statistique est réalisé selon la norme ISO 13528 “Méthodes statistiques utilisées dans les essais d’aptitude par comparaisons interlaboratoires". Le mode d’estimation de la valeur assignée et le mode de détermination de la valeur de tolérance sont définis et approuvés par le groupe technique de chaque programme d’essais. Valeur assignée La valeur assignée ou "valeur conventionnellement vraie" (x pt) correspond à la valeur attribuée au critère analytique pour l’essai d’aptitude. Elle est : déterminée avant l’essai d’aptitude, o par l’utilisation de valeurs connues données par une formulation, un ajout de quantité connue d'un analyte (composition connue d'un lot). estimée à l’issue de l’essai d’aptitude, par utilisation de valeurs consensuelles provenant, o soit des résultats d'un groupe de laboratoires participants connus et contrôlés (les critères de sélection sont décidés par le groupe technique), o soit des résultats de l'ensemble des laboratoires participants. Pour les laboratoires souhaitant tester leur justesse pour plusieurs méthodes comparables pour une analyse, un seul des résultats sera sélectionné pour participer à l’estimation de la valeur assignée. Document valide au 01/10/2018 L’estimateur retenu est la moyenne issue de l'application de l'algorithme robuste A de la norme ISO 13528. Elle est accompagnée de son incertitude-type qui permet de quantifier la confiance que l’on peut y accorder. Lorsqu’un autre estimateur est utilisé, celui-ci est indiqué dans les rapports de comparaisons interlaboratoires. Dans tous les cas, la moyenne robuste est comparée à d’autres estimateurs comme la médiane ou le mode. Dans le cas où moins de huit résultats ont servi à estimer la valeur assignée, celle-ci est fournie à titre indicatif uniquement. Le jugement de la justesse est alors à interpréter avec précaution au regard du faible effectif. Lorsque le nombre de résultats est inférieur à 4, aucune valeur assignée n’est estimée. Pour les résultats quantitatifs en microbiologie, une transformation logarithmique (log 10) des résultats d’analyse est effectuée et tous les calculs statistiques sont réalisés sur les variables transformées. Critères de performance Détermination de la valeur de tolérance Le jugement sur la justesse d’un résultat est effectué par rapport à une valeur de tolérance (VT) : déterminée avant l’essai d’aptitude. Elle peut être : o une valeur de prescription ou une valeur réglementaire, o un objectif de performance fixé par les participants, o une valeur issue de l’écart-type de reproductibilité de la méthode d’analyse normalisée, o une valeur issue des écarts-types des résultats des participants sur un cycle d’essais d’aptitude. estimée à l’issue de l’essai d’aptitude, par utilisation de la dispersion observée provenant : o soit des résultats d'un groupe de laboratoires participants connus et contrôlés (les critères de sélection sont décidés par le groupe technique), o soit des résultats de l'ensemble des laboratoires participants. En général, la valeur de tolérance retenue est un objectif de performance défini avant l’essai d’aptitude par le groupe technique et connu des participants avant l’essai d’aptitude. Elle est établie à partir des écarts-types des résultats des participants observés sur un cycle d’essais d’aptitude. Par défaut, la valeur de deux fois l’écart-type des résultats de l’essai d’aptitude est retenue comme valeur de tolérance. DGPROT01-FR Révision f du 28/09/2018 9/11
Protocole d'organisation des essais d'aptitudes Pour chaque critère analytique, la valeur de tolérance retenue figure dans le rapport de comparaisons interlaboratoires. Statistiques de performance L’évaluation de la performance est généralement appliquée aux variables quantitatives continues. Pour porter un jugement sur l’aptitude des laboratoires, la valeur de tolérance sert à déterminer un intervalle autour de la valeur assignée. A l’intérieur de cet intervalle [valeur assignée ± valeur de tolérance], un résultat de mesurage ou d’essai (x) est considéré comme juste. Le z-score Le score z est calculé en se basant sur la valeur assignée (x pt) et la moitié de la valeur de tolérance (VT/2). Sa valeur absolue supérieure à 2,0 est équivalente au signal d’avertissement ; une valeur absolue supérieure à 3,0 est considérée comme un signal d’action. − z= 2 Le score z est l’expression du résultat du laboratoire (x) sous forme de chiffre sans unité. Le zêta-score Le score ζ est calculé en se basant sur la valeur assignée, l’incertitude type de la valeur assignée et l’incertitude du laboratoire. Le score ζ peut être interprété en utilisant les mêmes valeurs critiques 2,0 et 3,0 que pour le score z. − ζ= √ 2 + 2 Document valide au 01/10/2018 Le score ζ est calculé uniquement lorsque les conditions suivantes sont strictement respectées : La valeur assignée a été estimée indépendamment des données de l’essai d’aptitude, L’incertitude revendiquée associée au résultat a été maîtrisée par les laboratoires. Evaluation des incertitudes Dans un programme d’essais, l’incertitude revendiquée par les laboratoires peut être demandée pour un essai d’aptitude ponctuel. Deux indicateurs informatifs, calculés à partir de l’incertitude type de la ∗ valeur assignée (Uxpt ) et l’écart-type des résultats des participants (stot ), permettent au laboratoire de positionner son incertitude : une valeur minimale, Min Ux = Uxpt (k = 2) ∗ une valeur maximale Max Ux = 3 x stot (k = 2). Si l’incertitude du laboratoire est hors des bornes ci-dessus, celui-ci est invité à vérifier le résultat ou l’estimation de l’incertitude. Cependant, une incertitude inférieure au minimum ou supérieure au maximum, peut toutefois être correcte. DGPROT01-FR Révision f du 28/09/2018 10/11
Protocole d'organisation des essais d'aptitudes RAPPORTS Le rapport de comparaisons interlaboratoires Le rapport de comparaisons interlaboratoires est publié le plus rapidement possible après la date de clôture de saisie des résultats. Toutefois un délai est nécessaire, car l’établissement de ce rapport suit différentes étapes : Examen des données pour écarter les erreurs grossières, Réalisation d’un traitement statistique, Etablissement d’un projet de rapport qui est : o vérifié par le coordonnateur des essais d’aptitude, o Approuvé par le groupe technique représenté par le Président du programme d’essais d’aptitude, o Autorisé à diffusion par le service statistique. Le rapport de comparaisons interlaboratoires contient les informations du déroulement de l’essai d’aptitude nécessaires à l’explication de la performance des laboratoires, ainsi que les résultats et les informations fournies par les participants. Selon la nature des résultats, ceux-ci sont représentées graphiquement sous forme : d’histogrammes, pour les variables quantitatives continues de diagrammes en secteurs pour les variables qualitatives, d’autres graphiques le cas échéant. Le rapport de comparaisons interlaboratoires est diffusé par email à tous les participants au format Adobe PDF sécurisé. Deux adresses emails sont possibles pour chaque laboratoire participant. Document valide au 01/10/2018 Le rapport personnalisé Un rapport personnalisé contenant les résumes statistiques de l’essai d’aptitude ainsi que les résultats du laboratoire, est exportable à partir de l’espace adhérent grâce aux mots de passe « saisie » et « validation ». Ce rapport est disponible dès la publication du rapport de comparaison interlaboratoires. Ainsi, sur une ou deux pages maximum, le laboratoire peut visualiser rapidement sa performance pour l’essai d’aptitude concerné. L’export des données A l’issue de l’essai d’aptitude, toutes les données du laboratoire sont disponibles sur l’espace adhérent pour un export au format csv. Cet export peut être réalisé en sélectionnant les essais (possibilité de plusieurs années en arrière) et les critères analytiques. Cet export contient les résumés statistiques de l’essai d’aptitude et les résultats du laboratoire. Le rapport annuel Chaque année, pour un programme d’essai d’aptitude donné, un rapport annuel est établi par le coordonnateur du programme après consultation du groupe technique. Ce rapport apporte une vision globale des essais sur plusieurs années. Le rapport approuvé par le président du programme d’essais d’aptitude est diffusé à l’ensemble des laboratoires participants. DGPROT01-FR Révision f du 28/09/2018 11/11
Vous pouvez aussi lire
