Conformité des systèmes d’IA : les autres guides, outils et bonnes pratiques
28 mars 2022
Pour permettre d’aller plus loin dans l’évaluation du traitement utilisant des techniques d’IA, la CNIL met à disposition une liste non exhaustive d’outils d’évaluation des systèmes d’IA.
La CNIL n’a pas participé à l'élaboration des références citées dans cette fiche : le lecteur est invité à les consulter et à les utiliser à titre informatif mais cette démarche ne constitue pas une garantie de conformité du traitement.
Publications et référentiels
- Le référentiel de certification IA publié par le Laboratoire National de Métrologie et d’Essais (LNE)
- Les lignes directrices pour une IA de confiance (en anglais) publiées par le groupe d’experts de haut niveau sur l’intelligence artificielle (AI High-Level Expert Group ou AI HLEG)
- Les lignes directrices sur la prise de décision automatisée et le profilage (en anglais) prises par la Commission Européenne
- Les principes sur l’IA et le cadre de classification des systèmes d’IA (en anglais) publiés par l’OCDE
- La recommandation sur l’éthique de l’intelligence artificielle publiée par l’UNESCO
- Le rapport sur l’intelligence artificielle et les droits fondamentaux de l’Agence européenne pour les droits fondamentaux (FRA)
- Le guide sur l’éthique et la gouvernance de l’intelligence artificielle pour la santé de l’Organisation Mondiale de la Santé (OMS)
- Le guide sur l’IA et la protection des données (en anglais) de l’autorité de protection des données britannique (Information Commissioner’s Office - ICO)
- Le cadre d’audit pour les traitement de données personnelles utilisant de l’IA et l’introduction à la mise en conformité au RGPD pour les traitements intégrant de l’IA (en anglais) publiés par l’agence de protection des données espagnole (Agencia Española de Proteccion de Datos - AEPD)
- Le rapport intelligence artificielle et vie privée publié par l’autorité de protection des données norvégienne (Datatilsynet)
- Le guide sur la prise de décision automatisée publié par l’autorité de protection des données catalane (APDCAT)
- Le cadre éthique pour l’intelligence artificielle en Australie publié par le Department of Industry, Science, Energy and Resources du gouvernement Australien
- Les publications concernant l’IA de la Federal Trade Commission (États-Unis)
Outils d’évaluation
- La grille d’évaluation pour une IA de confiance publiée par le AI HLEG en application des lignes directrices pour une IA de confiance (voir plus haut)
- La grille descriptive des dispositifs médicaux s’appuyant sur des procédés d’apprentissage automatiques publiée par la Haute Autorité de Santé (HAS)
- L’outil Ethical AI créé par le syndicat professionnel Numeum
- Les travaux sur l’éthique des systèmes autonomes et intelligents publiés par l’IEEE
- L’analyse des biais liés aux systèmes d’IA du NIST
- L’outil d’évaluation de l'incidence algorithmique mis en œuvre par le gouvernement du Canada
- Les travaux sur la standardisation de l’IA publiés par l’ISO
- Les travaux sur l’évaluation éthique des systèmes d’IA (AI checklist) et des bases de données (Datasheets for datasets) publiés par l’Association for Computing Machinery (ACM)
- Le guide de mise en conformité au projet de règlement IA européen de l’Université d’Oxford
- Le référentiel d’évaluation Data science responsable et de confiance publié par Labelia Labs
Outils de développement
- Le module python LIME (Local Interpretable Model-agnostic Explanations) développé par l’Université de Washington
- Le module python SHAP (Shapley Additive Explanations) développé par l’université de Washington
- Quelques ressources sur l’évaluation des risques sociétaux des algorithmes d’IA publiées par l’INSA Toulouse
- Les outils pour une IA de confiance publiés par IBM
- Le module FairLearn de Microsoft
- Les outils publiés par l’équipe People + AI research (PAIR) de Google
- Le site du projet de recherche sur l’interprétabilité des systèmes d’IA, HyAIA, d’Inria
Vous souhaitez contribuer ?
Écrivez à ia[@]cnil.fr