Qu'est-ce que la “Boîte Noire” ?
L'expression “Boîte Noire” (ou black box) dans le domaine de l'intelligence artificielle se réfère à un phénomène qui se produit dans de nombreux systèmes d'apprentissage automatique ou d'algorithmes de deep learning dans les réseaux neuronaux, dont les processus sont cachés ou complexes à voir. Contrairement aux algorithmes traditionnels, qui sont programmés par des humains, et donc connus et compréhensibles, ces systèmes apprennent de manière autonome à travers des processus d'entraînement impliquant essai et erreur, et il est difficile pour les humains de ‘regarder à l'intérieur’ et de comprendre pourquoi l'IA fournit ces résultats : quelles caractéristiques ont été prises en compte, comment elles sont combinées, ce qui a été priorisé, etc.
Par exemple, dans le projet Gender Shades (Buloamwini & Gebru, 2018), il a été observé que plusieurs systèmes de reconnaissance faciale avaient des erreurs significativement plus élevées lorsqu'il s'agissait d'identifier des femmes à la peau foncée par rapport aux hommes à la peau claire. En particulier, l'étude explique que les femmes à la peau foncée étaient le groupe le plus fréquemment mal classifié (avec des taux d'erreur pouvant atteindre 34,7 %), tandis que le taux maximum d'erreur pour les hommes à la peau claire était de 0,8 %.
Ces modèles semblaient bien fonctionner et les disparités n'étaient pas visibles en regardant uniquement les résultats globaux, mais ont été détectées en décomposant les erreurs par genre et type de peau.
L'effet de la Boîte Noire : signification et conséquences
Comme nous l'avons mentionné, ce terme se réfère au manque de transparence ou de capacité d'interprétation des algorithmes, rendant difficile voire impossible la compréhension des raisons pour lesquelles un système d'IA tire certaines conclusions ou prédictions. Mais au-delà de la définition, la boîte noire a des conséquences concrètes :
Lorsque les modèles manquent de transparence, les erreurs peuvent passer inaperçues, surtout lorsqu'elles affectent des groupes minoritaires ou aux caractéristiques moins représentées dans les données (genre, ethnie, langue, etc.).
Manque de capacité de diagnostic : Si quelque chose tourne mal, il n'est pas facile de savoir quelle partie du modèle, quelles variables ou quelle combinaison de facteurs l'ont causé.
Perte de confiance des clients, utilisateurs ou du public régulateur qui se méfient des décisions automatisées qui ne peuvent pas être expliquées.
Risque juridique et de réputation : Des lois comme le AI Act exigent la transparence pour les systèmes à haut risque, et ne pas s'y conformer peut entraîner des sanctions légales, amendes et dommages à la réputation de l'entreprise.
Un exemple pertinent provient du Centre Allemand pour l'Analyse de Données Scalable et l'Intelligence Artificielle (ScaDS.AI), qui avertit que le problème de la boîte noire soulève des dilemmes éthiques profonds :
« Si nous ne pouvons pas comprendre comment un algorithme d'IA prend ses décisions, comment pouvons-nous nous assurer qu'elles sont éthiques et justes ? »
C'est particulièrement délicat dans des secteurs comme la santé ou la finance, où une mauvaise décision peut avoir d'importantes conséquences humaines, sociales et légales.
IA Explicable et interprétabilité du machine learning
Pour aborder le problème de la boîte noire, certaines techniques ont été proposées, parmi lesquelles se trouve la désormais populaire IA explicable. Cette approche cherche à démystifier les processus de prise de décision des algorithmes, aidant à prévenir les biais et les erreurs.
Techniques traditionnelles : LIME, SHAP, cartes de saillance et arbres de décision qui permettent d'expliquer des parties des prédictions, bien qu'elles n'expliquent pas toujours tout l'interne du modèle.
Techniques modernes et émergentes : comme les sparse autoencoders, qui aident à identifier des caractéristiques internes plus claires, moins mélangées, plus interprétables.
Boîte Blanche vs. IA Explicable : Quelles sont les différences ?
Les termes boîte blanche (white-box) et IA explicable sont utilisés comme des opposés directs à la boîte noire, pour désigner des modèles plus transparents, compréhensibles et responsables. Mais ce ne sont pas des synonymes exacts, car ils ont des nuances qui les différencient.
Boîte Blanche (Modèle White-Box)
Ce sont des modèles dont le fonctionnement interne est visible et compréhensible : quelles variables sont utilisées, comment les données sont traitées, quelles règles internes ou structure suivent. On peut “regarder à l'intérieur” du modèle.
Selon l'EDPS, les modèles auto-interprétables (“self-interpretable” ou white box) utilisent des algorithmes faciles à comprendre, permettant de voir comment les inputs influent sur les outputs. Des exemples classiques incluent les régressions linéaires ou les arbres de décision simples. Cette classe de modèles facilite l'audit, la traçabilité et le contrôle.
IA Explicable (XAI)
C'est un champ plus large qui inclut des modèles blancs, mais aussi des modèles complexes (black-box) auxquels sont appliquées des techniques d'explication (post-hoc, visualisations, analyse de l'importance des caractéristiques) pour que leurs décisions soient compréhensibles pour les humains. IBM le définit comme la capacité à vérifier et à fournir des justifications pour les résultats d'un modèle lorsqu'il effectue ses prédictions.
Chez IMMERSIA, à travers le module de No-Code ML de notre logiciel de jumeaux numériques TOKII, nous combinons les deux approches pour optimiser les processus dans le secteur industriel. Nous disposons d'un large éventail d'algorithmes d'entraînement qui nous permet de créer à la fois des modèles qui s'expliquent par eux-mêmes (boîte blanche, comme régressions linéaires ou arbres de décision) et des modèles plus complexes nécessitant des techniques d'explicabilité (XAI dans la forêt aléatoire ou réseaux neuronaux).
Dans tous les cas, nous offrons des prévisions accessibles, où l'utilisateur peut identifier les variables les plus influentes dans les résultats et ajuster leurs paramètres. Ainsi, nous ne montrons pas seulement le résultat, mais aussi “le pourquoi” derrière chaque prédiction.
Réglementations et Normes dans l'Union Européenne
Ce que vous devez savoir sur le AI Act (Règlement d'Intelligence Artificielle de l'UE)
L'Union Européenne a approuvé le AI Act, un règlement complet qui est entré en vigueur le 1er août 2024, conçu pour réguler l'usage de l'IA et assurer qu'elle soit sûre, transparente et respectueuse des droits fondamentaux. Certaines de ses lignes directrices les plus pertinentes sont :
Les systèmes d'IA sont classés selon le niveau de risque qu'ils représentent, et ceux avec des risques inacceptables sont directement interdits : les systèmes de notation sociale et l'IA manipulatrice.
Il oblige à la transparence, et les développeurs (providers) et gestionnaires (deployers) de systèmes doivent fournir des informations claires sur le fonctionnement, les limites, les risques et les variables d'entrée/sortie. Ils doivent également prévenir quand un utilisateur interagit sans le savoir avec une IA et, quand l'IA génère du contenu, l'identifier comme tel si la réglementation le demande.
La réglementation distingue entre applications à haut risque, applications à risque limité/général, et interdit certains usages considérés comme nuisibles ou contraires aux droits fondamentaux.
Phases d'application progressive : Bien que le AI Act soit déjà en vigueur, de nombreux critères s'appliquent de manière échelonnée, selon la catégorie du système, son usage, son impact, etc., de sorte que certaines obligations s'appliquent déjà, tandis que d'autres plus techniques ou à fort impact entreront en vigueur dans les prochaines années.
En définitive, la transparence et l'explicabilité ne sont plus seulement de bonnes pratiques : ce sont des obligations légales et éthiques.
Si vous craignez que votre projet d'IA fonctionne comme une boîte noire, chez IMMERSIA, nous pouvons vous aider. Demandez votre DEMO personnalisée : parlez-nous de votre modèle d'affaires, et nos experts vous montreront comment notre approche de l'IA explicable peut apporter une transparence réelle à vos prédictions.
