IA et évaluation : défis et solutions
L’Agence Nationale des Sciences d’Australie (CSIRO) explore l’utilisation responsable de l’IA pour les tâches d’évaluation complexes, telles que l’analyse d’appels d’offres ou de propositions. Face aux défis de la subjectivité humaine et de la complexité des interactions humain-IA, le CSIRO propose des solutions pratiques et des études de cas pour une évaluation fiable et évolutive. L’accent est mis sur la gestion du risque marginal et la validation humaine du raisonnement de l’IA.
Points clés
- Le Professeur Liming Zhu du CSIRO Data61 est un expert impliqué dans les groupes de travail sur la sécurité et la fiabilité de l’IA (Norme Australienne, OECD.AI, ISO/IEC JTC 1/SC 42/WG 3).
- L’IA est envisagée pour des tâches d’évaluation complexes comme les appels d’offres, les subventions et les propositions, basées sur des critères prédéfinis.
- Les recherches indiquent que l’IA seule peut parfois surpasser les combinaisons humain-IA, potentiellement en raison d’une sous-dépendance humaine à l’égard de l’IA.
- L’IA a montré une augmentation de productivité chez les agents de support client (+14%) et les programmeurs (+50%), avec des gains plus marqués chez les profils novices ou juniors.
- Les scientifiques du décile supérieur ont vu leur production augmenter de 81 % grâce à l’IA, tandis que le tiers inférieur a peu bénéficié de l’outil.
- Les défis de l’évaluation avant l’IA incluaient la subjectivité, la lenteur et l’incohérence humaine.
- L’introduction de l’IA soulève des risques liés aux interactions humain-IA et à la fidélité du raisonnement.
- Une solution proposée est l’évaluation pratique du risque marginal en utilisant la cohérence, la variance et le biais, intégrée à des audits humains.
- Une étude de cas présente un Évaluateur IA Indépendant pour les candidatures au sein d’une grande agence gouvernementale, où les désaccords sont gérés par un deuxième évaluateur humain.
- Une autre solution implique que les humains évaluent le processus de raisonnement et la justification de l’IA (Évaluateur Pair IA).
À retenir
Alors, l’IA va-t-elle remplacer les humains dans l’évaluation ? Pas si vite ! Il semblerait que les humains aient encore leur mot à dire, surtout quand il s’agit de vérifier si l’IA ne nous raconte pas n’importe quoi. Et apparemment, les experts ne bénéficient pas autant de l’IA que les débutants. Comme quoi, il faut bien commencer quelque part, même pour l’IA. En attendant, on continue de bricoler des systèmes où l’IA fait le gros du travail et où l’humain vient corriger les bêtises. C’est ça, l’avenir responsable !
Sources
Quiz sur le document: 10 questions
