Série L'intelligence artificielle est à nos portes : Savoir quand et comment utiliser l'IA au gouvernement (DDN2-V24)

Transcription : Série L'intelligence artificielle est à nos portes : Savoir quand et comment utiliser l'IA au gouvernement

[Le logo « Webdiffusion » s'affiche.

Neil Bouwer apparaît au moyen d'une caméra Web. Pendant qu'il parle, le sous-titre indique « Neil Bouwer. École de la fonction publique du Canada » dans les deux langues officielles.]

Bonjour à tous. Bienvenue à l'École de la fonction publique du Canada. Je m'appelle Neil Bouwer. Je suis le vice-président de la Direction générale de l'innovation et du perfectionnement des compétences de l'école, et agirai comme modérateur pour les événements d'aujourd'hui. Merci donc de prendre le temps de vous joindre à nous aujourd'hui. Nous sommes vraiment heureux de vous compter parmi nous. Avant d'aller plus loin, je tiens à préciser que je diffuse à partir d'Ottawa, malgré mon arrière-plan virtuel. Cela signifie que je me trouve sur le territoire traditionnel et non cédé du peuple Anishinaabe. Je pense donc qu'il est juste que nous prenions un peu de temps pour réfléchir à cela. Et pour tous ceux d'entre vous qui ne sont pas dans la région de la capitale nationale, mais dans d'autres parties du pays, vous aussi vous trouvez sur les territoires traditionnels d'autres Premières Nations. Et je vous invite à prendre un moment pour penser aux peuples autochtones et des Premières nations qui ont d'abord occupé et continuent d'occuper ces terres. L'événement d'aujourd'hui, pour ceux d'entre vous qui ne le savent pas, est le troisième volet de la série « L'intelligence artificielle est à nos portes ». Bienvenue. Cette série est un partenariat entre l'École de la fonction publique du Canada et l'Institut Schwartz Reisman pour la technologie et la société, un centre de recherche et de solutions de l'Université de Toronto. Il a pour mission de veiller à ce que les technologies comme l'IA soient fiables, sûres et exploitées dans l'intérêt du public. Nous sommes donc très heureux de vous présenter le fruit de cette collaboration. Jusqu'à présent dans la série, nous avons fourni aux participants un aperçu du paysage de l'IA, y compris la façon dont celle-ci est susceptible de transformer les gouvernements et la prise de décision gouvernementale, et des questions relatives au consentement des citoyens. Aujourd'hui, nous nous penchons sur la question de savoir quand et comment l'IA devrait, pourrait ou est peut-être déjà utilisée dans le contexte gouvernemental. Pour l'événement d'aujourd'hui, nous allons commencer par une conférence de deux experts de l'Institut Schwartz Reisman pour la technologie et la société. Le premier est Peter Loewen. Il est directeur de l'École Munk des affaires internationales et des politiques publiques de l'Université de Toronto et directeur associé de l'Institut Schwartz Reisman pour la technologie et la société. Peter va nous entretenir de certains facteurs à prendre en compte avant de décider quand et comment l'IA doit être utilisée par le gouvernement. Ensuite, nous sommes enthousiastes à la perspective d'entendre Gillian Hadfield. Elle est directrice de l'Institut Schwartz Reisman pour la technologie et la société et titulaire de la chaire Schwartz Reisman en technologie et société. Elle parlera de certains des outils et des cadres réglementaires que les gouvernements du monde entier commencent à introduire en relation avec l'IA au sein de leur administration. Je suis impatient de les entendre tous les deux. Après ces conférences, nous aurons un échange avec deux experts très estimés.

Le premier est Cary Coglianese, qui nous rejoint depuis l'Université de Pennsylvanie, où il est professeur de droit et de science politique Edward B. Shils et directeur du Penn Program on Regulation. Le deuxième intervenant est Daniel Ho, qui nous rejoint depuis l'Université de Stanford. Il est titulaire d'un certain nombre de titres éminents à Stanford, notamment celui de professeur de droit William Benjamin Scott et Luna M. Scott; professeur de science politique; agrégé supérieur de recherches de l'Institut pour la recherche en politique économique à l'Université Stanford; directeur associé de l'Institut pour l'intelligence artificielle centrée sur l'humain de l'Université Stanford; directeur du Laboratoire de réglementation, d'évaluation et de gouvernance (RegLab). Avant de commencer, je dois vous mentionner quelques notes de nature administrative. Il s'agit d'un grand événement, je ne veux pas que vous en manquiez une seule seconde. Pour optimiser votre visionnement, nous vous recommandons de débrancher votre RPV ou d'utiliser un appareil personnel pour vous assurer d'avoir la meilleure bande passante possible pendant l'événement. Enfin, si vous rencontrez des problèmes techniques, nous vous recommandons de relancer le lien de la webémission qui vous a été envoyé par courriel. Nous vous inviterons à poser des questions tout au long de l'événement. Je vous en prie, faites-le. Ainsi, même pendant la diffusion des conférences et de la discussion des experts, faites-nous parvenir vos questions. Elles nous parviendront au moyen de l'interface vidéo Collaborate. Donc, tout ce que vous avez à faire est de regarder dans le coin supérieur droit de votre écran, vous y trouverez un bouton « lever la main ». Celui-ci vous permet d'entrer votre question de manière anonyme. Nous surveillerons ces questions, et je les poserai pour vous à nos invités. Alors s'il vous plaît, profitez-en. Une traduction simultanée est également offerte à ceux d'entre vous qui se joignent à la webémission. Vous pouvez donc choisir le français ou l'anglais, la langue officielle de votre choix. Sans plus attendre, passons à la vidéo sur le thème de l'utilisation judicieuse de l'intelligence artificielle : Savoir quand et comment utiliser l'IA au gouvernement.

[Un carton arborant une étoile rayonnante affiche le titre « Série : L'intelligence artificielle est à nos portes ». Des mots apparaissent. « Savoir quand et comment utiliser l'IA au gouvernement ». Peter Loewen se tient debout devant un fond bleu. Des diapositives surgissent à sa gauche. La première est un modèle 3D d'un cerveau humain. Le sous‑titre indique « Peter Loewen, directeur associé de l'Institut Schwartz Reisman pour la technologie et la société; directeur de l'École Munk des affaires internationales et des politiques publiques ».]

Bonjour, je m'appelle Peter Lohan. Je suis professeur à l'Université de Toronto et directeur associé de l'Institut Schwartz Reisman pour la technologie et la société. J'occupe également le poste de directeur de l'École Munk des affaires internationales et des politiques publiques.

[Des mots apparaissent sur la diapositive. « Comment les gouvernements utilisent-ils l'IA et l'apprentissage automatique ».]

Durant ce bref exposé, j'aimerais examiner avec vous certaines façons dont les gouvernements utilisent l'intelligence artificielle (IA) et l'apprentissage automatique. Comme il en a été question dans nos séances précédentes, l'intelligence artificielle, ou IA, nous entoure déjà, que ce soit pour alimenter nos téléphones et nos voitures, recommander des choix musicaux, créer des instruments financiers ou prendre en charge de nouvelles formes de conflit militaire.

[La diapositive se lit comme suit : « Le rythme avec lequel l'IA est employée s'accélère considérablement ».]

Avec les données omniprésentes, les calculs de grande puissance et de grande dimension et l'utilité commerciale réunis, le rythme avec lequel l'IA est employée s'accélère considérablement. Les effets positifs sont énormes. Pour mieux réfléchir à l'utilisation de l'IA au gouvernement, il est probablement utile de réduire notre portée, du moins un peu.

Au cours des prochaines minutes, j'aimerais donc vous faire part de quatre façons dont l'IA est déployée au sein des gouvernements, partout dans le monde.

[Des mots apparaissent sur l'image d'un passage piétonnier. « Quatre façons de déployer l'IA. »]

Et je veux aussi vous donner une certaine classification de ces utilisations. Alors, imaginons un simple tableau de deux par deux pour structurer la façon dont l'IA est utilisée. Après avoir exploré ces différentes utilisations, nous reverrons quelques principes généraux des moments où l'IA peut être déployée au sein du gouvernement.

[Une diapositive remplit brièvement l'écran et affiche le titre « Dimensions de l'utilisation ».]

Si nous voulons organiser notre compréhension de la façon dont l'IA est déployée dans les gouvernements, pensons à deux dimensions différentes.

La première dimension est celle des citoyens ou des fonctionnaires. La question de fond ici est : « L'IA est-elle utilisée ou appliquée par un citoyen ou par un fonctionnaire? » En d'autres termes, l'IA est-elle utilisée pour le public ou à l'interne par le gouvernement? Est-elle à l'avant ou à l'arrière-plan? Ensuite, l'IA est-elle utilisée en remplacement ou comme amélioration?

Dans la présente dimension, nous voulons savoir si l'IA remplace quelque chose qui aurait jusque-là été fait par une personne ou si elle améliore un processus déjà existant pour le rendre plus efficace, précis, rapide ou facile.

En somme, l'IA remplace-t-elle un humain ou aide-t-elle un humain? Lorsque nous réunissons ces deux dimensions, nous obtenons quatre scénarios différents de la manière dont les gouvernements peuvent utiliser l'IA, et nous pourrions trouver des exemples courants dans chacun d'eux. Imaginons-les donc ensemble. Parcourons-les.

[Une diapositive remplit l'écran et affiche le titre : « L'IA pour des utilisations orientées vers le public ».]

Prenons d'abord le cas d'un gouvernement qui recourt à l'IA pour interagir avec les citoyens. Et d'une manière qui remplace un humain dans le processus.

[Une diapositive affiche le titre d'un article intitulé « L'automatisation dans le gouvernement : exploiter la technologie pour transformer l'expérience client. 28 septembre 2020. »]

Une étude de cas récente de McKinsey and Company porte sur l'utilisation d'un agent conversationnel automatisé par l'Agence fédérale allemande pour l'emploi. Les Allemands qui demandent de l'assurance-emploi ou de l'aide à l'emploi ou les employeurs qui désirent coordonner les prestations ont maintenant la possibilité d'interagir avec un agent conversationnel.

[Image d'un message texte indiquant « Bonjour! Comment puis-je vous être utile? »]

Grâce à une combinaison probable du traitement du langage naturel et de l'apprentissage par renforcement conjugués à des sondages bien conçus, le robot est capable de traiter même des cas complexes pour l'assurance-emploi.

Auparavant, un employé de bureau aurait examiné une demande ou rencontré un citoyen, puis aurait porté un jugement sur son aptitude ou son admissibilité aux prestations.

Maintenant, le processus est entièrement automatisé, mais au lieu d'un site Web impersonnel de questions et de menus déroulants, le citoyen a droit à une expérience plus « humaine » de conversation avec le robot.

Les utilisateurs font état d'expériences positives, peut-être parce qu'ils n'ont pas à transmettre de l'information délicate, voire embarrassante, à propos de leur situation d'emploi à un autre être humain. De plus, comme le signale McKinsey, l'IA de l'agent conversationnel peut donner un sentiment d'efficacité et de bienveillance. Quels sont les résultats ici?

Eh bien, un plus grand nombre de personnes peuvent être servies, peut-être avec plus d'efficacité et certainement avec plus d'efficience, plus rapidement.

Et le nombre de personnes pouvant être servies en tout temps par la fonction conversationnelle de l'IA n'a que peu de limites, voire aucune. Réfléchissez-y, dans une économie-clé où l'incertitude qui pèse sur l'emploi devrait être encore plus grande et avec la nécessité d'assurer une sécurité de revenu à court terme. Quel avantage que de disposer d'une machine qui peut faire cela sans atteindre de limite!

Fait important, et cela nous amène à notre prochain segment d'un cas où nous utilisons l'IA pour améliorer un processus, cela ne doit pas nécessairement se faire au prix du remplacement complet ou même partiel des personnes. Nous pourrions plutôt imaginer un deuxième scénario dans lequel l'IA améliore la prise de décisions d'un employé de bureau. En effet, supposons que l'agent conversationnel décèle les cas pour lesquels il estime qu'un jugement humain est nécessaire. Dans de telles situations, les incertitudes liées aux cas peuvent être cernées, puis transmises à un employé du gouvernement qui peut examiner les cas et faire appel à son jugement humain.

Ne s'agit-il pas d'une meilleure utilisation des ressources si nous prenons les personnes qui auraient auparavant traité avec les citoyens et les réaffectons aux cas qui nécessitent des interactions plus complexes ou délicates, ou plus de jugement? Ou peut-être simplement plus d'empathie?

[Une diapositive affiche le titre suivant : « L'IA pour les tâches administratives ».]

Les applications de l'intelligence artificielle ne sont pas déployées uniquement par les gouvernements, ou même principalement, dans le travail axé sur le citoyen. Au contraire, elles sont également déployées à grande échelle et utilisées à l'appui des fonctions administratives ou d'arrière-plan des gouvernements. Toutefois, comme lorsqu'elles sont déployées dans des fonctions axées sur le citoyen, elles peuvent être utilisées en remplacement des actions humaines ou comme complément de celles-ci. Commençons par un cas où l'IA améliore une fonction humaine.

[Capture d'écran d'un article du Yale Journal on Regulation intitulé « La responsabilité algorithmique dans l'État administratif ».]

Dans leur examen de l'utilisation de l'IA au sein des organismes administratifs du gouvernement fédéral américain, Daniel Ho et David Engstrom, tous deux professeurs à l'Université Stanford, constatent que la capacité de l'État à appliquer ses lois est une mesure centrale de la capacité de l'État administratif. Un État qui ne peut pas faire respecter ses lois n'est pas vraiment un État. Cela pourrait être particulièrement vrai dans le cas de la réglementation des marchés.

[La diapositive se lit comme suit : « L'IA pour la surveillance réglementaire ».]

Selon le document de Ho et Engstrom, la Commission des valeurs mobilières (SEC), le principal organisme de réglementation des marchés financiers aux États-Unis, déploie aujourd'hui un vaste ensemble d'outils algorithmiques pour contribuer à « rétrécir la meule de foin » dans sa recherche de méfaits. Ceux-ci comprennent un tableau de bord qui compte plus de 200 indicateurs possibles de fraude dans les déclarations de revenus.

L'objectif ici n'est pas d'établir tout de suite des cibles de vérification, mais bien d'outiller les vérificateurs pour qu'ils effectuent des travaux plus approfondis, minutieux et circonscrits des possibles cas de fraude fiscale.

[La diapositive se lit comme suit : « L'IA peut aider les enquêteurs à découvrir des tendances à partir des données. »]

Ici, l'IA aide les enquêteurs à venir à bout d'énormes volumes de données et à cerner les cas et à découvrir des tendances qui autrement auraient pu leur échapper. Cela améliore leur travail, mais ne le remplace pas.

[Une photo du bâtiment de la U.S. Securities and Exchanges Commission. Le texte apparaît : « Advanced Relational Trading Enforcement Metrics Investigation System (ARTEMIS) ». Après une brève pause, du texte est ajouté : « Abnormal Trading and Link Analysis System (ATLAS) ».]

Dans des domaines connexes, la SEC a élaboré des outils pour détecter la fraude en valeurs mobilières. L'Advanced Relational Trading Enforcement Metrics Investigation System(ARTEMIS) et l'Abnormal Trading and Link Analysis System (ATLAS) sont tous deux conçus pour aider à détecter les cas de délit d'initié à partir de vastes quantités de données soumises à des modèles de grande dimension. Fait important, il ne s'agit pas de processus entièrement automatisés. En ce qui concerne l'ARTEMIS, les cas potentiels sont d'abord décelés par les agents, puis le système utilise l'IA pour estimer les probabilités de fraude. Il s'agit donc d'un exemple d'une technologie de l'IA qui augmente les capacités d'un humain, une fois que celui‑ci a porté un jugement sur un cas possible de fraude. Il ne s'agit pas de systèmes parfaits.

Ils peuvent être lents à saisir les variantes de fraude qui évoluent rapidement. Ils doivent continuellement être étalonnés par rapport aux cas réels pour mettre en place les données de terrain et sont tributaires d'agents qui maîtrisent suffisamment les approches riches en données de l'application de la loi pour être capables de comprendre l'IA et d'interagir efficacement avec elle. Mais lorsque de telles conditions sont satisfaites, ils constituent un ensemble d'outils incroyablement puissant pour faire appliquer les lois.

[La diapositive se lit comme suit : « L'IA pour la modélisation de politiques ».]

Enfin, examinons un cas où l'IA est utilisée pour une fonction administrative, mais d'une manière qui remplace délibérément un humain dans un processus. Les consultations gouvernementales et la modélisation des politiques constituent un bon exemple. Lorsqu'ils envisagent et conçoivent de nouvelles politiques, les gouvernements cherchent souvent à comprendre si les citoyens appuieront les politiques et, si elles sont adoptées, comment elles pourraient modifier les comportements des citoyens sous leur influence. Nous avons, sur une longue période, mis au point des modèles comportementaux pour comprendre la réaction des citoyens à une modification des politiques, qu'il s'agisse d'un changement dans une règle fiscale, un nouveau programme de santé ou un nouveau crédit pour de la formation ou du perfectionnement professionnel.

Mais, malgré le perfectionnement de nos modèles de mesure et de nos modèles économétriques pour comprendre les effets des modifications des politiques, ils ne se comparent pas à la puissance des modèles évolués qui fonctionnent dans de multiples dimensions et extraient des données de milliers de sources.

Si les gouvernements peuvent créer un environnement de données dans lequel de grandes quantités de données peuvent être mises en relation et analysées, les meilleures avancées en matière d'analyse de données, et non en matière d'IA, permettront de résoudre les problèmes de politiques les plus complexes.

Dans les applications de moins grande envergure, l'IA viendra s'ajouter au travail des analystes, mais à grande échelle, elle pourrait bien remplacer presque complètement le travail souvent subjectif des analystes humains pour établir l'efficacité d'un programme.

[La diapositive indique : « L'IA peut examiner les effets d'une politique dans un nombre illimité de dimensions. »]

L'IA peut examiner les effets d'une politique dans un nombre illimité de dimensions, puis les rassembler dans un jugement sommaire portant sur l'efficacité de celle-ci. Un humain en est incapable.

Les humains ne sont pas entièrement exclus ici; ils devront formuler les recommandations finales en déterminant si un programme a été assez efficace pour être renouvelé, par exemple, mais tout le travail d'analyse des effets et de l'efficacité d'un programme peut être laissé à des modèles d'ordre supérieur, guidés par l'IA et l'apprentissage automatique.

[Des mots s'affichent pendant qu'il parle : « Quatre défis en matière de politiques : 1. Volume des décisions. 2. Cohérence des décisions. 3. Justesse des décisions 4. Apprentissage à partir des décisions ».]

Dans une discussion précédente, nous avons énoncé quatre enjeux de politique auxquels sont confrontés les gens en place au gouvernement. D'abord, ceux-ci doivent prendre un grand nombre de décisions. Ensuite, les décisions doivent être prises en harmonie avec les objectifs en matière de politique. Puis, les décisions, particulièrement celles qui ont une incidence sur le public et encore plus particulièrement celles qui ont une incidence sur les personnes, doivent être prises conformément aux principes d'équité procédurale et aux normes démocratiques. Enfin, nous devons tirer des leçons des décisions que nous prenons. Toutes les applications de l'IA mentionnées ici peuvent nous aider à relever de tels défis, dans le travail axé sur le citoyen comme dans l'important travail accompli en arrière-plan.

[Peter et la diapositive s'effacent. Une carte violette arborant une étoile rayonnante affiche le titre « Série L'intelligence artificielle est à nos portes ». Des mots apparaissent : « Outils et cadres réglementaires pour l'utilisation de l'IA dans le gouvernement ».

Gillian Hadfield se tient devant un fond bleu. Des diapositives apparaissent à sa gauche. La première est la photo du modèle lumineux d'un cerveau humain de profil, ressemblant à un circuit imprimé. Un sous-titre indique « Gillian Hadfield, professeure de droit et d'économie, Université de Toronto, et directrice et présidente de l'Institut Schwartz Reisman ».]

Partout dans le monde, des gouvernements commencent à examiner comment ils pourraient utiliser l'IA pour la prestation des services publics. Certains le font déjà.

[Des mots apparaissent sur l'image : « Comment pouvons-nous réglementer l'utilisation de l'IA et de l'apprentissage automatique? ».]

Certains services de police et bureaux d'immigration utilisent la technologie de reconnaissance faciale. Des tribunaux et des systèmes de justice pénale utilisent des systèmes assistés par l'IA pour déterminer qui libérer sous caution ou mettre en probation. Dans la présente vidéo, je donnerai un aperçu des nouveaux outils et cadres pour régir l'utilisation de l'IA au gouvernement.

[Une diapositive remplit brièvement l'écran et affiche le titre : « Outils et cadres émergents pour encadrer l'utilisation de l'IA ».]

Le Canada a peut-être été le premier pays à adopter une politique officielle sur l'utilisation de l'IA au gouvernement.

[Des mots apparaissent au-dessus d'une image du Parlement canadien et se lisent comme suit : « Directive sur la prise de décision automatisée (2019) ».]

La Directive sur la prise de décisions automatisée du Canada est entrée en vigueur au mois d'avril 2019 dans le but de réduire les risques pour les citoyens et les institutions et de s'assurer que l'IA favorise une « prise de décisions plus efficace, exacte et conforme, qui peut être interprétée en vertu du droit canadien ».

[Une nouvelle diapositive indique « Canada : Exigences clés ». Au fur et à mesure qu'elle parle, ses propos s'affichent sur la diapositive.]

La Directive a défini cinq exigences clés. Premièrement, les entités du secteur public qui comptent déployer un système de prise de décisions automatisée sont tenues de réaliser une évaluation de l'incidence algorithmique.

[Capture d'écran d'un questionnaire en ligne.]

Il s'agit d'un questionnaire autonome visant à guider les représentants du gouvernement dans l'examen des raisons qui justifient l'utilisation de l'IA, à évaluer le profil de risque et à signaler les difficultés potentielles dans l'explicabilité, les sources de données, la qualité et les risques. L'évaluation génère des cotes d'incidence et d'atténuation et a pour but de favoriser des choix réfléchis entourant l'utilisation de l'IA.

Deuxièmement, la Directive impose des exigences en matière de transparence, p. ex. fournir un avis sur le fait qu'un système décisionnel automatisé est utilisé, donner une explication significative aux personnes concernées par la décision, rendre public le code source dans la plupart des cas et documenter les décisions.

Troisièmement, l'information à propos de l'utilisation d'un système de prise de décisions automatisée doit être publiquement accessible.

Quatrièmement, la Directive exige la prise de mesures pour s'assurer que les données sont pertinentes, exactes et à jour, qu'elles sont recueillies conformément au droit relatif au respect de la vie privée et qu'une intervention humaine est possible.

Cinquièmement, la Directive exige que les personnes touchées par une prise de décision automatisée aient des possibilités de recours afin de contester la décision.

[La prochaine diapositive montre les bâtiments du Parlement britannique. Au‑dessus de l'image, le texte se lit comme suit : « Royaume-Uni : Lignes directrices pour l'approvisionnement en IA (2020) ».]

Depuis 2019, de nombreux autres pays ont adopté des types similaires de cadres et d'exigences. Le R.-U. a adopté des lignes directrices de l'approvisionnement en IA en juin 2020, en mettant l'accent sur le recours à des équipes pluridisciplinaires diverses pour apporter une expertise sur différentes questions comme la santé, l'éthique des données, l'ingénierie des systèmes et la visualisation.

[Les mots sur la diapositive se lisent comme suit : « R.-U. : Exigences clés ». Au fur et à mesure qu'elle parle, ses propos s'affichent sur la diapositive.]

Selon les lignes directrices du R.-U., une évaluation des données doit être effectuée avant le début du processus d'approvisionnement et une attention doit être portée dès le départ aux risques et avantages de l'utilisation de l'IA.

Ces lignes directrices enjoignent les organismes du gouvernement à consulter très tôt le marché pour s'assurer que les systèmes conçus répondent aux besoins du gouvernement et s'assurer que les fournisseurs ont pris en compte les risques de biais, l'explicabilité et les conséquences non souhaitées.

De plus, elles encouragent vivement les représentants à élaborer un plan de surveillance et de gouvernance complet tout au long du cycle de vie au-delà de la décision d'approvisionnement, y compris le respect des lignes directrices en matière d'éthique des données.

[Photo d'un immeuble de bureaux. Le texte indique « US Government Accountability Office (GAO) ». Des mots apparaissent au-dessus de l'image : « Cadre de responsabilisation des organismes fédéraux (2021) ».]

Et en 2021, le Government Accountability Office des États-Unis, un organisme indépendant qu'on désigne parfois comme le « chien de garde » du Congrès, a publié un cadre de responsabilisation détaillé pour les organismes fédéraux.

[Une diapositive remplit l'écran. Elle comporte quatre quadrants de texte de différentes couleurs, reliés à un diagramme d'un brin d'ADN. La diapositive s'intitule : « Cadre de responsabilisation de l'intelligence artificielle (IA) ».]

Le cadre du GAO repose sur quatre principes complémentaires : gouvernance, données, rendement et surveillance. Ces principes généraux sont analysés en fonction des pratiques clés, des questions et des procédés de vérification.

[Le quadrant supérieur droit, en vert, a pour titre « Gouvernance ». Le texte qui se trouve en dessous se lit comme suit : « Promouvoir la responsabilisation en établissant des processus pour gérer, réaliser et superviser la mise en œuvre ». Les deux puces indiquent : « Gouvernance au niveau de l'organisation » et « Gouvernance au niveau du système ».]

Le principe de gouvernance demande aux organismes de définir des objectifs, rôles et responsabilités clairs et d'établir des relations avec les intervenants pour assurer la conformité avec les lois, règlements, normes et orientations applicables et d'instaurer la confiance et la compétence.

[Le quadrant supérieur gauche, en bleu, a pour titre « Données ». Le texte qui se trouve en dessous indique : « Assurer la qualité, la fiabilité et la représentativité des sources et du traitement des données. ». Les deux puces indiquent : « Données utilisées pour développer un modèle d'IA » et « Données utilisées pour exploiter un système d'IA ».]

Le principe des données encourage la documentation et l'évaluation de l'origine, de la fiabilité, de l'interconnectivité, de la sécurité, de la confidentialité et des biais possibles dans les données utilisées pour mettre en place et exploiter un système d'IA.

[Le quadrant inférieur droit, en brun, a pour titre « Rendement ». Le texte en dessous indique « Produire des résultats conformes aux objectifs du programme ». Les deux puces indiquent « Rendement au niveau de la composante » et « Rendement au niveau du système ».]

Le principe du rendement vise à s'assurer que les mesures et procédures sont en place pour évaluer la mesure dans laquelle un système d'IA répond aux objectifs d'un programme, y compris l'évitement des biais, et pour permettre une supervision humaine.

[Le quadrant inférieur gauche, en rouge, a pour titre « Surveillance ». Le texte en dessous indique « Assurer la fiabilité et la pertinence dans le temps ». Les deux puces indiquent : « Surveillance continue du rendement » et « Évaluation du maintien et de l'utilisation élargie ».]

Enfin, le principe de surveillance prévoit une surveillance continue ou périodique d'un système.

[Diagramme de trois cercles en rangée, reliés par une ligne. Chacun contient des icônes et un texte en dessous. La diapositive remplit brièvement l'écran et chaque segment du diagramme est mis en évidence à tour de rôle.]

Le document du GAO illustre bien le chemin que nous empruntons avec l'IA. Il expose ce que le GAO considère comme trois vagues.

[Le premier cercle à gauche, en jaune, a pour titre « Première vague ». L'icône consiste en une main tenant un téléphone intelligent avec le mot « Impôts » à l'écran. Le texte en dessous indique : « Connaissances ou critères d'experts et raisonnement logique. La première vague de l'IA est représentée par les connaissances ou critères d'experts établis dans la loi ou d'autres sources autorisées et encodés dans un programme informatique sous forme d'un système expert. Exemple : préparation de déclarations de revenus en ligne. »]

La première vague est arrivée il y a quelques décennies, avec l'entrée en scène des systèmes experts utilisés par exemple pour la préparation de déclarations de revenus en ligne.

[Le cercle du milieu, en bleu, a pour titre « Deuxième vague ». Il s'agit de l'icône d'une personne dont le visage est encadré, à côté d'un écran comportant le même visage encadré et une coche. Le texte en dessous se lit comme suit : « Apprentissage automatique/statistique. La deuxième vague de la technologie de l'IA repose sur l'apprentissage automatique ou statistique et comprend la reconnaissance de la voix, le traitement du langage naturel et les technologies de vision par ordinateur, entre autres. Exemple : technologie de reconnaissance faciale. »]

Nous voguons actuellement sur la deuxième vague, avec l'apprentissage automatique, notamment les systèmes comme la reconnaissance vocale et faciale, et le traitement du langage naturel qui permet aux ordinateurs de lire du texte écrit par des humains et d'interagir avec celui-ci. Ces systèmes de la deuxième vague centrés sur les tâches sont relativement limités. Ils sont conçus pour une tâche précise, comme établir des correspondances entre des visages et une base de données existante d'images faciales ou déterminer quel ensemble préparé de réponses fournir à une demande de renseignements sur les impôts dans une boîte de clavardage en ligne.

[Le cercle tout à fait à droite, en violet, porte le titre « Troisième vague ». L'icône ressemble à un navire avec, au-dessus, des lignes indiquant un signal WiFi. Le texte en dessous se lit comme suit : « Adaptation contextuelle. La troisième vague de la technologie de l'IA combine les forces de la première et de la deuxième vague de l'IA et est également capable de sophistication, d'abstraction et d'explication contextuelles. Exemple : navires autonomes. »]

La troisième vague décrite par le GAO présente une progression par rapport aux systèmes centrés sur les tâches limités d'aujourd'hui vers ce qu'il appelle l'« adaptation contextuelle », c'est-à-dire des systèmes pouvant traiter une compréhension beaucoup plus vaste de contextes et d'objectifs pour faire des choix toujours plus complexes et généraux. L'exemple donné est celui des navires autonomes.

[Un cercle est divisé en diagonale en quatre sections, intitulées « Conception, Développement, Déploiement et Surveillance continue ».]

Le document du GAO fournit également quelques graphiques utiles présentant un aperçu des phases du cycle de vie d'un système d'IA, de la conception au développement jusqu'au déploiement et à la surveillance continue.

[Quatre icônes représentant des personnes à l'intérieur d'une micropuce entourée de huit cercles. Dans le sens des aiguilles d'une montre, ils indiquent « Développeur de logiciels », « Expert en confidentialité et sécurité », « Professionnel de la gestion des risques », « Utilisateur », « Personne touchée par le système d'IA », « Défenseur des libertés civiles », « Conseiller juridique » et « Scientifique de données ».]

Voici un autre outil qui aide à structurer la réflexion sur les intervenants jouant un rôle dans le système d'IA, les développeurs de logiciels, spécialistes de la confidentialité et la sécurité, les utilisateurs, les personnes touchées par le système, les défenseurs de droits, etc. L'outil est très utile pour structurer la réflexion du gouvernement à propos de ce nouveau terrain complexe.

Les pays ne sont pas les seules compétences à s'intéresser à l'approvisionnement en IA et à sa réglementation. En 2021, plusieurs états des États-Unis avaient adopté des lois pour régir certains aspects de l'utilisation de l'IA au gouvernement...

[Un article du San Francisco Chronicle titre « Oakland interdit l'utilisation de la technologie de reconnaissance faciale, citant des préoccupations de partialité ». Le titre d'un article de Vox est le suivant : « Selon l'Illinois, vous devriez savoir si l'IA évalue vos entretiens d'embauche en ligne ».]

Cela va des interdictions formelles concernant l'utilisation de la reconnaissance faciale par les services de police jusqu'aux exigences de catalogage et de surveillance de l'utilisation de l'IA par les gouvernements. Et des régions entières regroupant plusieurs pays s'emploient à coordonner une politique sur l'IA.

[Photo du bâtiment du Parlement européen. Un texte apparaît au-dessus, indiquant « Loi sur l'intelligence artificielle (2021) ».]

L'une des compétences les plus actives sur le plan de la réglementation des données et de l'IA par exemple, l'Union européenne, devait toujours en 2021 aller au-delà de lignes directrices générales non contraignantes en matière d'éthique pour une IA digne de confiance portant précisément sur l'approvisionnement. Au printemps 2021 toutefois, l'UE a adopté l'un des premiers cadres législatifs complets pour l'utilisation de l'IA qui s'appliquera de la même manière aux entités des secteurs privé et public. Dans sa forme actuelle, la loi sur l'intelligence artificielle interdirait totalement certaines applications d'IA et imposerait des obligations relativement à d'autres, selon le niveau de risque pour la santé, la sécurité et les droits fondamentaux des citoyens européens. La loi divise les systèmes d'IA en trois catégories.

[La diapositive se lit « Risque inacceptable ».]

La première est constituée des systèmes à risque inacceptable, comme ceux qui manipulent les personnes par des techniques subliminales ou sont employés pour la notation sociale ou pour l'identification biométrique par les corps policiers.

[Image d'une cote de crédit TransUnion/BMO avec les mots « Risque élevé ». Un article de Forbes est titré « Comment l'IA influence-t-elle les activités de LinkedIn ». Un titre d'article de l'Independent indique « L'Eurostar teste un système d'identification biométrique sans contact utilisant la reconnaissance faciale ».]

La deuxième catégorie est constituée des systèmes à risque élevé. Ce sont ceux qui évaluent par exemple la capacité financière des consommateurs, servent au recrutement ou à la gestion des employés, à l'identification biométrique dans les espaces non publics ou dans les systèmes de sécurité critiques ou pour l'administration de la justice.

[Capture d'écran d'une fenêtre de clavardage d'un service à la clientèle. Les mots au-dessus indiquent « Risque limité et minimal ». L'image passe ensuite à un homme qui scanne une boîte dans un entrepôt à l'aide d'un numériseur de codes-barres.]

Ensuite, il y a les systèmes d'IA qui comportent un risque limité et minimal, ce qui comprend de nombreuses applications d'IA actuellement utilisées dans le monde des affaires, comme les robots conversationnels et la gestion des stocks assistée par l'IA.

[Une nouvelle diapositive s'intitule « UE : Loi sur l'intelligence artificielle ». L'icône d'un feu de circulation rouge. Le texte en dessous se lit comme suit : « Les systèmes qui comportent un risque inacceptable ne seraient plus autorisés au sein de l'Union européenne. »]

Les systèmes de la catégorie du risque inacceptable ne seraient plus autorisés dans l'Union européenne si cette loi était promulguée.

[0 h 23 min 52 s Le feu de circulation passe au jaune. Le texte figurant en dessous change et indique maintenant : « Les systèmes à risque élevé nécessiteraient une surveillance importante ».]

Les systèmes à risque élevé seraient soumis à la plus importante série d'exigences, y compris l'intervention humaine, la transparence, la cybersécurité, la gestion des risques, la surveillance de la qualité des données, et des obligations en matière de production de rapports. Les organisations devraient effectuer des évaluations de la conformité pour tous les systèmes d'IA à risque élevé afin de vérifier s'ils respectent la réglementation applicable et d'autres normes pertinentes.

[0 h 24 min 18 s Le feu de circulation passe au vert. Le texte figurant en dessous change et indique maintenant : « Les systèmes à risque minimal comportent moins d'exigences ».]

Les systèmes considérés comme posant un risque minimal devraient satisfaire sensiblement moins d'exigences, essentiellement sous forme d'obligations de transparence précises.

À l'instar de son importante initiative de réglementation des données, le Règlement général sur la protection des données (RGPD), en raison duquel vous devez maintenant autoriser une abondance de témoins plusieurs fois par jour, les efforts de l'UE pourraient bien exercer une influence sur le nombre de pays dans le monde qui définissent une politique sur l'IA.

[Le texte qui apparaît indique : « Les nouveaux cadres d'approvisionnement sont ambitieux ».]

Quelques éléments semblent clairs lorsque l'on regarde un tel paysage de nouveaux cadres d'approvisionnement. Le premier est qu'ils sont très ambitieux, comme ils devraient l'être. Nous voulons tous à peu près les mêmes choses à propos de l'IA au gouvernement. Nous la voulons équitable et impartiale, transparente, fiable, efficace, responsable et fondée sur les bonnes données. Nous voulons qu'elle fasse l'objet d'une surveillance par des humains sur tout son parcours. Mais au moment même où ces cadres définissent d'ambitieux objectifs, il est également évident que de nombreux responsables du gouvernement chargés de mettre en œuvre une telle vision se demanderont par où commencer.

[Le texte indique : « Par où commencer? ».]

Nos cadres et nos lignes directrices ne sont, pour l'instant, que cela. Ils énoncent des principes assez généraux et, soyons francs, vagues. Le cadre de l'UE, qui en 2021 ne demeure qu'une proposition législative, présente une structure un peu plus concrète, mais est toujours centré sur des principes généraux.

[Graphique à barres empilées intitulé : « Lois et règlements sur l'IA des pays et régions ».]

En ce sens, les lignes directrices sur les marchés publics s'apparentent aux centaines de séries de lignes directrices et de principes que nous avons vus apparaître au cours des dernières années dans les codes de conduite des industries et des entreprises.

[Des mots apparaissent qui se lisent : « Comment mettre les principes en pratique? ».]

Le véritable défi à relever aujourd'hui en matière de politique d'approvisionnement est semblable à celui auquel nous sommes confrontés dans le secteur privé et la société civile : comment mettons-nous les principes en pratique?

[« Leçons découlant de la mise en pratique des principes ». Un titre de l'ACLU indique « La ville de New York s'attaque à la discrimination algorithmique ».]

Voici une mise en garde à propos du défi de passer des visions ambitieuses et des principes à la pratique. New York a été un précurseur dans le monde de la gouvernance de l'IA en mettant sur pied un groupe de travail en 2018 pour émettre des recommandations sur la gestion par la Ville des systèmes décisionnels automatisés. Le groupe de travail s'est appuyé sur divers représentants du gouvernement et partenaires du secteur privé, d'organismes sans but lucratif, de groupes de défense d'intérêts et du milieu de la recherche.

[Un titre de Vox se lit comme suit : « La Ville de New York n'a pu ouvrir les algorithmes de sa propre boîte noire. Et maintenant? ».]

Un rapport a été publié en novembre 2019, mais beaucoup ont estimé que le travail n'avait pas atteint ses objectifs.

[Un titre de Fast Company indique : « Le premier effort pour réglementer l'IA est un échec spectaculaire ». Un autre titre indique : « Le groupe de travail de la Ville de New York sur les algorithmes était du gaspillage, selon un membre ».]

En fait, un membre du groupe de travail a parlé d'un « échec retentissant » et un autre a qualifié le rapport de « gaspillage » et de « triste précédent ». Qu'est-ce qui a mal tourné?

Les critiques ont estimé qu'il n'avait jamais dépassé le stade des grandes généralités et n'a pas permis de révéler, comme beaucoup le souhaitaient, où les algorithmes étaient déjà utilisés dans l'administration municipale. Mais le plus grand défi était peut-être celui du seuil.

[Capture d'écran d'un rapport de la police de New York]

Qu'est-ce qu'un système décisionnel automatisé? Une procédure automatisée, conçue par des humains et écrite sur papier, à l'ancienne, comme le guide de patrouille de la police de New York, entre-t-elle dans ce critère?

[Capture d'écran d'une feuille de calcul Excel]

Les fonctionnaires municipaux craignaient que chaque feuille de calcul Excel utilisée pour « automatiser » les millions de décisions prises par ses nombreux bureaux ne soit soumise à un nouveau régime de surveillance réglementaire. Mais d'autres parties prenantes, notamment des défenseurs des droits civils et des chercheurs, ne voulaient pas exclure de la surveillance tout ce qui n'était pas des systèmes d'apprentissage automatique plus poussés, car, comme l'a dit l'un d'eux, « certaines des formes d'automatisation les plus efficaces fonctionnent encore sur Excel ou avec de simples scripts. Vous n'avez pas besoin d'un modèle de langage naturel de plusieurs millions de dollars pour créer un système dangereux qui prend des décisions sans intervention humaine et a le pouvoir de changer la vie des gens ».

Tout est dans les détails. Et tout effort concret pour l'utilisation de l'IA au sein du gouvernement nécessitera de s'attarder à de très, très nombreux détails.

[La diapositive affiche le texte suivant : « Le coût des efforts peut freiner l'engagement dès le départ. »]

Le fait de demander aux organismes gouvernementaux de se livrer à une évaluation, une documentation et une consultation approfondies peut également freiner l'engagement dans ce programme ambitieux dès le départ. Le Canada a un exemple édifiant à cet égard...

Le titre d'un article du Globe and Mail se lit comme suit : « La Défense nationale a contourné les règles fédérales en ayant recours à l'intelligence artificielle, selon le commissaire à la protection de la vie privée ».]

Bien que le Canada ait été le premier pays à exiger des évaluations de l'incidence algorithmique pour l'approvisionnement fédéral, en 2021, le commissaire à la protection de la vie privée a signalé que le ministère de la Défense nationale avait testé l'utilisation de l'IA sans mener ni publier d'évaluation. En fait, un article de presse a révélé qu'en date de février 2021, seulement un organisme gouvernemental avait effectué une EIA, et celle-ci avait été faite par le bureau ayant présenté l'exigence.

[La diapositive se lit comme suit : « Quoi faire ensuite? ».]

C'est peut-être parce que le fait de répondre à des questions comme « Les clients de ce secteur d'activité sont-ils particulièrement vulnérables? » et « Les enjeux de la décision sont-ils très élevés? » est plus facile à dire qu'à faire. Ou du moins de ne pas y répondre par « oui » ou « non ». L'évaluation ne vise qu'à favoriser la prise de décision, mais pour bon nombre de personnes au gouvernement, les prochaines étapes ne sont pas claires. Il s'agit d'un défi que nous devons relever tous ensemble.

[Les mots « Outils possibles » s'affichent. Des puces apparaissent au fur et à mesure qu'elle en fait mention.]

Certains des outils sur lesquels je travaille avec mes collègues du monde entier comprennent des systèmes et des paramètres de certification, des outils de surveillance et d'évaluation automatisés et ce que j'appelle des « technologies réglementaires », comme des dispositifs d'IA pouvant cerner les biais potentiels dans un système décisionnel automatisé ou des logiciels capables d'assurer le respect d'exigences concrètes en matière de confidentialité et de sécurité.

[Une accolade violette pointe de la liste au texte « Partenariats public-privé ».]

La mise au point de ces technologies nécessitera des partenariats public-privé afin de créer les mesures incitatives nécessaires pour réaliser les investissements que ces technologies exigeront. Évidemment, les gouvernements doivent contribuer à promouvoir ces technologies et jouer un rôle pour relever le défi de la gouvernance responsable de l'IA, non seulement dans les marchés publics, mais dans le secteur privé et la société civile de manière plus générale.

Finalement, nous devrons veiller à ce que nous attendons de nos systèmes d'IA soit soumis à un contrôle démocratique.

[Des mots apparaissent au-dessus de l'image : « Les gouvernements jouent un rôle essentiel pour mettre les principes en pratique. ».]

Les gouvernements, en tant que représentants des citoyens et résidents, sont ceux qui devront traduire les principes énoncés au sens large en normes et paramètres concrets afin que nous puissions avoir des systèmes d'IA au sein du gouvernement qui sont justes, responsables, efficaces et déployés de manière appropriée.

[Elle sourit et disparaît. Une carte violette arborant une étoile rayonnante porte le titre « Série L'intelligence artificielle est à nos portes ». Neil réapparaît, remplissant l'écran.]

Bienvenue à nouveau. Merci à Gillian et à Peter pour ces remarques introductives, ce sont des cadres vraiment intéressants pour nous aider à réfléchir à l'utilisation de l'IA au sein du gouvernement. C'est très bien d'y réfléchir, et je pense que cela contribue à l'établissement d'un contexte approprié. Maintenant, comme promis, nous vous présentons deux experts dans le domaine qui vont nous aider à aborder certaines questions et – et à approfondir davantage certaines idées. Nous allons également répondre à vos questions, alors n'hésitez pas à utiliser la fonction de clavardage pour nous faire part de vos questions à l'avance.

[Il est rejoint dans le vidéoclavardage par deux autres participants. Au fur et à mesure que chacun parle, leur intervention remplit brièvement l'écran.]

Nous vous présentons donc Cary Coglianese et Daniel Ho, deux professeurs très estimés. J'ai effectué une présentation un peu plus détaillée au début, mais peut-être qu'en premier lieu, nous pourrions demander à chacun de vous présenter de manière plus précise et de mentionner tout élément que vous aimeriez ajouter sur vos travaux et le contexte dans lequel vous évoluez. Et aussi, pourriez-vous nous faire brièvement part de vos premières réactions concernant les exposés de Gillian et de Peter? Peut-être, Daniel, pourrais-je commencer par vous si vous le voulez bien. Juste un mot de présentation et votre réaction à ce que nous venons d'entendre.

[Daniel intervient, remplissant le cadre. Peu après, un sous-titre apparaît dans le coin inférieur gauche, indiquant « Daniel E. Ho. Université Stanford. ».]

Bien sûr. Je suis professeur à l'Université Stanford, où j'occupe également les fonctions de directeur associé de l'Institut pour l'intelligence artificielle centrée sur l'humain, et de directeur du RegLab, lequel s'engage en fait dans le type de partenariat public-privé auquel Gillian faisait allusion. Nous nous associons à des organismes gouvernementaux dans le cadre de projets de démonstration sur la manière de construire une IA de manière responsable, au moyen de partenariats entre organismes universitaires. J'ai donc trouvé que les remarques introductives étaient vraiment intéressantes. J'aimerais définir plus précisément le contexte lié aux travaux réalisés avec des collègues, David Engstrom [inaudible] et Cathy Sharkey, que Peter a mentionnés. Nous avions rédigé un rapport sur l'utilisation de l'IA au sein des 140 principaux organismes de réglementation fédéraux américains, dont environ la moitié en faisaient une expérimentation sérieuse. Les ingénieurs de Stanford qui faisaient partie de cette équipe de recherche assez importante n'ont toutefois pu évaluer qu'environ 12 % de ces cas d'utilisation hautement sophistiqués. Pour moi, l'une des principales conclusions de cette étude est qu'il est essentiel de disposer d'un personnel capable d'analyser l'utilisation de ce type de systèmes. Je suis ravi de vous en dire plus sur certains projets de démonstration que nous avons réalisés avec le RegLab de Stanford et de vous donner un exemple de l'importance de la dimension personnelle dans la construction d'un certain nombre de prototypes par la Securities and Exchange Commission, dont Peter a parlé. Ce qui était très intéressant, c'est qu'en fin de compte, l'équipe d'apprentissage automatique devait fournir les résultats de ces évaluations aux procureurs de première ligne qui montaient les dossiers, et ce sont vraiment les avocats de cette organisation qui contestaient la fiabilité des évaluations et disaient : « Écoutez, vous ne pouvez pas simplement vous contenter de me dire quel est le niveau de risque associé à ce dossier particulier de délit d'initié. Je dois être en mesure de construire le dossier et de présenter mes arguments à un juge. Vous devez donc me dire ce qui a exactement déclenché ces résultats en matière de risque et pourquoi je dois examiner ce dossier. » Et cela, je pense que c'est une grande partie de la manière dont nous allons orienter le développement responsable dans ce type d'espace à l'avenir, en particulier dans le secteur public.

Fascinant. Eh bien, nous souhaitons revenir sur les questions de l'explicabilité et de la transparence, en particulier pour les organismes de réglementation dont les décisions, vous savez, sont contestées chaque fois qu'elles sont prises. C'est donc absolument fascinant. Cary, à vous. Juste un mot pour vous présenter et quelques réactions à... à la conférence.

[Cary prend la parole. Un bandeau violet apparaît dans le coin inférieur gauche indiquant « Cary Coglianese. Université de Pennsylvanie ».]

Certainement. Et Neil, je suis ravi d'être ici. Je vous remercie de l'invitation. Je m'appelle Cary Coglianese. Je suis rattaché à la faculté de droit de l'Université de Pennsylvanie, où je dirige le programme Penn sur la réglementation, et j'ai travaillé dans le domaine du droit administratif et de la réglementation tout au long de ma carrière. Plus récemment, j'ai mené un certain nombre de projets liés à l'intelligence artificielle et à son utilisation par les organismes de réglementation. Mais mon intérêt pour le lien entre la technologie de l'information et le processus réglementaire ne date pas d'hier. En fait, il a commencé... bon, je ne devrais peut‑être pas mentionner mon âge, mais vous savez, avant même que les organismes fédéraux aient des sites Web et qu'on passe à ce qu'on pourrait appeler l'ère 1.0 des technologies de l'information et de la réglementation. On est aujourd'hui bien au‑delà de ça. Mais... mais toujours dans la même veine. Et c'est avec beaucoup d'intérêt que je suis ici aujourd'hui, et heureux de poursuivre sur ce qui a été amené dans les présentations d'ouverture. Je dirais, pour revenir un peu sur ce que Dan... en fait, pour ajouter à ce que Dan disait, et à ce que Gillian disait, concernant les partenariats public-privé. C'est franchement la réalité pour la plupart des organismes gouvernementaux; ils n'ont pas vraiment d'autre choix que d'obtenir une certaine capacité qui vient habituellement du privé. Ce qu'il est important de connaître, quand il est question de mettre en place ces partenariats, c'est le processus d'approvisionnement et de passation de marché, et l'établissement d'un lien avec des experts‑conseils du privé, pour que le gouvernement puisse avoir accès à l'information et qu'il puisse répondre aux questions qui pourraient émerger sur l'explicabilité et la transparence du processus. Il y a eu un litige aux États-Unis qui a été porté devant la cour fédérale du Texas sur l'utilisation de certains algorithmes pour évaluer les enseignants et leur rendement au sein du Houston Independent School District. L'affaire a été portée devant les tribunaux, car les enseignants affirmaient qu'il y avait infraction à l'application régulière de la loi. Il était vraiment important de comprendre comment ces algorithmes fonctionnaient, comment ils évaluaient ces enseignants et pourtant, l'entreprise n'a jamais voulu dévoiler quoi que ce soit. Ils étaient même en négociation pour une enquête à huis clos sur l'algorithme et le contractant privé y était réfractaire. Je pense que, dans ce cas particulier, ça a été vraiment déterminant et que le juge a finalement rendu une décision sur une question préliminaire, mais une question préliminaire qui était importante pour les enseignants; en fin de compte, l'affaire s'est soldée par un règlement. Mais c'est en grande partie parce que l'arrondissement scolaire n'avait pas vraiment conclu de contrat avec l'expert-conseil, contrat qui l'aurait assuré d'avoir accès, au moins en cas de litige, aux renseignements clés pour qu'il puisse se défendre. Donc, il faut s'engager dans ces partenariats publics privés avec lucidité et anticiper non seulement les besoins les plus immédiats de mener tel ou tel projet, mais aussi ce qui pourrait arriver en cas de controverse, ou de poursuite même, avec un projet donné. Pourrons-nous contrer la revendication des parties privées à la protection de leur marque de commerce ou d'une propriété intellectuelle liée à leur algorithme, leurs données et leur travail? Fascinant. Je veux dire... allez-y. Je voudrais juste renchérir un peu sur ce que Cary vient de dire. Je crois qu'il a tout à fait raison. Le levier des marchés publics est ici très important pour le secteur public. J'ai un autre exemple à ce sujet. Le service des douanes et de la protection des frontières avait passé un certain nombre de marchés pour des services en technologie biométrique à utiliser pour les passages à la frontière. Et dans l'une des applications de lecture de l'iris, il y a eu des erreurs assez importantes, et le contractant a refusé, en invoquant la protection de la propriété intellectuelle, de divulguer la source de ces erreurs. Ce serait évidemment inacceptable dans le contexte du secteur public, qui a la responsabilité, en quelque sorte, de fournir des explications en vertu des principes typiques du droit administratif. Et bien sûr, en vertu des principes d'application régulière de la loi qui menacent une grande partie du droit administratif, comme Cary l'a mentionné. Il faut donc bien faire les choses et ne pas envisager ce type d'approvisionnement comme une forme figée de passation de marchés, car beaucoup de ces systèmes d'AI évoluent au fil du temps, soit avec l'introduction de nouvelles données. Il faut mettre à jour les systèmes, intégrer de nouveaux flux de données... Et tout cela doit être intégré au contrat d'approvisionnement afin de ne pas se retrouver avec un modèle figé qui devient vraiment difficile à adapter en fonction des changements de contexte. Messieurs, est‑ce que je peux vous poser une question bien naïve? On peut questionner les décideurs, car ils ont des comptes à rendre à un comité politique, un comité de surveillance, etc. Mais comment fait-on pour interroger un algorithme? Comment s'assurer qu'un algorithme est exécuté de manière équitable? Lequel d'entre vous voudrait commencer?

Je dirais qu'il y a d'abord l'accès aux renseignements concernant l'algorithme. Comment est-il structuré, d'abord? Quelle est la fonction objective qui est établie, qu'il essaie d'accomplir? Comment est-ce défini mathématiquement? Ces données vous donnent un aperçu de la situation. Et vous avez utilisé le mot « questionner ». Je commencerais plutôt par parler simplement de divulgation d'informations. Connaître la finalité de l'algorithme, les moyens pris pour optimiser cette fonction objective. Quelles sont les sources de données sous-jacentes qui sont utilisées? Quels efforts ont été déployés pour vérifier et valider l'efficacité de l'algorithme? On peut penser à de la documentation, à des tests de rendement, des méthodes de calcul des erreurs... Les données sous-jacentes qui entourent l'algorithme peuvent être diffusées. Dans certains cas, comme vous le savez, Neil, en vertu de la directive canadienne sur la prise de décisions automatisée, il y a une évaluation de l'incidence algorithmique qui représente un outil de divulgation des données sur la structure et la fonction d'un algorithme. Oui, pour renchérir sur ce que Cary dit, il s'agit d'une sorte d'évaluation des données sur lesquelles un algorithme est formé. On évalue aussi le modèle, qui porte principalement sur l'objectif ou le résultat désiré; les caractéristiques utilisées et le type d'approche qui est déployée sur le plan de la modélisation. Tout ça fait partie du processus de conception algorithmique. Mais il existe aussi une série d'outils intéressants et utiles pour comprendre les faiblesses potentielles d'un algorithme. À l'heure actuelle, le recours à l'IA demeure assez limité, mais il peut être fragile. Il existe donc des sortes de techniques d'ablation et des tests qu'on peut effectuer pour voir, par exemple, si un modèle de vision artificielle ne fait qu'apprendre de l'arrière-plan ou s'il apprend ce qui vous intéresse réellement. Je pense à un exemple formulé par Pietro Peroni, je crois, qui cherchait à comprendre le processus d'apprentissage suivi par un modèle de vision artificielle pour comprendre ce qu'est une vache. Pour le tester, il suffit de mettre l'image d'une vache en arrière-plan sur une plage. Et si l'IA ne reconnaît pas qu'il s'agit d'une vache, c'est que le modèle apprend vraiment beaucoup de raccourcis, qui sont révélateurs de son incapacité à passer d'un domaine à un autre. C'est très important dans le contexte gouvernemental. Dans un article publié dans Nature Medicine, nous avons montré, avec James Zou et ses co-auteurs, que la plupart des appareils dotés de l'apprentissage machine qui sont actuellement approuvés par la Food and Drug Administration sont évalués au sein d'un seul hôpital, et que leur rendement diminue considérablement lorsque le modèle est transposé à d'autres hôpitaux. Il est donc très important que cette forme d'évaluation soit bien établie. La dernière chose que je voudrais noter en réponse à votre question, Neil, c'est que vous avez mentionné la question du biais, qui est bien sûr centrale pour comprendre la fiabilité de ces types d'approches. Et donc, ce qui est essentiel, ici, c'est de tester le rendement parmi tous les sous‑groupes démographiques. En fait, j'aimerais aussi parler un peu plus de certaines des notions d'évaluation que Cary a mentionnées en évoquant l'évaluation de l'incidence algorithmique, mais nous pourrons l'aborder au fil de notre discussion.

C'est super, formidable. Eh bien, la question que je veux maintenant vous poser, et je change un peu de sujet, mais je voudrais revenir à cette idée de l'avenir du travail et de l'IA qui remplace ou qui complète les humains. Il y a beaucoup d'études qui disent qu'un certain nombre d'emplois seront touchés, soit complètement, soit partiellement, par l'automatisation. J'aimerais que chacun d'entre vous me fasse part de son point de vue sur la façon dont nous positionnons et dont nous devrions positionner l'IA par rapport à l'avenir du travail et par rapport au travail même que font les employés. Je commencerais cette fois avec Dan, avant de passer à Cary.

Bien sûr, dans le rapport qu'ils avaient mentionné au début, lorsque nous avons examiné les applications du secteur public dans les 140 principaux organismes de réglementation fédérale, nous avons en fait vu très peu de cas de véritable déplacement d'humains au sein d'un système. Si je pense à la catégorie que Peter mentionnait, je pense que l'exemple qu'il avait mentionné était celui des solutions de clavardage robotisé. Mais même dans ce cas, j'aurais tendance à me demander si ces solutions ne font qu'augmenter les voies de communication avec un organisme donné ou si elles remplacent réellement les lignes d'appel. Je me demande en fait s'il n'y a pas plutôt complémentarité entre ces deux systèmes. Et je suppose que ça m'amène à l'essentiel de mon point sur la question; ce qui importe le plus pour le moment, c'est de réfléchir à l'élaboration de ces cas d'utilisation de manière à augmenter les capacités humaines, et non à les remplacer. Et donc la plupart de ces outils de décision sont en quelque sorte des aides à l'exercice du jugement humain. Pourtant, nous ne voyons pas, par exemple, dans les contextes juridictionnels, des systèmes d'apprentissage automatique qui remplacent complètement l'exercice du jugement. Il s'agit généralement de données qui sont présentées au décideur pour lui permettre de prendre une décision plus éclairée.

Intéressant. Cary.

Je dirais d'abord que dans une partie des travaux auxquels j'ai participé et de la réflexion que j'ai menée sur les questions juridiques concernant l'utilisation de l'IA par le secteur public, j'ai imaginé un avenir dans lequel des machines prendraient le relais et se substitueraient aux humains. Je pense que nous sommes plus proches d'un tel avenir dans certains domaines que dans d'autres. Mais nous y parviendrons, et nous irons même sans doute plus loin. Donc, je suis d'accord avec Dan pour dire que ce n'est pas un problème immédiat, mais je pense qu'à long terme – et ce long terme pourrait être de 10 ou de 15 ans, même – les humains seront remplacés par des machines pour bon nombre de tâches du secteur public. Pour de nombreuses personnes qui participent à la discussion d'aujourd'hui, ça peut paraître un peu troublant. Mais je dirais en même temps qu'il y a là une occasion à saisir. L'occasion de remplacer les humains pour l'exécution de corvées. Et les repositionner pour faire des solutions de clavardage automatisées de meilleurs points de contact, comme l'a souligné Dan. Nous avons l'occasion de rendre le gouvernement plus réactif et plus empathique, en fait, si nous pouvons utiliser l'IA pour gérer les tâches disons plus pénibles. En fait, les occasions de rendre le gouvernement plus réceptif aux gens abondent. Soyons clairs. En imaginant un avenir dans lequel les gouvernements sont plus robotisés, ça peut sembler stérile, exempt de bienveillance. Mais en réalité, il existe déjà un grand nombre de bureaucraties assez stériles et peu attentionnées dans de nombreux pays. Interagir avec des bureaux gouvernementaux n'est pas une expérience des plus enrichissantes ou des plus empathiques. Et donc, le vrai défi à l'avenir, c'est de réfléchir à des moyens de remplacer et d'utiliser les machines là où elles peuvent bien faire les choses et économiser des efforts aux humains, ou peut-être même soutenir leurs efforts pour qu'ils fassent ce qu'ils savent le mieux faire, c'est-à-dire écouter, communiquer et faire preuve d'empathie.

J'aimerais parler d'un des cas les plus intéressants d'utilisation de l'IA au gouvernement fédéral. C'est une histoire vraiment étonnante sur l'innovation du secteur public aux États‑Unis, plus précisément de la Social Security Administration, qui, je pense, met en évidence certains des points que Cary a amenés. Nous parlons souvent des juges‑robots, mais en réalité, l'apprentissage machine est surtout déployé de manière à aider les arbitres dans leur travail. Gerald Rea, avec qui j'ai déjà coécrit, s'est penché sur la question quelque peu. À l'époque où il dirigeait le conseil des appels de la Social Security Administration, il a réalisé que l'organisme était soumis à un stress extrême. L'organisme compte en effet 1 600 juges, qui traitent un demi-million de causes. Il existe des exemples bien documentés, remontant à 50 ans, de l'arbitraire des décideurs. Le professeur Jerry Machar a d'ailleurs écrit qu'essentiellement, il importe davantage de connaître l'identité de l'arbitre que les faits d'une affaire. Gerald Rea s'est rendu compte que l'organisme était parvenu à un point où il ne produisait que des décisions écrites. Il a réalisé que l'organisme n'investissait pas dans le type d'infrastructure de données qui pourrait vraiment l'aider à comprendre où les erreurs étaient commises. Et il a fait une série de recherches très importantes pour saisir ces renseignements. Il a finalement constitué une équipe qui a mis au point un prototype de système de traitement du langage naturel, appelé Insight, qui permet désormais aux arbitres de télécharger des projets de décision. Le système traite l'un des 30 indicateurs de qualité pour comprendre s'il y a ou non des erreurs potentielles dans la prise de décision. Ça ne change rien à la décision. Il signale les erreurs à l'arbitre. Donc les juges peuvent savoir s'ils ont cité une disposition du code américain qui n'existe pas. Ou s'il y a une incohérence potentielle entre la déficience fonctionnelle qu'ils ont relevée dans l'exposé des faits et la conclusion juridique à laquelle ils arrivent. Et je pense que ça met en évidence ce que Cary mentionnait, à savoir cette capacité à augmenter le nombre de décideurs humains, mais aussi à les soulager de certains des défis liés au règlement des différends d'un grand nombre de cas. Et c'est là que se trouve le potentiel vraiment intéressant pour l'IA de revenir aux racines de la doctrine de l'application régulière de la loi. Si on pouvait améliorer la précision des décisions grâce à ce genre d'outils, on pourrait commencer à revoir une partie de l'ancrage de la Cour suprême des États-Unis sur l'application régulière de la loi et sur l'exactitude seule. On pourrait libérer les juges pour qu'ils disposent de plus de temps durant les audiences pour transmettre les principes juridiques et pour échanger avec les demandeurs d'une manière que le système actuel ne permet pas. Et pour créer, possiblement, un système de règlement des différends qui ne soit pas aussi désuet et antipathique que celui d'aujourd'hui pour les demandeurs.

Les gens n'ont donc pas besoin de craindre que les algorithmes volent leur travail, mais les gens qui comprennent les algorithmes seront plus efficaces, probablement, que ceux qui n'y entendent rien. Ce que je retiens de ce que vous avez dit, tous les deux, c'est que nous devrions tous apprendre à utiliser ces outils, tout comme les comptables apprennent à utiliser Excel ou une calculatrice. Nous devrions utiliser ces outils pour améliorer la qualité de nos prises de décisions et leur nombre. C'est fascinant. Vous êtes tous les deux des experts juridiques. Vous avez d'ailleurs parlé du système juridique. Un de nos auditeurs pose une question à ce sujet. La voici : pouvez-vous donner un aperçu des défis rencontrés dans l'utilisation de l'IA au sein du système judiciaire? Le système des tribunaux ou le système juridique. Vous avez déjà abordé ce sujet, mais peut-être que je pourrais vous inviter tous les deux à approfondir la question. Je donnerais d'abord la parole à Cary, cette fois. Quels seraient les facteurs à considérer par rapport à l'utilisation de l'IA dans le système judiciaire et juridique?

Certainement. Permettez-moi d'ajouter quelque chose au dernier point soulevé par Dan concernant l'utilisation de l'IA pour augmenter et améliorer les processus juridictionnels au sein de l'État administratif. Comme je l'ai indiqué, l'une des voies à suivre, c'est de s'occuper d'une partie des tâches plus pénibles pour soutenir les humains dans leur prise de décision humaine et pour leur faire économiser du temps afin qu'ils puissent échanger avec le public. Mais il y a aussi la possibilité que le public veuille simplement une réponse. Il existe des tribunaux administratifs aux États‑Unis où les gens attendent une décision pendant des années. Et peut-être qu'en automatisant certaines des procédures juridictionnelles, on pourrait obtenir des décisions plus rapidement, ce qui serait vraiment satisfaisant pour la plupart des membres du public. Et j'aimerais aussi proposer une analogie du secteur privé, si vous voulez, au processus juridictionnel. PayPal et eBay ont mis au point un outil de résolution des conflits qui est entièrement automatisé : aucun humain n'y apporte la moindre empathie. Néanmoins, ça fonctionne. Lorsque quelqu'un a un différend au sujet d'un contrat qu'il a conclu avec une autre partie privée par l'entremise d'eBay, il peut passer par ce processus automatisé de règlement des différends et résoudre le problème assez rapidement, sans qu'aucun humain n'intervienne. Et ce que rapporte eBay, c'est que les clients qui vivent un différend et qui finissent par recourir à ce système automatisé ont davantage tendance à vouloir revenir et à transiger encore plus avec eBay que ceux qui n'ont même jamais eu recours à ce processus de résolution de conflits. Il est donc possible, me semble-t-il, d'améliorer l'efficacité par l'automatisation des processus et de libérer les humains pour leur permettre d'exécuter d'autres tâches. En ce qui concerne maintenant les défis de l'utilisation de l'IA dans le contexte juridictionnel des tribunaux, eh bien, vous savez, j'ai rédigé un livre qui paraîtra sous peu et qui traite de règlement de différends et de l'administration. Et ce que nous observons, au sein du système judiciaire des États‑Unis, à tout le moins, c'est qu'il y a des éléments constitutifs qui suggèrent la possibilité d'une résolution des conflits en ligne. Mais... mais nous ne sommes pas encore tout à fait là. Et quels sont ces éléments constitutifs? Il y a d'abord beaucoup de numérisation de dossiers de tribunaux, par exemple, à faire. Alors, vous savez quels sont les défis? Eh bien, vous avez besoin de données. Et donc si vous avez encore des tribunaux qui classent tout sur papier, il faudra que ce soit numérisé. C'est le premier point. L'autre chose, aussi, c'est que dans le processus juridictionnel, il y a des décisions singulières à prendre, de type sui generis, sur des scénarios uniques, pour lesquelles le recours à n'importe quel outil d'IA sera intrinsèquement limité. L'IA vous donnera d'excellentes réponses à des questions courantes et pour lesquelles de grands ensembles de données peuvent être agrégés. Mais pour ce qui est de savoir si, par exemple, un certain Tom Smith était à la banque au moment où la banque a été cambriolée, ce genre de décision individualisée, très personnalisée, qui repose en fin de compte sur un arbitre, est probablement plus une décision unique en son genre qui... Maintenant, en construisant le dossier pour une telle cause, sera-t-il possible d'utiliser l'apprentissage automatique pour analyser l'ADN ou les preuves qui ont été trouvées et faire des jugements sur la probabilité que cette preuve appartienne au défendeur? Oui, ce genre d'éléments constitutifs pourraient être utilisés. Mais je pense que ces situations sui generis exigeront toujours un jugement humain. Oui, je pense que Cary a raison, en particulier en ce qui concerne les formes d'arbitrage des organismes qui, c'est connu, prennent des années et des années avant d'arriver à une conclusion. Ainsi, dans le système juridictionnel voué aux anciens combattants américains, il peut s'écouler cinq ans ou plus entre le moment où un avis d'appel est déposé et celui où l'appel est entièrement résolu; ce type de retard entraîne des coûts inhérents. La grande majorité des demandes des anciens combattants dans ce type de système concerne des demandes d'indemnisation pour des blessures subies en service. Ainsi, l'exigence même d'une explication écrite que le système américain met en place peut elle-même être coûteuse pour les demandeurs, et il faut la compenser par un système plus rapide pour résoudre ce type d'appels. Quant aux défis associés au recours à l'IA dans le système juridique, c'est quelque chose qui nous préoccupe encore beaucoup. Je vais donc simplement mentionner quelques-uns des principaux domaines de contestation actuels. Il y a un cas que je trouve intéressant et qui concerne la Cour suprême du Wisconsin. En fait, le tribunal s'est demandé si l'utilisation d'un algorithme commercial dédié à l'évaluation des risques dans le système de justice pénale violait les droits constitutionnels et le droit à une sorte de décision individualisée. Parmi les principaux domaines de préoccupation figurent l'application régulière de la loi et le type de renseignements qui devraient être divulgués aux parties au litige pour qu'elles puissent se défendre avec succès contre quelque chose qui a été influencé par un outil algorithmique de prise de décision. L'autre grande question qui se pose concerne le type de protection égale et d'autres sources de droit anti-discrimination, par exemple pour les cotes d'évaluation du risque pénal. On se demande aussi dans quelle mesure le genre peut être utilisé dans ce type d'outils, étant donné qu'il existe des différences apparentes connues dans la probabilité de récidive entre les sexes. Enfin, je dirais qu'au fur et à mesure que ces types d'outils de décision seront utilisés, et je pense qu'ils sont beaucoup plus susceptibles d'être utilisés dans les cas de règlement des différends de certains organismes parce que le volume de cas est vraiment très élevé, qu'il y a énormément de données à traiter, on découvrira que le type d'étiquettes humaines sur lesquelles les systèmes sont souvent formés, par exemple, pour déterminer si la personne pourrait bénéficier de prestations d'invalidité, peut s'avérer erroné. Ainsi, l'un des défis les plus importants consistera à créer des systèmes vivants permettant de mettre à jour, de repondérer et de sécuriser correctement des étiquettes de meilleure qualité. En effet, l'outil de prise de décision que vous incorporez à un système juridictionnel vous révèle certaines des faiblesses du système juridictionnel humain existant. Vous savez, il y a aussi une possibilité qu'avec le temps, nous perdions cette capacité humaine. Vous savez, un peu comme comment les gens ont plus de difficulté aujourd'hui à lire des cartes et à suivre des directions, maintenant qu'ils peuvent simplement compter sur Google pour leur dire exactement où aller. Nous devons donc réaliser qu'à mesure que nous développerons certains de ces systèmes, s'ils commencent à prendre le dessus sur les humains, nous risquons de perdre certaines capacités humaines. Il pourrait donc y avoir certains domaines, celui des règlements, en particulier, où il serait bénéfique de conserver une sorte de contrôle de la qualité, maintenir un certain degré d'expertise, peut-être un plus petit cadre de juges qui conserveraient leur expertise pour fournir une validation continue au système automatisé.

Voilà des points fascinants. On sait que les humains enseignent aux algorithmes et les améliorent, mais l'idée que l'expérimentation des algorithmes puisse faire apprendre quelque chose aux humains est fascinante. Et il y a aussi ce devoir que nous avons de comprendre les bases des algorithmes et ne pas les laisser prendre le dessus dans la prise de décision, ce qui entraînerait une perte de mémoire collective à ce sujet. Ces éléments sont fascinants. Je veux également vous poser des questions sur l'expérimentation. Vous avez vu beaucoup de solutions. Certaines sont réellement mises en pratique. Elles ont déjà été portées devant les tribunaux et ont fait l'objet de litiges, ce qui est formidable. Mais il y a aussi la question de l'expérimentation et de l'apprentissage dans ce domaine. J'aimerais donc entendre chacun d'entre vous sur la notion de configuration ou d'approche que les fonctionnaires devraient prendre ou créer selon vous pour expérimenter ce genre d'algorithmes et pour en apprendre davantage sur eux. J'aimerais aussi vous entendre sur les pratiques exemplaires que vous avez pu observer dans ce domaine, ou des exemples d'approches que vous avez jugées excellentes. Je commencerais par vous, Dan, compte tenu de l'enquête que vous avez menée, avant de passer à Cary.

Certainement. Quand nous avons discuté avec les nombreux fonctionnaires, de la manière dont ils abordaient le processus de recherche et développement, il n'a pas seulement été question du manque de capacité dans de nombreux organismes de réglementation, mais aussi du défi de répertorier les ensembles de compétences qui se trouvent à l'intersection des connaissances du domaine et des connaissances techniques. Et c'est, en un sens, ce qui était si ingénieux à propos de la forme d'innovation de la Social Security Administration, c'est qu'elle est née d'une contrainte. En effet, Gerald Rea ne pouvait embaucher que des avocats [inaudible]; l'embauche d'un ingénieur logiciel devait passer par le service des technologies de l'information. Il s'est donc contenté d'identifier des avocats qui avaient également des aptitudes pour la science des données et le génie logiciel. Il les a fait statuer sur des causes pendant des années jusqu'à ce qu'ils soient promus et qu'on puisse leur affecter d'autres tâches dans le cadre de leur description de poste. Il s'est donc retrouvé avec ce mélange unique d'experts qui connaissaient les rouages du système d'adjudication, de sorte que le principal développeur du système Insight, Kurt Glaze, a lancé son projet avec le type d'indicateurs qu'il aurait lui-même voulu avoir à sa disposition en tant qu'arbitre, poste qu'il avait en fait occupé pendant trois ans. Je crois que c'est donc un domaine où l'on retrouve une culture très affirmée, propice aux essais, aux prototypes et aux projets pilotes. Dans un autre ordre d'idée, mais toujours sur la question de l'expérimentation – et je sais que ce n'est pas nécessairement dans cette optique que vous posiez la question, Neil – mais je pense qu'il est absolument essentiel pour nous de réfléchir aux normes d'évaluation du fonctionnement de ces systèmes. Et par là, je n'entends pas seulement un sens technique étroit de l'évaluation, sur lequel nous nous concentrons souvent lorsque nous développons des systèmes d'apprentissage machine. Je parle d'une évaluation rigoureuse de la façon dont ces types de systèmes fonctionnent en pratique dans le contexte institutionnel humain où ils sont déployés. Et nous constatons régulièrement que lorsque vous donnez un score de risque à un juge, ça ne se traduit pas directement par un changement de décision. Nous avons des preuves assez récentes que les juges ont effectivement outrepassé, dans certaines circonstances, les recommandations formulées par des algorithmes. Je pense donc que la compréhension de l'incidence réelle sur la prise de décision humaine sera cruciale au fur et à mesure que ces types d'outils seront mis en place.

Ça relève donc du marathon, ce processus qui implique toutes ces sciences de données. Ça prendra des années à bâtir, non? Cary, auriez-vous des stratégies plus rapides à recommander?

Eh bien, certainement, en fait, si vous pouvez embaucher des experts en données directement, vous devriez. Je veux dire, il n'est pas nécessaire de faire une telle gymnastique si vous n'avez pas à le faire, évidemment. Et je pense que ce que Dan dit, c'est que c'était vraiment la seule option disponible à l'époque. Mais clairement... et d'ailleurs, cette anecdote met en lumière un message vraiment important que tout le monde retiendra aujourd'hui : même si nous parlons de technologie et de progrès sur le plan de l'intelligence artificielle que nous mettons en avant, ce n'est pas, fondamentalement, un défi d'ordre technologique. Oui, bien sûr, on a besoin d'experts en données. De la capacité informatique. Des données de cette capacité. On a sans doute aussi besoin de numéros d'identification pour faire correspondre des ensembles de données. Il y a en effet beaucoup d'aspects techniques à toute cette démarche, mais, fondamentalement, c'est d'abord un défi humain. Et il faut renforcer la capacité humaine au sein des bureaux gouvernementaux, des ministères, des organismes ou des services si vous voulez vraiment mener cette entreprise à terme. Au fait, j'espère aussi que les gens ne se contenteront pas de se familiariser avec la directive canadienne, mais qu'ils prendront aussi connaissance d'une foule de meilleures pratiques et de principes qui existent autre part. L'OCDE a un ensemble de principes sur les bonnes pratiques à adopter. Dan a participé à un processus dans le cadre duquel la Conférence américaine des administrateurs a élaboré une déclaration sur les meilleures pratiques, toutes axées sur l'utilisation de l'IA par le gouvernement; et les gens devraient être au courant de tels principes. En ce qui concerne l'évaluation, je crois qu'il y a une certaine valeur dans ce que j'appellerais l'apprentissage algorithmique par observation, c'est-à-dire par la mise en place de structures qui permettent de maintenir le système tel qu'il est et de bâtir cette capacité en arrière-plan, séparément, pour voir comment votre système algorithmique pourrait fonctionner dans l'absolu, soit en remplacement des humains dans la prise de décisions. Mais avant d'atteindre cet objectif final, vous menez ce processus d'observation et vous voyez comment ce système fonctionne par rapport au statu quo. Il y a des problèmes avec les systèmes d'IA. Il y a des biais. Les systèmes d'IA font des erreurs. Ce qu'on espère, en passant à un gouvernement de plus en plus dirigé par l'IA, c'est d'améliorer le rendement actuel de nos administrations. Car franchement, comme nous l'avons déjà dit en parlant des retards entre autres, le système humain n'est pas parfait non plus, pas vrai? Et, très franchement, une grande partie des préoccupations concernant les préjugés et la discrimination des algorithmes est due au fait que ces algorithmes sont formés à partir de données créées par des humains, et donc empreintes des préjugés humains. Quoi qu'il en soit, ce qu'il faut retenir, c'est que la question comparative est vraiment essentielle. À quoi comparons-nous l'IA? Oui, l'IA est associé à des problèmes, mais par rapport à quoi? En menant une sorte de processus d'observation, vous pouvez vraiment rendre cette comparaison explicite dans un cadre d'évaluation et être capable... Je pense que nous le devons au public, très franchement. Si l'objectif est d'automatiser certains processus gouvernementaux, on doit pouvoir démontrer au public que l'IA entraîne une amélioration par rapport au statu quo. C'est vraiment essentiel.

David Engstrom... désolé, juste pour répondre aux remarques de Cary... David Engstrom et moi parlons d'une approche humaine le long de la boucle. Aucune plateforme technologique majeure ne changerait la police de son site Web sans exécuter d'abord des tests AB. Et c'est essentiellement ce dont vous avez besoin dans ce genre de systèmes. Vous disposez d'un nouvel outil de règlement. Il faut comparer des cas jugés de la manière habituelle et des cas qui sont jugés avec l'aide de cet outil pour voir si des différences s'en dégagent, si le résultat s'en trouve amélioré d'après les aspects qui vous paraissent importants : le temps de traitement des dossiers, la réduction des efforts de rédaction entre le superviseur et les avocats, ce genre de facteurs... Je voulais également répondre brièvement à Neil : je ne suggérais pas que la seule façon de procéder était de recourir à la méthode employée par la SSA et qui relève en effet plus du marathon. Je pense qu'en fait, ce que l'étude de cas sur l'innovation de la SSA nous apprend, c'est que certaines des barrières existantes doivent vraiment être levées pour permettre des formes plus responsables d'innovation en matière d'IA. C'est un problème bureaucratique au sens classique du terme que d'avoir des divisions différentes et ne pouvoir embaucher un expert en données que dans un service en particulier et non dans le conseil des appels, alors qu'en fait la personne pourrait interagir avec les experts du domaine. La leçon générale à en tirer, c'est qu'il est vraiment nécessaire de disposer de ce type d'équipes interdisciplinaires qui apportent des connaissances hybrides entre les domaines techniques et les domaines fondamentaux pour élaborer ce type d'outils de manière responsable. Ce serait un désastre si on disait : « L'équipe technique nous développera quelque chose d'ici un an; ça nous sera livré et nous l'adopterons dans la prise de décision. » Ce que l'étude de cas du SSA nous apprend, c'est qu'il s'agit bien plus d'un développement itératif continu pour comprendre ce qui est techniquement faisable, pour comprendre les problèmes de fond qui valent la peine d'être résolus, et où se trouve le point idéal de l'innovation.

Je pense que ça devrait dissuader quiconque de penser qu'il suffit d'appeler un entrepreneur, d'obtenir un contrat et de mettre en place un de ces systèmes en l'espace de quelques mois pour bien le faire et être responsable. Ça prend beaucoup de réflexion.

Eh bien, j'aime beaucoup les points que vous soulevez, mais ça me fait mal de penser que le gouvernement fonctionne en silos alors que nous savons que nous avons besoin d'équipes interdisciplinaires et agiles pour évoluer. Un de nos participants nous pose une question à propos des arriérés. La voici : si on utilise l'IA pour traiter les arriérés plutôt que les méthodes traditionnelles de traitement des arriérés, lesquels pourraient prendre la forme de changements aux règlements, par exemple, n'y a-t-il pas un risque qu'on ne puisse pas relever les points faibles de nos politiques et de nos programmes, que ce soit sur le plan de la conception ou de la prestation? Ne risque-t-on pas de créer un processus pour créer un processus sans réformer le système réellement? Qui veut répondre en premier?

Je serais heureux de me lancer en premier, puisque je pense que c'est une question qui nous ramène à la première question que vous avez posée, Neil, sur l'usage qu'on fait de ce type d'outils. À quel objectif est-ce que l'outil répond? Et on peut avoir comme objectif de diminuer les arriérés. Et on pourrait naïvement construire un système qui prédit le temps de traitement auquel on s'attend pour une affaire donnée et essayer de mettre en œuvre le type de recherche opérationnelle qui permet d'acheminer les cas différemment pour, potentiellement, améliorer leur temps de traitement. Mais la question est vraiment très pertinente, car si vous disposez d'une équipe qui rassemble des compétences variées, ce n'est peut-être pas le problème le plus urgent à traiter. Je vais vous donner un exemple. Au Sanford RegLab, nous avons collaboré avec le service de santé publique du comté de Santa Clara relativement à la recherche des contacts dans le cadre de la pandémie de COVID-19. En l'espace de quelques semaines, le département de la santé publique du comté de Santa Clara – le premier, avec cinq autres comtés de la région de la baie, à émettre un ordre de confinement sur place au pays – a mis sur pied une unité de près d'un millier d'agents de recherche de contacts chargés d'appeler les gens ayant reçu un diagnostic et de les aider dans le processus d'isolement et de quarantaine. Mais au moment de mettre le système en place, on s'est heurté à un défi bien concret en raison des limitations actuelles du logiciel. En effet, il était difficile de faire correspondre les compétences linguistiques des personnes chargées de retracer les contacts avec la langue probablement parlée par les personnes repérées par le système. Il s'agissait d'un défi très important en terme d'équité sanitaire, car si environ un quart de la population du comté de Santa Clara s'identifie comme latino-américaine, plus de 50 % des cas, au départ, concernaient des personnes latino-américaines, et il existe des enjeux linguistiques très importants. Et voici ce que nous n'avons pas fait dans ce processus de conception. Nous ne nous sommes pas dit : « OK, nous avons un millier d'agents de recherche de contacts. Réduisons au minimum le temps de traitement ou essayons de prédire les dossiers les plus faciles à traiter pour accélérer le rythme. » Nous nous sommes plutôt concentrés sur le principe même d'équité en matière de santé. Nous avons donc pris les données de laboratoire dès qu'elles entraient, nous les avons comparées à d'autres données administratives, comme les données de recensement, pour prédire les besoins linguistiques de chaque cas. Puis, nous acheminions les dossiers vers les agents bilingues appropriés. Les résultats ont été assez étonnants. Grâce à un essai contrôlé randomisé, nous avons constaté que cette façon de faire réduisait le temps de traitement des dossiers de 14 heures et qu'elle améliorait l'engagement des patients, qu'on mesurait par le nombre de contacts proposés par les personnes au cours de leur entretien. On aurait pu se demander comment réduire le temps de traitement des cas. Mais en réalité, ce qui était important dans le processus de décision, ici, c'était de cerner ce que la personne qui a posé la question a désigné comme étant un point faible de la politique ou de la prestation du programme. Et ce point faible, c'était l'inadéquation de la langue à laquelle de nombreux agents de recherche de contacts étaient confrontés, de sorte que les personnes qui étaient embauchées en tant qu'agents bilingues n'étaient pas en mesure d'utiliser l'ensemble des compétences qu'elles apportaient de façon singulière.

Incroyable. Cary?

Je dirais simplement que certaines de nos façons de traiter les arriérés sans IA peuvent également manquer ces points faibles, vous savez. On peut en effet se dire : « Donnons l'amnistie à tout le monde. On efface l'ardoise pour régler les arriérés. » Mais on ne cernera pas plus ces points faibles. On doit partir du principe selon lequel l'automatisation et la création de système d'IA vont de pair avec une capacité de traiter les choses plus rapidement. Pour moi, c'est une évidence. Et la remarque de Dan est pertinente. L'objectif ne devrait pas être d'éliminer l'arriéré, mais d'atteindre les résultats qui sont importants pour nous, et de manière plus précise, ou au moins aussi précise, que dans le système actuel. On ne devrait pas supposer que ça sera plus rapide et moins cher simplement parce qu'on élimine beaucoup d'humains et beaucoup de temps de traitement. D'ailleurs, ça m'amène à un autre point. Les gens doivent comprendre que nos processus actuels fonctionnent aussi avec des algorithmes. Il ne s'agit peut-être pas d'algorithmes d'apprentissage machine, mais, vous savez, les procédures que les organismes administratifs doivent suivre, ces listes de contrôle, ce sont aussi des algorithmes. Donc, en fait, on doit choisir entre le type d'algorithmes que nous utilisons aujourd'hui et d'autres types d'algorithmes qui seront, je pense, plus rapides et moins chers. La question est alors de savoir si nous pouvons également atteindre les objectifs de fond et les considérations d'équité du processus que nous visons. Et... parfois, ce ne sera pas le cas, mais dans de nombreux cas à l'avenir, l'utilisation de l'IA pour améliorer le rendement gouvernemental est prometteur. J'aime beaucoup le fait que vous ayez tous les deux mis l'accent sur le rendement de l'algorithme par rapport à l'objectif et sur l'importance de mettre en place des expériences et des évaluations, puis d'analyser de manière critique la contribution de l'IA par rapport à un but, disons, plus étroit, que par rapport à une grande question. J'aimerais maintenant combiner deux questions qui ont été posées par des participants. Vous avez tous les deux mentionné des ressources. La question porte sur ces ressources. La première question est la suivante : « Quels sont les principaux groupes de réflexion, les villes ou les universités que nous devrions examiner si nous voulons en savoir plus sur l'utilisation de l'IA dans le processus de règlement dans le monde? » Et voici la seconde : « Où pouvons-nous consulter les travaux que vous avez réalisés tous les deux? » Je voudrais donc vous donner quelques minutes pour parler de vos références ou de vos sources d'information préférées. Et laissez-moi aussi ajouter que nous allions rassembler tous ces liens dans le résumé que nous enverrons par courriel à tous les participants après l'événement. Peut-être pouvez-vous commencer, Cary, et prendre quelques minutes pour nous parler de votre ressource favorite [01:23:04.05] - [01:23:06.18] Je donnerai ensuite la parole à Dan.

On ne manque pas de bonnes ressources; une partie de l'Organisation de coopération et de développement économique travaille sur ces questions. Dan abordera sans doute le travail que son groupe accomplit à Stanford. Son équipe et lui en font beaucoup. Le groupe de Gary Merchant, en Arizona, en fait beaucoup sur les questions de droit souple et de gouvernance. L'Université de Toronto abrite aussi un groupe de personnes qui travaillent là‑dessus. Il y a aussi mon établissement d'attache. Nous avons un groupe très interdisciplinaire d'informaticiens, d'ingénieurs, de spécialistes des données et d'avocats. Nous interagissons également tous ensemble. Si vous voulez découvrir une partie du travail que je fais, vous pouvez consulter le site du programme Penn sur la réglementation, au www.pennreg.org. Et oui, j'ai écrit un certain nombre d'articles relatifs à l'intelligence artificielle dans la loi. Je peux vous transmettre les liens vers ces articles, si vous voulez les transmettre aux gens. Fantastique. C'est ce que nous ferons. Tout ce que vous nous donnez sera ensuite transmis dans le résumé envoyé par courriel. Dan?

Ouais, il y a beaucoup d'institutions merveilleuses qui travaillent sur la question. Si vous êtes intéressé par certains des travaux que nous faisons ici à Stanford, le site Web pour le Reglab est reglab.stanford.edu, et vous pouvez y trouver, par exemple, un chapitre qui documente ce que la Social Security Administration a fait. Nous y avons publié un rapport assez volumineux qu'on a rédigé pour la Conférence américaine des administrateurs qui traite de l'utilisation de l'IA dans les organismes de réglementation fédéraux, mais qui comporte plusieurs chapitres, en fait, sur les formes de règlement. Ainsi, par exemple, placé sous le droit administratif américain, il y a ce qu'on appelle le règlement informel – à ne pas confondre avec les procédures de quasi-tribunaux – et qui forme la grande majorité des cas de règlement. Il y a un chapitre qui traite en profondeur des outils que la Patent and Trademark Office a tenté de mettre au point pour aider ses examinateurs de brevets et ses examinateurs de marques à améliorer le processus d'examen. Je pense que la question portait aussi sur ce que nous faisons en matière d'éducation dans cet espace pour éviter des formes cloisonnées d'éducation technique. Comment pouvons-nous améliorer cet aspect? Et je pense que l'Institute for Human-Centered Artificial Intelligence de Stanford fait de grands efforts sur ce plan. Nous avons une série de cours qui réunissent des ingénieurs, des spécialistes des sciences sociales et des juristes pour travailler ensemble sur ce type de problèmes. Vous pouvez trouver ça à l'Institut de Stanford et il y a une série de cours qui y sont répertoriés. D'ailleurs, le rapport de conférence des administrateurs que nous avons rédigé faisait partie de ces produits. Nous avons environ 30 étudiants, dont la moitié sont des informaticiens et l'autre moitié des étudiants en droit, qui travaillent ensemble pour vraiment comprendre le côté technique et le côté juridique de chacun de ces cas d'usage particuliers.

Fantastique. Et pour les fonctionnaires fédéraux, je dois également mentionner que l'École de la fonction publique du Canada a un portefeuille de projets réglementaires sur l'IA que nous aimerions partager avec vous, et nous inclurons également un lien à ce sujet dans le suivi. Nous arrivons donc à la fin de notre séance. [01:26:47.29] - [01:26:53.23] J'aimerais demander à chacun d'entre vous de terminer par un message clé à laisser à nos participants? Dan, je commencerais avec vous.

Je pense qu'il existe un énorme potentiel pour l'utilisation de l'IA dans le secteur public. À l'heure actuelle, il y a un écart très net entre le secteur privé et le secteur public. Je ne pourrais donc pas imaginer une entreprise plus importante que celle de trouver comment former – et c'est le genre de questions qui ont été soulevées par les participants aujourd'hui – donc comment former ce genre d'équipes dans le secteur public, pour que les gains sur le plan de la sécurité sociale soient plus spectaculaires qu'au moins certaines des applications de l'IA par le secteur privé. Comme Jeffrey Hammer l'a dit à l'époque, nous prenons en ce moment les esprits les plus brillants du monde et nous les faisons réfléchir à des moyens pour que les gens cliquent sur plus de publicités. Et la mission du RegLab et sur laquelle beaucoup d'entre nous travaillent, c'est de se tourner vers un déploiement responsable dans le secteur public.

Fantastique. Cary?

Je pense que si nous regardons l'histoire des différentes technologies et la façon dont elles ont interagi avec le système juridique, nous voyons certains parallèles avec ce que nous vivons aujourd'hui avec l'intelligence artificielle. Si vous revenez au moment où l'analyse basique de l'ADN a été introduite, je peux vous dire que les tribunaux ont démontré beaucoup de scepticisme et de résistance au début. C'est la même chose pour les alcootests ou les systèmes de détection automatique de la vitesse. Il y a eu beaucoup de résistance au début. Et pourtant, aujourd'hui, ces technologies sont considérées comme les meilleures pratiques existantes, et même à la fine pointe de la technologie. Et ces technologies, qui ont d'abord été source de scepticisme, d'échecs et de problèmes, jusqu'à ce qu'elles soient acceptées et même considérées comme l'étalon-or dans le domaine du règlement judiciaire aujourd'hui, m'inspirent. Je m'en inspire, et je laisserais tout le monde avec une vision pleine d'espoir en ce qui concerne l'intelligence artificielle, également. Je veux dire, je pense qu'il y a beaucoup de sceptiques. Il y a beaucoup de critiques. Et la critique est très importante, très bonne. C'est notamment par elles que ces outils s'amélioreront. Mais il y a beaucoup de ce que je considère comme une sorte d'approche négative des droits l'IA en ce moment. Il y a beaucoup de mouvements politiques de résistance à l'utilisation de l'IA par les gouvernements qui cherchent à donner aux gens le droit à une décision humaine. Mais les décisions humaines ne sont pas toujours aussi bonnes qu'on le croit, n'est-ce pas? Les humains ont aussi leurs défauts, leurs préjugés et leurs problèmes. J'ai donc bon espoir que nous pourrons commencer à construire des outils plus intelligents que nous, qui puissent compléter ce que nous faisons, voire prendre le relais pour certaines des choses que nous faisons au travail, qui puissent faire mieux et résoudre les problèmes plus efficacement. C'est ce que le public demande. Peut-être qu'un jour, dans 15, 20, 30, 40, 50 ans, au lieu d'avoir une approche négative des droits en matière d'IA, nous verrons une approche positive émerger. Les gens l'exigeront. Ils s'y attendront. Pourquoi ne pas confier la résolution de mon problème à l'IA? Pourquoi un humain prend-il cette décision critique qui va affecter ma vie? J'exige un bon système d'IA, fiable. C'est la vision d'espoir qu'il faut avoir pour l'avenir. Ce ne sera pas facile. Ça prendra plus que de la technologie. Ça prendra une bonne prise de décision humaine, responsable, sur la manière de concevoir, de mettre au point, d'évaluer, de valider, de surveiller en permanence et d'améliorer les systèmes d'IA à l'avenir. Mais je pense que nous pouvons y arriver. Je le crois vraiment.

Merci à vous deux. C'est une vision à la fois provocatrice, captivante et optimiste du rôle de l'IA. Une chose est sûre, c'est qu'on doit tous être capables de comprendre cette discussion et d'apprendre ensemble à entrer dans ce nouveau monde, caractérisé par l'utilisation d'outils et d'approches fondés sur l'IA pour éclairer notre jugement afin de créer, comme Dan l'a dit, une valeur publique pour tout le monde. Alors, Cary et Dan, merci pour cette discussion des plus fascinantes. Merci également à Peter et Gillian pour leurs remarques introductives. Cette discussion a été très intéressante. Nous vous avons présenté cette discussion par l'entremise de l'École de la fonction publique du Canada, en collaboration avec le Schwartz Riesman Institute de l'Université de Toronto. Ce sont des leaders dans ce domaine, comme ça a été mentionné, et nous continuerons à vous apporter du contenu ensemble dans ce domaine. En attendant, si vous souhaitez en savoir plus sur l'intelligence artificielle, consultez les ressources de l'Académie du numérique sur le site Web. Nous souhaitons certainement vous présenter d'autres événements comme ceux-ci, avec des présentateurs et des experts pour nous parler de leur domaine et pour discuter avec nous.

[Un bandeau apparaît dans le coin inférieur gauche, indiquant « canada.ca/school-ecole »]

Je vous remercie aussi pour vos questions. Par ailleurs, vos commentaires sont très importants pour nous. Nous vous enverrons une évaluation électronique. Svp, remplissez-la. Nous nous réjouissons de vous revoir la prochaine fois. Consultez le site Web de l'École de la fonction publique du Canada pour découvrir les dernières offres et activités d'apprentissage. Le prochain événement de cette série aura lieu le lundi 17 janvier. Nous aborderons alors l'influence de l'IA sur l'économie. Nous aurons bientôt les détails entourant l'inscription et nous espérons vous voir à cet événement. Donc, une fois encore, merci beaucoup pour votre participation aujourd'hui. Bonne semaine à tous!

[Dan salue.]

Merci beaucoup.

[La discussion prend fin; elle est remplacée par le logo Webdiffusion. Le logo du Canada apparaît.]