L’achat de technologies par le gouvernement est une « vulnérabilité »
Le processus d’approvisionnement est un point clé de faiblesse dans le développement et l’utilisation par le gouvernement des technologies émergentes, et les droits de l’homme doivent être mieux pris en compte dans ce processus, selon le commissaire aux droits de l’homme Ed Santow.
Après trois ans de recherche et de travail, la Commission australienne des droits de l’homme a publié son rapport final sur les droits de l’homme et la technologie la semaine dernière, avec près de 40 recommandations au gouvernement pour garantir l’équité des technologies émergentes et protéger les droits de l’homme.
Un certain nombre de recommandations concernaient les marchés publics, ce qui, selon M. Santow, est une vulnérabilité importante pour le moment.
«Le gouvernement doit être en mesure de poser les bonnes questions dans le processus d’approvisionnement. C’est un point de vraie vulnérabilité. Si vous ne faites pas cela correctement, vous pouvez vous retrouver avec un système d’IA qui cause un réel préjudice », a déclaré M. Santow à InnovationAus.
«Si vous faites cela correctement, vous êtes en mesure de vous assurer que le processus d’approvisionnement pose les bonnes questions et dispose des bonnes protections, et alors vous disposez d’un système vraiment robuste dans lequel le gouvernement peut avoir confiance.»
La Commission a demandé au gouvernement de charger le ministère des Finances et l’Agence de transformation numérique de modifier les lois, politiques et lignes directrices actuelles sur les marchés publics afin de garantir la protection des droits de l’homme dans la conception et le développement de nouvelles technologies.
«Il est de plus en plus courant d’utiliser les processus de passation des marchés publics comme un levier pour influencer le comportement afin d’obtenir d’autres résultats politiques. Il est vital que le gouvernement se dote de systèmes de prise de décision éclairés par l’IA qui soient sûrs et protègent les droits de l’homme », indique le rapport.
«Le gouvernement australien travaille généralement avec le secteur privé et s’appuie sur lui pour développer des systèmes de prise de décision éclairés par l’IA. Il est donc bien reconnu que les marchés publics doivent se concentrer sur la garantie que ces systèmes sont sûrs et respectent les droits de l’homme. »
Cela devrait commencer par un examen des règles et politiques en vigueur en matière de passation de marchés pour s’assurer qu’elles reflètent une approche des nouvelles technologies fondée sur les droits de l’homme. Des protections devraient alors être incluses lorsque le gouvernement cherche à se doter d’un système de prise de décision éclairé par l’IA, en mettant l’accent sur le fait que l’outil est transparent, explicable et responsable.
La Commission des droits de l’homme a cité les lignes directrices du Bureau de l’intelligence artificielle du gouvernement britannique pour les achats d’IA de l’année dernière comme un exemple de voie à suivre pour l’Australie.
Ces lignes directrices visent à garantir que les risques associés à cette technologie sont identifiés et gérés au tout début de la passation des marchés, et que l’explicabilité et l’interprétabilité des algorithmes sont incluses comme critères de conception.
Il est également important d’améliorer les connaissances au sein du secteur public sur ces nouvelles technologies et les risques qui leur sont associés, a déclaré M. Santow.
«Vous devez comprendre à un niveau élevé quels sont les risques et les opportunités de la stratégie afin de pouvoir prendre une bonne décision quant aux endroits où il est sûr et efficace d’utiliser l’IA dans les agences gouvernementales ou dans une entreprise», a-t-il déclaré.
«Le gouvernement doit comprendre plus en détail dans le processus de passation des marchés où se trouvent les points faibles afin de pouvoir bien conduire le processus et faire face à ces risques.»
Cela n’oblige pas tous les fonctionnaires à connaître en profondeur l’IA, mais une amélioration générale des compétences autour de l’IA est nécessaire, a-t-il déclaré.
«Vous n’avez pas besoin de pouvoir démonter une voiture et de la construire à partir de zéro, mais vous devez savoir que si vous poussez ce levier, il avance afin que vous puissiez l’utiliser en toute sécurité. Ce niveau de perfectionnement est important », a déclaré M. Santow.
«Il ne s’agit pas de faire de tout le monde un scientifique des données ou un expert en IA, il s’agit de permettre aux gens de fonctionner efficacement dans un monde qui utilise de plus en plus l’IA.»
La Commission des droits de l’homme a également recommandé que le cadre d’approvisionnement numérique de l’Agence de transformation numérique pour les achats de TIC soit modifié pour inclure des références spécifiques aux protections des droits de l’homme, et pour que tout fournisseur d’un système de prise de décision éclairé par l’IA doive effectuer une évaluation d’impact sur les droits de l’homme.
Des orientations supplémentaires devraient également être fournies aux décideurs gouvernementaux pour décider si un système de prise de décision éclairé par l’IA soutiendra le respect des mesures juridiques garantissant le droit à un recours, et pour assurer le respect des normes australiennes et internationales pertinentes, le rapport mentionné.
Vous en savez plus? Contactez James Riley par e-mail ou par signal.