NYC vise à être le premier à maîtriser les outils de recrutement d’IA

Les candidats savent rarement quand des outils d’intelligence artificielle cachés rejettent leur curriculum vitae ou analysent leurs entretiens vidéo. Mais les résidents de la ville de New York pourraient bientôt avoir davantage leur mot à dire sur les ordinateurs qui prennent des décisions en coulisses concernant leur carrière.

Un projet de loi adopté par le conseil municipal début novembre interdirait aux employeurs d’utiliser des outils de recrutement automatisés, à moins qu’un audit annuel des préjugés ne puisse montrer qu’ils ne feront pas de discrimination en fonction de la race ou du sexe d’un candidat. Cela obligerait également les fabricants de ces outils d’IA à divulguer davantage sur leur fonctionnement opaque et donnerait aux candidats la possibilité de choisir un processus alternatif – comme un humain – pour examiner leur candidature.

Les partisans la comparent à une autre règle pionnière de la ville de New York qui est devenue un porte-drapeau national au début du siècle – une règle qui obligeait les chaînes de restaurants à ajouter un nombre de calories à leurs plats.

Au lieu de mesurer la santé des hamburgers, cependant, cette mesure vise à ouvrir une fenêtre sur les algorithmes complexes qui classent les compétences et les personnalités des demandeurs d’emploi en fonction de leur façon de parler ou de ce qu’ils écrivent. De plus en plus d’employeurs, des chaînes de restauration rapide aux banques de Wall Street, s’appuient sur de tels outils pour accélérer le recrutement, l’embauche et les évaluations sur le lieu de travail.

« Je pense que cette technologie est incroyablement positive, mais elle peut produire de nombreux dommages s’il n’y a pas plus de transparence », a déclaré Frida Polli, cofondatrice et PDG de la startup new-yorkaise Pymetrics, qui utilise l’IA pour évaluer les compétences professionnelles par le biais de jeux. comme les évaluations en ligne. Son entreprise a fait pression pour la législation, qui favorise des entreprises comme Pymetrics qui publient déjà des audits d’équité.

Mais certains experts en IA et militants des droits numériques craignent que cela ne aille pas assez loin pour réduire les préjugés, et disent que cela pourrait établir une norme faible pour les régulateurs fédéraux et les législateurs à réfléchir alors qu’ils examinent les moyens de freiner les applications d’IA nuisibles qui exacerbent les inégalités. en société.

« L’approche de l’audit de la partialité est bonne. Le problème est que la ville de New York a adopté une norme très faible et vague pour ce à quoi cela ressemble », a déclaré Alexandra Givens, présidente du Center for Democracy & Technology. Elle a déclaré que les audits pourraient finir par donner aux fournisseurs d’IA une «feuille de vigne» pour la construction de produits à risque avec l’imprimatur de la ville.

Givens a déclaré que c’est également un problème que la proposition vise uniquement à protéger contre les préjugés raciaux ou sexistes, en laissant de côté les préjugés plus difficiles à détecter contre les handicaps ou l’âge. Elle a déclaré que le projet de loi avait récemment été édulcoré de sorte qu’il demande simplement aux employeurs de respecter les exigences existantes en vertu des lois américaines sur les droits civiques interdisant les pratiques d’embauche qui ont un impact disparate basé sur la race, l’origine ethnique ou le sexe. La législation imposerait aux employeurs ou aux agences de placement des amendes pouvant aller jusqu’à 1 500 $ par infraction, bien qu’il appartienne aux vendeurs de mener les audits et de montrer aux employeurs que leurs outils répondent aux exigences de la ville.

Le conseil municipal a voté 38 contre 4 pour adopter le projet de loi le 10 novembre, donnant un mois au maire sortant Bill De Blasio pour le signer, opposer son veto ou le laisser entrer en vigueur sans signature. Le bureau de De Blasio dit qu’il soutient le projet de loi mais n’a pas dit s’il le signerait. S’il est promulgué, il entrerait en vigueur en 2023 sous l’administration du maire élu Eric Adams.

Julia Stoyanovich, professeure agrégée d’informatique qui dirige le Center for Responsible AI de l’Université de New York, a déclaré que les meilleures parties de la proposition sont ses exigences de divulgation pour faire savoir aux gens qu’ils sont évalués par un ordinateur et où vont leurs données.

« Cela mettra en lumière les fonctionnalités utilisées par ces outils », a-t-elle déclaré.

Mais Stoyanovich a déclaré qu’elle était également préoccupée par l’efficacité des audits de biais des outils d’IA à haut risque – un concept qui est également examiné par la Maison Blanche, des agences fédérales telles que la Commission pour l’égalité des chances dans l’emploi et les législateurs du Congrès et du Parlement européen.

« La charge de ces audits incombe aux fournisseurs d’outils pour montrer qu’ils se conforment à un ensemble rudimentaire d’exigences très faciles à respecter », a-t-elle déclaré.

Les audits n’affecteront probablement pas les outils de recrutement internes utilisés par des géants de la technologie comme Amazon. Il y a plusieurs années, l’entreprise a abandonné l’utilisation d’un outil d’analyse de curriculum vitae après avoir découvert qu’il privilégiait les hommes pour les rôles techniques, en partie parce qu’il comparait les candidats à un poste à la main-d’œuvre technologique de l’entreprise à prédominance masculine.

Il y a eu peu d’opposition vocale au projet de loi des fournisseurs d’embauche d’IA les plus couramment utilisés par les employeurs. L’un d’entre eux, HireVue, une plate-forme d’entretiens d’embauche vidéo, a déclaré dans un communiqué cette semaine qu’il se félicitait de la législation qui « exige que tous les fournisseurs respectent les normes élevées que HireVue soutient depuis le début ».

La Chambre de commerce du Grand New York a déclaré que les employeurs de la ville ne verraient probablement pas les nouvelles règles comme un fardeau.

« Tout est une question de transparence et les employeurs doivent savoir que les entreprises de recrutement utilisent ces algorithmes et logiciels, et les employés doivent également en être conscients », a déclaré Helana Natt, directrice exécutive de la chambre.