Auditeur de l’Utah: la société de surveillance Banjo n’a pas pu faire ce qu’elle prétendait

Un audit d’état posthume de la start-up de surveillance de haute technologie Banjo – qui a brièvement détenu un contrat d’une valeur de dizaines de millions de dollars avec les forces de l’ordre de l’Utah – a révélé que la société Park City n’était jamais capable de fournir les services promis et avait un accès inapproprié aux bases de données sensibles. informations.

Le vérificateur d’État John Dougall a également soulevé des questions sur le processus de vérification des marchés publics dans un rapport publié la semaine dernière, notamment sur la question de savoir si des vérifications des antécédents criminels devraient être effectuées sur les personnes qui dirigent des entreprises qui gagnent des contrats publics lucratifs.

Ce dernier problème a un lien direct avec l’incident qui s’avérerait être la perte de Banjo – des révélations selon lesquelles le fondateur et PDG de Banjo, Damien Patton, avait des liens avec des groupes suprémacistes blancs et a participé à un incident en tant qu’adolescent dans lequel des coups de feu ont été tirés sur une synagogue juive en Tennessee.

Un guide des meilleures pratiques que le bureau de Dougall a publié en février, inspiré en partie par les faux pas révélés dans l’audit de Banjo, suggère de futurs contrats gouvernementaux, et en particulier ceux visant à engager des technologies nouvelles et émergentes comme l’intelligence artificielle et l’apprentissage automatique, devraient inclure la vérification «Personnel clé du fournisseur».

Patton n’a fait l’objet d’aucun type de vérification des antécédents, car elle n’est pas requise en vertu des règles actuelles des marchés publics. Et, le procureur général de l’Utah, Sean Reyes, dont le bureau était l’agence principale dans un contrat de coopérative d’État conclu avec Banjo en 2019, a écrit dans une lettre à Dougall que même si Patton avait été examiné, ses problèmes passés n’auraient probablement pas été découverts de toute façon.

«À titre préliminaire, dans (les demandes de propositions) telles que celle à laquelle Banjo a participé, il n’y a aucune obligation dans le processus de passation des marchés publics pour le bureau du procureur général de l’Utah d’enquêter sur les entreprises et en particulier pas sur leurs employés», a déclaré Reyes. «Le bureau du procureur général de l’Utah, cependant, est allé au-delà de ce qui est normalement fait pour les entrepreneurs, notamment en menant des entretiens avec des collègues, des experts en technologie, des dirigeants d’autres entreprises familiers avec le PDG, des responsables de l’application de la loi, des élus, etc.

«Les informations négatives ultérieures qui ont été révélées à propos de M. Patton étaient contenues dans des dossiers qui ont été scellés et / ou qui n’auraient pas été disponibles dans le cadre d’une solide vérification des antécédents criminels.»

Le contrat de l’État avec Banjo a duré cinq ans et valait un potentiel de 21 millions de dollars. Des dizaines d’agences et d’institutions municipales de l’Utah ont également conclu des accords avec Banjo dans le cadre d’accords de fournisseur privilégié de l’État. L’État a suspendu son contrat principal à la suite des révélations du passé de Patton en avril dernier, mais pas avant que, selon les registres de l’État, plus de 3 millions de dollars n’aient été versés à l’entreprise.

Banjo a présenté sa plate-forme logicielle comme un outil capable de fournir des informations critiques et une direction d’enquête en collectant et en traitant constamment des quantités massives de données provenant de sources multiples, y compris des réseaux de caméras de vidéosurveillance, des centres d’appels 911, des données de véhicules d’urgence et du contenu de médias sociaux qui pourraient être mis à profit pour attirer les premiers intervenants en cas d’incident plus rapidement et aider à résoudre les crimes en économisant à la police des heures de travail de détective à l’ancienne.

Scott G Winterton, Deseret News

Les auditeurs, cependant, ont déclaré que leur examen du système, qui devait être reconstitué étant donné que l’appareil Live Time de Banjo ne traitait plus activement les informations de l’Utah lorsque l’évaluation a été faite, était bien en deçà des performances promises.

«Les capacités réelles de Live Time semblaient incompatibles avec les affirmations de Banjo dans sa réponse à la (demande de propositions)», ont rapporté les auditeurs. «Le bureau du procureur général aurait dû vérifier ces allégations avant d’émettre un contrat important et de recommander aux entités de sécurité publique de coopérer et d’ouvrir leurs systèmes à Banjo.»

Dans son contrat avec l’État, Banjo a décrit son service comme «une intelligence artificielle en direct capable d’accéder, de compiler, d’analyser et de valider des milliers de sources de données en direct simultanément pour fournir des informations en temps réel aux utilisateurs éligibles». Les auditeurs ont constaté que la plate-forme Live Time de Banjo n’utilisait qu’un petit nombre d’entrées de données provenant principalement de sources gouvernementales de l’Utah, telles que les centres de répartition du 911, les services de police et les caméras de surveillance du trafic du département des transports de l’Utah, et pendant l’évaluation, les représentants de Banjo ont reconnu leur système  » n’utilise pas de techniques répondant à la définition industrielle de l’intelligence artificielle. »

Les auditeurs ont également trouvé des preuves que certaines agences de l’Utah avec lesquelles Banjo travaillait fournissaient un accès à des bases de données qui auraient dû être interdites et que certaines de ces sources pourraient avoir inclus des informations personnellement identifiables sur des résidents individuels. Cependant, sur la base de l’évaluation des auditeurs, ils ne croient pas que les informations ont été consultées ou utilisées par Banjo, et depuis la suspension du contrat, aucune donnée de l’Utah, ni aucun accès aux données de l’Utah, ne fait partie du système Live Time.

Les auditeurs ont déclaré que cela n’aurait peut-être pas été le cas si Live Time s’était réellement comporté au niveau que Banjo avait réclamé dans son contrat.

«En raison de la capacité réduite du système Live Time, il semble beaucoup moins probable que les informations personnellement identifiables (PII) aient été accédées, transférées et utilisées que ce qui était auparavant craint», lit-on dans le rapport.

Un porte-parole de Reyes a déclaré que Banjo faisait maintenant des affaires sous un autre nom et que le contrat restait suspendu. Il a également noté que le bureau du procureur général ne réengagerait pas la société, qui fonctionne désormais sous le nom de safeXai.

En mai dernier, la société a annoncé que Patton avait démissionné de son poste de PDG et «n’est pas un employé, n’est plus membre du conseil d’administration et n’a aucune capacité opérationnelle au sein de l’entreprise». Le rapport de Dougall indique que les auditeurs ont tenté d’examiner les dossiers pour déterminer quels sont, le cas échéant, les relations financières en cours de Patton avec l’entreprise, mais ont signalé que «Banjo n’a fourni aucune documentation démontrant que son fondateur n’était plus le bénéficiaire effectif d’aucune partie de la société. actions de la société. »

Les archives judiciaires et les documents d’enquête fédéraux sur les crimes haineux détaillant l’association de Patton avec une faction du Ku Klux Klan et son implication dans des actions violentes dirigées contre un groupe religieux ont été rapportés pour la première fois par le média de nouvelles technologiques du forum en ligne Medium OneZero. Après avoir pris connaissance des informations dont Patton n’a pas contesté les faits, le bureau de Reyes a annoncé la suspension du contrat de l’État avec la société et a appelé à un examen plus approfondi.

À 17 ans, Patton était impliqué dans une faction du Ku Klux Klan et a participé à une fusillade au volant d’une synagogue de Nashville le 9 juin 1990. Selon les archives judiciaires, Patton conduisait le véhicule ce jour-là en tant que Klan Le chef a tiré sur les fenêtres de la synagogue avec une arme semi-automatique. Personne n’a été blessé dans l’incident, mais les coups de feu ont été dirigés vers un bâtiment non loin de l’endroit où se trouvait alors le rabbin de la congrégation.

Dans sa lettre à Dougall alors que le contrat était encore en vigueur, Reyes a écrit que son bureau ne croyait pas que l’implication de Patton dans l’incident était reportée dans le travail mené par Banjo au nom de son bureau et d’autres agences et institutions de l’Utah.

«Sur la base de notre expérience de première main et de notre observation attentive, nous sommes convaincus que les horribles erreurs de la jeunesse du fondateur n’ont jamais été transmises de manière malveillante à Banjo, à ses autres initiatives, attitudes ou personnages», a déclaré Reyes.

Même avant que l’histoire personnelle de Patton ne devienne une affaire publique, les services de Banjo soulevaient des inquiétudes auprès des observateurs des droits civiques et des chiens de garde de la vie privée.

Matthew Guariglia, analyste des politiques d’Electronic Frontier Foundation, a déclaré au Deseret News en 2020 que ne pas savoir exactement comment la plate-forme Live Time de Banjo fonctionnait laissait des questions sans réponse sur la responsabilité publique.

«Le fait que personne ne sache vraiment comment fonctionne cette technologie est incroyablement troublant», a déclaré Guariglia. «Une entreprise qui existe derrière une boîte noire, exploitant tout ce supposé équipement de pointe sur lequel l’État compte pour diriger où les premiers intervenants devraient être envoyés … ce sont des questions d’une réelle importance civique.

«Lorsque les gouvernements comptent sur des entreprises privées qui crachent des réponses, et qu’ils ne disent pas comment ils sont arrivés à ces réponses, vous renoncez à la responsabilité publique.»

Lors de la session législative récemment terminée, les législateurs de l’Utah ont créé un nouvel organisme de contrôle qui sera chargé de veiller à ce que des erreurs comme celles commises avec le contrat Banjo ne se reproduisent plus.

HB243 crée un comité permanent, logé au sein du bureau du vérificateur de l’État, qui comprendrait des experts en la matière des domaines de la technologie Internet, de la cybersécurité, de l’application de la loi, du droit de la confidentialité des données, de la technologie de la confidentialité des données et du droit des libertés civiles.

Les experts rassemblés seront chargés d’examiner les produits et services technologiques pour savoir comment ils collectent, évaluent et stockent les données et informations personnelles pour les agences de l’État ainsi que celles des opérations du gouvernement municipal et du comté de l’Utah, y compris les districts scolaires. La supervision de ce travail sera constituée de deux nouveaux responsables de la protection des données de l’État, dont l’un ferait également partie du personnel de l’auditeur et un autre du bureau du gouverneur.