| Date de l'avis : 29 juin 2023 | N° de la délibération : 2023-060 | |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | N° de demande d'avis : 23006452 |Texte concerné : Projet de décret relatif aux modalités de pilotage et d'évaluation de l'expérimentation de traitements algorithmiques sur les images collectées au moyen de systèmes de vidéoprotection et de caméras installées sur des aéronefs, pris en application de l'article 10 de la loi n° 2023-380 du 19 mai 2023 relative aux jeux Olympiques et Paralympiques de 2024 et portant diverses autres dispositions| | Thématiques : jeux Olympiques et Paralympiques de 2024, caméras « augmentées », traitements algorithmiques. | Fondement de la saisine : Article 10, XI. de la loi n° 2023-380 du 19 mai 2023 relative aux jeux Olympiques et Paralympiques de 2024 et portant diverses autres dispositions | |L'essentiel :
Le projet de décret a pour objet de définir les modalités de pilotage et d'évaluation de l'expérimentation des dispositifs de caméras « augmentées » introduits loi relative aux jeux Olympiques et Paralympiques de 2024.
Deux comités sont constitués : un comité de pilotage assurant la bonne conduite de l'expérimentation et un comité d'évaluation.
La CNIL accueille favorablement la présence dans ces comités de personnalités indépendantes, de profils et compétences variés : cette diversité est nécessaire pour garantir une évaluation pluridisciplinaire et objective de l'expérimentation, comme exigé par l'article 10 de la loi. Elle prend également note de l'explicitation des trois critères principaux d'évaluation de l'expérimentation : la mesure des performances techniques, l'objectif ou les besoins opérationnels et les impacts sociétaux des dispositifs de caméras « augmentées ».
Enfin, la CNIL considère que la transparence sur les conditions de mise en œuvre de l'expérimentation est une condition primordiale à sa bonne réalisation et permet d'éviter un climat d'opacité et de méfiance. Un projet de cette ampleur et présentant des enjeux forts pour les droits et libertés des personnes doit donc présenter des garanties fortes en ce sens.| |

La Commission nationale de l'informatique et des libertés,
Saisie par le ministre de l'intérieur d'une demande d'avis concernant un projet de décret relatif aux modalités de pilotage et d'évaluation de l'expérimentation de traitements algorithmiques sur les images collectées au moyen de systèmes de vidéoprotection et de caméras installées sur des aéronefs, pris en application de l'article 10 de la loi n° 2023-380 du 19 mai 2023 relative aux jeux Olympiques et Paralympiques de 2024 et portant diverses autres dispositions ;
Vu le règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données ou RGPD) ;
Vu la loi n° 78-17 du 6 janvier 1978 modifiée relative à l'informatique, aux fichiers et aux libertés ;
Vu le code de sécurité intérieure, notamment ses articles L. 251-1 à L. 255-1, L. 242-1 à L. 242-8, L. 722-1 ;
Vu l'article 10 de la loi n° 2023-380 du 19 mai 2023 relative aux jeux Olympiques et Paralympiques de 2024 et portant diverses autres dispositions ;
Après avoir entendu le rapport de M. Claude CASTELLUCCIA, commissaire, et les observations de M. Benjamin TOUZANNE, commissaire du Gouvernement,
Adopte la délibération suivante :

I. - La saisine
A. - Le contexte

La loi n° 2023-380 relative aux jeux Olympiques et Paralympiques de 2024 et portant diverses autres dispositions instaure, dans son article 10, un cadre expérimental permettant la mise en œuvre de traitements algorithmiques d'analyse automatisée des images provenant des dispositifs de vidéoprotection et de caméras installées sur des aéronefs afin de détecter et de signaler en temps réel des évènements prédéterminés.
Ces traitements ne peuvent être mis en œuvre :

- qu'à la seule fin d'assurer la sécurité des manifestations sportives, récréatives ou culturelles, qui, par l'ampleur de leur fréquentation ou par leurs circonstances, sont particulièrement exposées à des risques d'actes de terrorisme ou d'atteintes graves à la sécurité des personnes ;
- que par les services de la police et de la gendarmerie nationales, les services d'incendie et de secours, les services de police municipale et les services internes de sécurité de la SNCF et de la RATP dans le cadre de leurs missions respectives, qui assumeront la qualité de responsables de traitement.

La CNIL s'est prononcée le 8 décembre 2022 sur ce projet de loi. Elle a notamment relevé que le recours à ces dispositifs soulève des enjeux nouveaux et substantiels en matière de vie privée en ce qu'ils peuvent conduire à une collecte massive de données personnelles et permettre une surveillance automatisée en temps réel. Elle a souligné que le déploiement, même expérimental, de ces dispositifs constitue un tournant qui va contribuer à définir le rôle général qui sera attribué à ces technologies, et plus généralement à l'intelligence artificielle. La CNIL a néanmoins considéré que les garanties prévues permettent de limiter les risques d'atteinte aux données et à la vie privée des personnes et vont dans le sens des préconisations formulées dans sa prise de position sur les caméras « augmentées » publiée en juillet 2022.
Elle a également invité le ministère à mener, dès le début de l'expérimentation, une réflexion sur la mise en place d'un protocole d'évaluation permettant de mesurer de façon rigoureuse, contradictoire et pluridisciplinaire l'apport des technologies d'analyse automatisée des images.
Comme l'a rappelé la CNIL dans son avis, cette expérimentation ne saurait en aucun cas préjuger d'une éventuelle pérennisation de ces dispositifs.

B. - L'objet de la saisine

Le XI de l'article 10 de la loi prévoit que le contenu du rapport d'évaluation de la mise en œuvre de l'expérimentation doit être fixé par un décret en Conseil d'Etat, pris après avis de la CNIL. Ce décret doit définir notamment les modalités de pilotage et d'évaluation pluridisciplinaire et objective de l'expérimentation et les indicateurs utilisés par celle-ci. Il doit également préciser les modalités selon lesquelles le public et les agents concernés sont informés de l'expérimentation et sont associés à l'évaluation.
C'est dans ce contexte que la CNIL a été saisie par le ministère de l'intérieur et des Outre-mer du présent projet de décret qui appelle les observations suivantes.

II. - L'avis de la CNIL

La CNIL estime que l'évaluation sera d'autant plus précise et légitime si l'ensemble des dispositions nécessaires sont prévues et mises en place avant le début de l'expérimentation, et articulées avec le dispositif de pilotage.
La CNIL considère qu'il est nécessaire de concevoir en amont de l'expérimentation la façon dont les résultats de l'expérimentation seront évalués, afin de permettre d'apprécier la proportionnalité et la nécessité des traitements algorithmiques au regard des besoins opérationnels et des impacts sur les droits et libertés des personnes concernées. Ces résultats sont par ailleurs indispensables pour déterminer une éventuelle prolongation ou pérennisation des dispositifs expérimentaux considérés comme utiles.

A. - Sur le pilotage de l'expérimentation

Sur les modalités du pilotage :
L'article 1er du projet de décret apporte des précisions sur les modalités de pilotage de l'expérimentation et attribue la responsabilité de la conduite de l'expérimentation à un comité de pilotage dont la composition sera fixée par arrêté du ministre de l'intérieur.
Le projet de décret se limite principalement à lister les dispositions déjà prévues par l'article 10 de la loi et les précisions concernant les modalités de pilotage de l'expérimentation y sont peu détaillées.
La CNIL accueille favorablement les précisions figurant à l'article 1er du projet de décret concernant la composition du comité de pilotage, qui devra veiller à associer des services compétents tant d'un point de vue opérationnel qu'en matière de technologies numériques, de libertés publiques et de droit des données à caractère personnel. Elle invite le ministère à détailler de manière transparente, par voie d'arrêté ou de circulaire, les modalités de pilotage de l'expérimentation (gouvernance, phases éventuelles, périmètre fonctionnel et/ou géographique, etc.).
Sur la sélection des images :
L'article 2 du projet de décret précise que le comité de pilotage supervise la sélection des images pouvant être utilisées comme données d'apprentissage conformément au IX de l'article 10 de la loi.
La CNIL invite le comité de pilotage à définir les critères permettant la réutilisation des images pour l'amélioration de la qualité de la détection des événements prédéterminés. En effet, ces critères devraient refléter un besoin objectif au regard du risque d'une collecte et d'une réutilisation disproportionnée des images. La CNIL souligne que la collecte de ces images devra être proportionnée, et invite le ministère à prendre en compte cette obligation dans la définition des critères de sélection. Ces critères devraient par exemple lister les évènements, les conditions de prise de vue, ainsi que les situations particulièrement utiles à l'amélioration de la qualité de la détection.
De plus, dans l'hypothèse où les images collectées pour l'amélioration de la qualité de la détection des événements pourraient faire l'objet d'une annotation, ce qui est une pratique courante dans le domaine de l'intelligence artificielle, la CNIL considère que les modalités de cette annotation devraient également faire l'objet d'une supervision par le comité de pilotage de l'expérimentation. Cette supervision devrait en particulier viser à vérifier que les dispositions nécessaires soient prises pour limiter les erreurs d'annotation et pour garantir que l'annotation satisfasse les obligations en matière de protection de données et en particulier ne permette pas l'introduction de biais discriminatoires. Par ailleurs, la CNIL recommande que la méthodologie utilisée pour l'annotation des données soit documentée.
Sur l'information des personnes :
Le projet de décret prévoit que les personnes sont informées de la tenue de l'expérimentation par le biais du site web du ministère. La CNIL invite le ministère à mettre en œuvre des mesures supplémentaires.
La CNIL considère que l'information relative à la tenue d'une expérimentation et prévue au XI de l'article 10 de la loi est complémentaire à l'information des personnes concernées par les traitements algorithmiques au titre du RGPD et de la loi « informatique et libertés ». Elle recommande fortement que cette information générale relative à la tenue d'une expérimentation soit délivrée également sur les lieux où les traitements algorithmiques seront déployés ainsi que dans ceux où une captation d'image ultérieurement utilisées pour l'apprentissage est prévue (par exemple par l'affichage de codes QR renvoyant vers le site web du ministère).
Sur l'information de la CNIL :
La CNIL recommande, qu'au titre de l'information régulière dont elle est destinataire par le comité de pilotage, lui soient transmis des éléments concernant :

- le déploiement technique des traitements algorithmiques (résultats des tests en conditions réelles, types d'événements que les traitements cherchaient à détecter et des indicateurs sur les évènements détectés ou manqués, sur la réutilisation des images pour l'amélioration de la qualité de détection, ainsi que sur les biais et erreurs des dispositifs) ;
- le contexte d'utilisation (liste exhaustive des manifestations concernées, nombre de visiteurs, superficie couverte par le dispositif, nombre de caméras et leur localisation, ou encore services ayant recours aux traitements algorithmiques et leurs prestataires) ;
- les conditions d'information et d'exercice de droits (en incluant des informations quantitatives comme les demandes d'exercice des droits et qualitatives comme des photographies des mentions d'information dispensées et des indications quant à leur positionnement dans l'espace).

La CNIL pourra, à la réception de ces informations, communiquer au comité de pilotage toute observation sur les conditions de mise en œuvre de l'expérimentation.

B. - Sur le comité d'évaluation et son rôle

L'article 3 du projet de décret prévoit que l'évaluation de l'expérimentation sera réalisée par un comité d'évaluation, composé de deux collèges distincts :

- un premier collège de personnalités indépendantes ; et
- un second collège de représentants des services utilisateurs.

La CNIL salue le rôle central donné dans l'évaluation au collège de personnalités indépendantes et le caractère pluridisciplinaire de sa composition.
En premier lieu, la CNIL s'interroge sur les modalités selon lesquelles ces deux collèges coopéreront pour l'évaluation de l'expérimentation, et en particulier sur l'adoption du rapport d'évaluation prévu par l'article 10 de la loi dont la rédaction de certaines des parties relève de la responsabilité de chacun des collèges. Elle invite le ministère à préciser cette organisation dans le projet de décret.
En deuxième lieu, la CNIL accueille favorablement la mesure prévoyant que les membres du comité d'évaluation ne peuvent être membres du comité de pilotage mentionné à l'article 1er du projet de décret. Elle prend acte de l'engagement du ministère de modifier le projet de décret pour préciser que le président du comité de pilotage siège au collège de représentants des services utilisateurs afin de faciliter le partage d'informations entre ces deux comités.
En troisième lieu, la CNIL salue le caractère pluridisciplinaire du collège de personnalités indépendantes. Elle recommande que celui-ci appuie son évaluation sur des avis tiers complémentaires, en consultant notamment des experts techniques spécialistes des traitements algorithmiques, des chercheurs en sciences humaines et sociales compétents sur ces questions ainsi que des représentants de la société civile qualifiés dans l'appréciation des enjeux que comporte l'utilisation de ces techniques. A titre d'exemple, le comité d'évaluation pourrait utilement associer des chercheurs désignés par les principaux instituts de recherche nationaux à ses travaux. La CNIL s'interroge également sur l'opportunité d'associer d'autres départements ministériels à cette évaluation, tels que ceux en charge du soutien à la recherche et aux industries de l'intelligence artificielle.
En quatrième lieu, la CNIL considère que les enjeux en matière de protection des données à caractère personnel et les enjeux en matière de technologies numériques sont cruciaux dans l'évaluation de l'expérimentation alors qu'ils nécessitent des compétences souvent distinctes. Elle recommande que le projet de décret soit précisé de telle manière à inclure deux personnalités indépendantes pour chacun de ces deux domaines dans le comité d'évaluation. Dans l'hypothèse, où le nombre de ces personnalités qualifiées ne pourrait être ainsi augmenté, la CNIL insiste sur la nécessité de prévoir une personnalité qualifiée distincte pour chacun de ces domaines de compétences.
En cinquième lieu, la CNIL salue la présence de deux personnalités qualifiées dans l'appréciation des enjeux relatifs aux libertés publiques au sein du comité d'évaluation. Elle considère nécessaire que deux autres personnalités qualifiées indépendantes possédant des compétences spécifiques en matière de méthodologie d'évaluation des expérimentations, particulièrement sur l'appréciation de la perception de l'expérimentation par le public, soient présentes dans le comité d'évaluation. Dans l'hypothèse, où le nombre de ces personnalités qualifiées ne pourrait être ainsi augmenté, la CNIL insiste sur la nécessité de prévoir une personnalité qualifiée distincte pour chacun de ces domaines de compétences.
En sixième lieu, la CNIL considère que les personnalités qualifiées dans l'appréciation des enjeux relatifs aux libertés publiques et de la perception de l'expérimentation par le public devraient être en mesure, de par leurs compétences, d'évaluer l'impact sociétal de l'utilisation des traitements algorithmiques. Elle invite à la prise en compte de cet objectif lors de la sélection des personnalités.
Enfin, la CNIL invite le ministère à procéder à la création du comité d'évaluation rapidement après la parution du décret, afin de laisser le temps préalable nécessaire à la réflexion et à la mise en œuvre des modalités concrètes de l'évaluation.

C. - Sur l'évaluation

Sur les objectifs de l'évaluation :
La CNIL accueille très favorablement la reprise, au sein de l'article 4 du projet de décret, des trois objectifs de l'évaluation tels que développés dans son avis sur le projet de loi relatif aux jeux Olympiques et Paralympiques 2024. Ces objectifs sont les suivants :

- l'évaluation des résultats obtenus au regard des performances techniques : il s'agit de fournir une appréciation scientifiquement étayée des outils développés après les phases d'apprentissage, de validation et de correction des paramètres des algorithmes (taux d'erreurs, analyse et interprétation de ces erreurs, retours sur le gain en performance obtenu lors des différentes phases, mesures des biais discriminatoires, comparaison avec l'état de l'art, etc.) ;
- l'évaluation des résultats obtenus au regard des besoins ou objectifs opérationnels : il s'agit de mesurer, une fois ceux-ci déployés, l'apport véritable pour la ou les tâches à réaliser des outils développés et questionner l'impact des erreurs du dispositif pour l'atteinte de l'objectif. Une typologie des signalements remontés pourra notamment être réalisée, associée aux suites qui y auront été apportées ;
- l'évaluation des résultats obtenus au regard des impacts sociétaux : il s'agit d'apprécier la perception des outils développés par les personnes concernées, une fois les dispositifs déployés, de questionner l'impact du dispositif pour les personnes concernées et d'évaluer les effets sur l'exercice des droits et libertés fondamentaux des citoyens, notamment la liberté d'aller et venir et la liberté de réunion.

La CNIL recommande que ces trois objectifs servent de socle pour l'évaluation et qu'ils soient détaillés ou complétés par le comité d'évaluation lors de l'établissement du protocole d'évaluation et du choix des indicateurs, afin d'évaluer l'impact de l'utilisation des traitements algorithmiques de façon exhaustive.
Sur le protocole d'évaluation :
En premier lieu, la CNIL salue la mise en place d'un protocole d'évaluation par le comité, nécessaire afin de garantir les caractères scientifique, objectif et pluridisciplinaire de l'évaluation. Le décret prévoit que ce protocole est établi par le comité d'évaluation, qui pourra l'actualiser en cas de besoin.
En deuxième lieu, la CNIL recommande qu'une coopération soit prévue entre le comité d'évaluation et le comité de pilotage de l'expérimentation afin d'anticiper les mesures relatives à l'évaluation et nécessitant une mise en œuvre en amont ou au cours de l'expérimentation. En particulier, certaines mesures nécessaires à l'évaluation pourraient avoir un impact sur le déploiement opérationnel de l'expérimentation. De telles mesures pourraient inclure :

- pour une même manifestation : la mise en œuvre d'un dispositif alternatif à la détection des évènements par traitement algorithmique afin de permettre une analyse contrefactuelle de la performance des traitements algorithmiques ;
- pour des manifestations distinctes, utilisant des dispositifs différents pour la détection des événements prédéterminés : la collecte des informations relatives à la sécurité de manifestations afin que le comité d'évaluation puisse comparer les résultats opérationnels obtenus au cours de manifestations pour lesquelles les traitements algorithmiques ne sont pas utilisés ou uniquement partiellement.

Le protocole d'expérimentation a vocation à préciser ce type de mesures. Cette coopération devrait a minima inclure une information régulière du comité d'évaluation sur la mise en œuvre de l'expérimentation.
En troisième lieu, afin de garantir des résultats probants et étayés sur l'expérimentation, la Commission recommande que le comité d'évaluation réalise et intègre à son rapport :

- une description du protocole d'évaluation, incluant notamment les étapes de l'évaluation, son organisation concrète, dans le temps et l'espace, les indicateurs et critères de succès et d'échecs, afin de permettre un examen contradictoire fidèle à la méthodologie scientifique ;
- une évaluation de la significativité des résultats, prenant notamment en compte la qualité des annotations lorsqu'elles sont utilisées pour mesurer l'efficacité technique des solutions ;
- une appréciation des garanties relatives à la protection de la vie privée telles que la pseudonymisation ou le floutage des images et, dans le cas où le choix serait fait de ne pas appliquer de telles mesures, une appréciation de l'analyse démontrant que leur impact sur le niveau de performance de l'algorithme en phase opérationnelle nuirait à l'atteinte des finalités des traitements ;
- une évaluation des garanties prévues au VI de l'article 10 de la loi, notamment des mesures de contrôle humain et du système de gestion des risques permettant de prévenir et de corriger la survenue de biais éventuels ou de mauvaise utilisation, incluant une évaluation des cas rares, communément appelés cas « aberrants » ;
- une description de la méthodologie utilisée pour évaluer la perception de l'expérimentation et des traitements algorithmiques par les personnes concernées ;
- une évaluation des éléments sur les mesures de sécurité mises en place afin d'assurer la disponibilité, la confidentialité et l'intégrité des données traitées en conditions opérationnelles.

En quatrième lieu, afin de permettre au comité d'évaluation de disposer de résultats scientifiques robustes et indépendants, la CNIL recommande que le comité de pilotage soit en mesure de recourir à des études externes, pouvant par exemple être réalisées par des équipes de recherche universitaire spécialisées. Ces études devraient couvrir les trois enjeux de l'évaluation mentionnés plus haut (évaluation des résultats techniques, opérationnels et de l'impact social et sociétal de l'expérimentation).
Enfin, la CNIL accueille favorablement l'organisation d'une consultation du public et des personnels des services ayant employé les traitements algorithmiques. Elle recommande que les personnes visées par cette consultation représentent une diversité suffisante des parties prenantes à l'expérimentation de manière à permettre la représentativité des opinions sur l'utilisation des dispositifs de « caméras augmentées ». Elle recommande que cette représentativité soit garantie lors de la publicité de la consultation, par exemple, en ciblant certaines manifestations, en garantissant l'accessibilité de la consultation pour tous, en vérifiant la neutralité des questions posées et en ouvrant cette consultation sur un temps suffisamment long.
Sur l'information de la CNIL :
Afin que la CNIL, au regard de son expérience dans l'évaluation de telles expérimentations et dans la mesure où plusieurs des indicateurs d'évaluation touchent à son domaine de compétence, puisse contribuer à l'évolution du protocole d'évaluation, elle recommande que celui-ci lui soit transmis dès son établissement, puis qu'elle soit informée de ses éventuelles mises à jour au cours de l'expérimentation. En particulier, elle recommande que les méthodes, ainsi que les informations quantitatives et qualitatives utiles à l'établissement des indicateurs d'évaluation lui soient communiquées.
De plus, la CNIL recommande que le comité d'évaluation lui transmette à mi-parcours les résultats intermédiaires de son évaluation.