googleab7c0421c001390a.html

04.06.2020



COVI et robustesse sociale: des questions s'imposent...



FRÉDÉRICK BRUNEAULT, PH.D.







Le 18 mai dernier, le Mila, institut québécois d’intelligence artificielle, rendait disponible le livre blanc sur son application COVI de traçabilité et d’évaluation du risque lié à la Covid-19 qui met en œuvre un système d’intelligence artificielle (IA). Les Lignes directrices en matière d’éthique pour une IA digne de confiance, élaborées par un groupe d’experts réunis par la Commission européenne, identifient 3 critères généraux pour qu’un système d’IA puisse être digne de confiance : il doit être (1) licite, (2) éthique et (3) robuste. Si l’évaluation de COVI en fonction des deux premiers critères a déjà fait l’objet de plusieurs discussions et sera encore, avec raison, au coeur des débats sur cette application, je souhaiterais attirer l’attention sur le troisième critère, la robustesse.




Plus particulièrement, comme l’indiquent les Lignes directrices, la robustesse d’un système d’IA peut être évaluée tant d’un point de vue technique, que d’un point de vue social. Si la robustesse technique de COVI devrait bien entendu être discutée, j’aimerais plutôt soulever ici certaines questions liées à la robustesse sociale de l’application du Mila. La robustesse sociale d’un système d’IA fait référence à l’insertion d’un tel système dans un ensemble sociotechnique. Les innovations technologiques ne sont pas conçues, développées ou déployées en silo, elles interagissent nécessairement avec des conditions préexistantes liées aux relations sociales qui rendent possible le développement technologique, tout en étant constamment redéfinies par ce dernier. Une innovation technologique agit donc sur un réseau de relations sociales, bien au-delà des seuls utilisateurs. Il faut donc évaluer un système d’IA en adoptant une telle perspective. Je propose de soulever certaines questions sur la robustesse sociale de COVI en fonction de trois niveaux : individuel, interpersonnel et institutionnel.




L’individu qui utiliserait COVI le ferait pour guider son comportement face aux autres. D’ailleurs, comme le dit le livre blanc du Mila, l’application vise à donner du pouvoir aux citoyennes et citoyens qui prendront les bonnes décisions en fonction de leur évaluation des bénéfices et des risques associés à leur situation et celle de leur communauté, évaluation qui serait permise par l’outil prédictif de COVI. Il n’empêche que la dimension sociale des choix individuels reste peu discutée. Si, comme d’autres l’ont fait remarquer, la possibilité que l’outil donne des faux négatifs pourrait susciter un relâchement indu chez certaines personnes, il me semble que le problème est plus profond. Même si l’application fonctionne correctement, il n’en demeure pas moins que les capacités d’action des individus pourraient être fort limitées. On comprend du livre blanc que les individus n’auront pas accès aux détails de l’outil prédictif (au pourcentage de risque d’infection, par exemple), mais plutôt à des messages généraux liés à différents niveaux de risque, en partant de l’idée que les personnes pourront choisir de mettre en œuvre ces recommandations. Mais qu’en est-il des personnes qui ne peuvent pas les mettre en œuvre? Par exemple, si l’application indique qu’une personne devrait limiter ses contacts avec les inconnus (on ne connaît pas encore la teneur des messages eux-mêmes), comment cela est-il possible si, suite au déconfinement, cette personne doit se présenter au travail (et risque de perdre son emploi si elle s’absente)? L’application étant volontaire et en parallèle des autorités publiques, quelle légitimité (et quelle base légale) aurait-elle dans une telle situation? Bien que les individus aient très certainement un rôle important à jouer dans la gestion de la crise et une responsabilité à cet effet, ne risque-t-on pas de mettre sur les épaules des individus une responsabilité, sans les moyens d’y répondre. Une telle situation n’est-elle pas susceptible de créer deux types de réponses nuisibles aux efforts face à la Covid-19 : d’un côté, le découragement et l’abandon des mesures sanitaires devant l’impossibilité de répondre aux exigences ou, de l’autre côté, anxiété et culpabilisation? Il faudrait tenir compte des conditions sociales des choix individuels.




Au niveau interpersonnel, comme ce sont les personnes elles-mêmes qui vont fournir les informations nécessaires au fonctionnement de l’application et qui vont rapporter leur diagnostic de Covid-19, le cas échéant, de quelle façon va-t-on empêcher les risques d’une utilisation malveillante de COVI? Les exemples de tels dérapages sont nombreux, pensons à Tay le fameux chatbot de Microsoft. Il suffirait qu’une personne multiplie ses contacts auprès de personnes (ciblées ou non) et qu’elle se déclare atteinte de la Covid-19 pour qu’un nombre important de faux positifs soit créé. De telles actions pourraient également nuire au modèle épidémiologique que l’outil prédictif souhaite élaborer. Par ailleurs, même dans le cas d’une utilisation honnête de l’application, comment évaluer les risques qu’elle fait peser sur les relations de confiance essentielles à la vie sociale. Il semble que le livre blanc ait abandonné cette idée, mais il faut se rappeler qu’au début le projet était présenté comme une application dont on pourrait se servir pour réguler l’accès aux commerces ou aux institutions, alors que la pression sociale pourrait augmenter les chances d’une adoption massive dans la population. Si cette idée soulevait avec raison de nombreuses interrogations sur les risques de dérapages, de discrimination et de stigmatisation d’une telle pratique, on ne voit pas clairement en quoi le projet tel qu'il est présenté finalement est différent. Cette dimension du projet est disparue dans l’argumentaire, mais qu’est-ce qui empêche qu’on puisse malgré tout l’utiliser d’une telle façon (peut-être malgré la volonté des conceptrices et concepteurs qui semblent avoir changé d'avis)? Il faudrait tenir compte des effets sociaux de l'introduction d'une telle application tant pour les relations interpersonnelles immédiates, que celles entre les communautés.




Au niveau institutionnel, le livre blanc cherche à répondre aux objections liées à la protection de la vie privée, notamment en affichant une méfiance face à la centralisation des données. Si cette méfiance n’est pas injustifiée, compte tenu des utilisations abusives que les autorités publiques pourraient faire de ces données (comme il semble que ce soit déjà le cas pour les manifestations au Minnesota), elle soulève aussi des questions. L’application doit être plutôt gouvernée par un comité sous l’égide du Mila lui-même. On comprend que tout sera fait pour que les données soient protégées, utilisées à bon escient et détruites le moment venu. Mais qu’arrivera-t-il s'il devait y avoir un vol de données, une négligence ou un conflit sur le fonctionnement ou le cycle de vie de l’application? À qui ces personnes seront-elles réellement redevables? Quels seront les recours des personnes qui ont utilisé l’application? Les membres du comité seront-ils responsables de l’utilisation qui pourrait être faite de l’application (y compris les utilisations alternatives non-voulues)? Ces personnes ne sont pas élues, alors qu’on propose une application qui devrait intervenir dans un contexte éminemment politique, nous l’avons vu dans les derniers mois. C’est l’État, à la recommandation de la Santé publique, qui a mis le Québec « sur pause » (comme ailleurs) et qui doit jongler avec les différents intérêts en jeu : santé, sécurité, économie, redistribution, etc. On pourrait aller jusqu'à dire, à la lecture du livre blanc de l’application COVI, qu’il y a, volontairement ou non, un arrière-plan libertarien qui n’est pas sans rappeler les affinités politiques de la plupart des responsables des géants technologiques de la Silicon Valley. Que ce soit délibérément ou par simple « déformation professionnelle » si je puis dire, de tels présupposés politiques sont très problématiques. Pourquoi le fait que les individus puissent prendre une décision individuellement en fonction des résultats de l'application (indépendamment ou peut-être même à l’encontre des recommandations de la Santé publique) serait nécessairement une bonne chose? On présente par ailleurs COVI comme un moyen de donner du pouvoir aux individus et donc comme un outil démocratique. Est-ce bien démocratique de fonctionner en parallèle des autorités publiques et de privilégier la décision individuelle aux dépends des actions collectives? Il faudrait tenir compte des conditions sociales qui permettent à la démocratie de s'épanouir.



Il n’est pas du tout exclu qu’une application numérique pour lutter contre la Covid-19 puisse répondre aux exigences en matière d’éthique pour en faire une innovation digne de confiance. COVI, l’application proposée par le Mila, devra notamment répondre aux questions liées à sa robustesse sociale pour mériter la nôtre.