L'entonnoir : de tout le marché à quelques outils
Un robot balaye les magasins d'applications et tient l'inventaire de ce qui existe. Sur cet inventaire, un second traitement cherche les outils susceptibles de répondre aux besoins cliniques d'une collection. Il en ressort une liste de candidats.
Chaque candidat est ensuite examiné par une personne. C'est ici que tout le travail commence, et c'est ce que l'échelle du balayage a tendance à masquer : entre ce que le robot a vu et ce qu'une collection affiche, il ne reste qu'une fraction infime des outils du marché.
Le filtre d'entrée écarte d'abord ce qui est inévaluable
Avant qu'un évaluateur ouvre sa grille, quatre situations arrêtent net un candidat :
Pas de politique de confidentialité accessible. Sans elle, rien ne peut être vérifié sur le traitement des données.
Fournisseur introuvable ou impossible à joindre. Personne ne semble légalement responsable de l'outil.
Outil abandonné. Un outil qui ne reçoit plus de mise à jour accumule des failles et s'éloigne des pratiques courantes.
Signaux de risque évidents.
Ce filtre ne juge pas la qualité, il constate qu'une évaluation serait impossible ou inutile. Un outil écarté ici revient s'il corrige ce qui l'a exclu — beaucoup le font.
Ce qu'un évaluateur fait, concrètement
C'est la partie que l'automatisation ne fait pas et ne peut pas faire.
Il installe l'outil et s'en sert. Pas une capture d'écran, pas une lecture de la fiche du magasin : l'outil est installé, parcouru, utilisé. Les fonctions annoncées sont vérifiées une par une, et l'écart entre ce que le fournisseur promet et ce que l'outil fait est relevé.
Il remplit plusieurs grilles distinctes, et non une seule. Chaque grille est un instrument à part, avec ses propres questions : les preuves disponibles, la transparence des politiques, les permissions techniques, l'expérience d'utilisation, l'accessibilité, les fonctions d'intelligence artificielle lorsqu'il y en a. Au total, plus de quatre-vingts critères de qualité sont renseignés pour un outil.
Il lit les documents que personne ne lit. Politique de confidentialité, conditions d'utilisation, déclarations de conformité, législations invoquées par le fournisseur, droits d'accès et de suppression réellement offerts. C'est un travail de lecture fastidieux, et c'est souvent là que se trouvent les écarts les plus importants.
Un partenaire spécialisé passe l'application au crible technique. Analyse de vulnérabilité sur l'application elle-même : ce qu'elle transmet, à qui, avec quelles permissions, et quelles faiblesses connues elle présente.
Des professionnels de la santé testent l'outil quand la nature de l'outil l'exige, et apportent un jugement clinique que la grille seule ne produit pas.
Des personnes de la population visée l'essaient. Le ton d'un outil, une formulation stigmatisante, un niveau de langue trop élevé, une référence culturelle qui ne parle pas : rien de tout cela ne se lit dans une politique de confidentialité. Il faut que quelqu'un de concerné utilise l'outil et dise ce qu'il ressent.
Un comité clinique interne relit l'intégralité des fiches et du contenu clinique avant qu'ils sortent. Pas un échantillon : tout.
Puis une vingtaine de constats sont rédigés à partir de ce matériel, dans une formulation identique à celle employée pour tous les autres outils. C'est ce que nous appelons le résumé d'évaluation et il est rendu disponible de façon standard pour les applications choisies par nos clients.
Le type d'outil décide des critères qui s'appliquent
Avant d'évaluer, un évaluateur classe l'outil selon la personne à qui il est destiné : la personne elle-même, le professionnel, ou les deux.
Ce n'est pas une étiquette, c'est un aiguillage. Un outil destiné à quelqu'un sans formation clinique est examiné sur son niveau de langue et sur la clarté de son usage en autonomie. Un outil destiné à un professionnel ne l'est pas de la même façon. Et certains critères ne concernent qu'un format précis : les critères d'accessibilité vidéo ne s'appliquent qu'à des vidéos.
C'est pourquoi deux fiches peuvent porter un nombre différent de constats sans que l'une ait été faite plus vite que l'autre.
Tous les outils ne sont pas creusés au même niveau
L'effort est gradué, et c'est délibéré.
Un outil qui prétend agir sur un symptôme, qui traite des données sensibles ou qui comporte des fonctions d'intelligence artificielle exige un niveau de preuve plus élevé qu'un outil d'information générale. Cette gradation suit la logique des cadres de référence reconnus : le niveau de preuve attendu dépend du risque et de la fonction de l'outil.
Concrètement, un outil à faible enjeu passe l'évaluation documentaire et les tests d'usage. Un outil à enjeu élevé déclenche en plus l'analyse technique approfondie, les tests par des professionnels, et un examen serré des données probantes disponibles.
Un même nombre de constats affichés peut donc recouvrir des quantités de travail très différentes.
Les deux questions qu'une évaluation ne tranche pas
Toutes les limites de la méthode sont rassemblées dans « Portée et limites ». Deux méritent d'être connues avant même de lire une fiche, parce qu'elles portent sur le périmètre lui-même.
Une évaluation ne conclut pas que l'outil est efficace. Elle établit ce qui est documenté sur lui et à quel point c'est solide : données d'acceptabilité, de faisabilité, de valeur potentielle, participation de professionnels à la conception. Ce n'est pas un essai clinique, et c'est une distinction que la méthode assume plutôt qu'elle ne la contourne — prétendre le contraire serait la seule façon de perdre la confiance d'un clinicien.
Une évaluation ne décide pas qu'un outil entre dans une collection. Elle produit une fiche comparable. La décision appartient à l'organisation qui diffuse la collection, et c'est cette séparation qui permet à une fiche de dire quelque chose de défavorable.