Comment évaluer un agent IA avant de signer : la grille de critères

Quatorze critères en sept familles pour comparer des agents IA : périmètre réel, intégration, contrôle humain, RGPD, AI Act, coût complet et réversibilité.

Montrer le sommaire Cacher le sommaire

Choisir un agent IA ressemble rarement à un achat de logiciel classique : la démonstration est spectaculaire, le périmètre reste flou, et le contrat engage vos données et vos processus. Cette grille rassemble quatorze critères en sept familles, avec pour chacun la question précise à poser à l’éditeur et le type de réponse qui doit vous faire ralentir. Elle s’utilise telle quelle, en entretien, face à deux ou trois candidats.

Comment utiliser cette grille

Posez les mêmes questions, dans le même ordre, à chaque éditeur, et consignez les réponses par écrit : deux solutions proches en démonstration divergent presque toujours sur trois ou quatre points structurants. Exigez ensuite que les engagements oraux figurent dans la proposition commerciale. Un éditeur solide accepte ; c’est en soi un test. Pour voir cette grille appliquée, consultez notre comparatif 2026 et notre test d’Agentova.

Glossaire de l’IA pour dirigeants : 45 termes expliqués simplement
L’IA dans les TPE et PME françaises : les chiffres clés (données 2025)
Schéma en cinq étapes de la grille d'évaluation d'un agent IA avant signature : périmètre, données, intégrations, réversibilité, accompagnement.
Les cinq points à couvrir avant de signer, dans l’ordre où ils se posent. Schéma Agentova établi pour cet article, ce n’est pas une capture de l’application.

La grille de critères

Famille 1 : périmètre fonctionnel

1. Frontière entre ce que l’agent fait seul et ce qu’il prépare. Demandez : « Sur mon cas d’usage, listez les actions que l’agent exécute sans intervention humaine, et celles qu’il se contente de proposer. » Ce qui doit alerter : des capacités génériques (« il gère vos e-mails ») sans découpage action par action. Cette frontière est la première source de déception.

2. Comportement en cas d’échec ou d’incertitude. Demandez : « Que fait l’agent quand il ne sait pas répondre ou quand une information manque ? » Ce qui doit alerter : « il ne se trompe pas ». Un éditeur ayant mis son produit en production connaît ses modes de défaillance et décrit un mécanisme d’escalade.

3. Personnalisation sans développement spécifique. Demandez : « Que puis-je modifier moi-même — règles, ton, vocabulaire métier, seuils — et qu’est-ce qui nécessite votre intervention, facturée ou non ? » Ce qui doit alerter : « tout est personnalisable », sans distinction entre paramétrage autonome et prestation facturée. C’est la porte d’entrée des coûts non anticipés.

Famille 2 : connexion au système d’information existant

4. Intégrations réellement disponibles. Demandez : « Pour chacun de mes outils, l’intégration est-elle en production aujourd’hui, en cours de développement, ou à construire ? » Ce qui doit alerter : une feuille de route sans date, ou « c’est possible via API », qui déplace la charge d’intégration chez vous.

5. Profondeur de l’intégration. Demandez : « L’agent lit-il seulement, ou écrit-il aussi dans mon outil ? Quelles données remontent, à quelle fréquence, et que se passe-t-il en cas de conflit ? » Ce qui doit alerter : l’absence de distinction entre lecture et écriture, qui n’ont ni la même valeur ni le même risque.

Famille 3 : contrôle et validation humaine

6. Point de validation avant action sortante. Demandez : « Puis-je exiger une validation humaine avant tout envoi vers un client, et ce réglage est-il configurable par cas d’usage ? » Ce qui doit alerter : un mode « tout ou rien », ou un réglage géré côté éditeur.

7. Traçabilité des actions. Demandez : « Six mois après, comment savoir ce que l’agent a fait, sur quelle information, et qui a validé ? Cet historique est-il exportable ? » Ce qui doit alerter : un historique court, non exportable, ou consultable seulement par le support. En cas de litige, c’est votre seule preuve.

8. Arrêt d’urgence. Demandez : « Qui, chez moi, peut arrêter l’agent immédiatement, et en combien de temps l’arrêt est-il effectif ? » Ce qui doit alerter : une procédure qui passe par un ticket au support.

Famille 4 : données et conformité

9. Rôles et contrat de sous-traitance. Demandez : « Êtes-vous sous-traitant au sens de l’article 28 du RGPD sur ce traitement ? Transmettez-moi l’annexe contractuelle correspondante. » Ce qui doit alerter : l’absence de document, ou une politique de confidentialité présentée à la place d’un contrat. La CNIL publie un exemple de clauses permettant de vérifier que rien ne manque.

10. Localisation des traitements et sous-traitants ultérieurs. Demandez : « Où mes données sont-elles hébergées, où sont-elles traitées, et quelle est la liste de vos sous-traitants ultérieurs, fournisseurs de modèles compris ? » Ce qui doit alerter : « hébergement en Europe » sans préciser où s’exécutent les appels au modèle. Hébergement et traitement peuvent relever de deux juridictions.

11. Réutilisation de vos données. Demandez : « Mes données et les réponses générées peuvent-elles servir à entraîner ou améliorer un modèle, le vôtre ou celui d’un tiers ? Où est-ce écrit ? » Ce qui doit alerter : un renvoi aux conditions générales du fournisseur de modèle, sans engagement propre de l’éditeur.

Famille 5 : coût réel

12. Structure de facturation et variabilité. Demandez : « Sur douze mois, à mon volume d’activité, quel est le coût total ? Qu’est-ce qui est fixe, qu’est-ce qui varie, et selon quel indicateur ? » Ce qui doit alerter : un prix affiché par utilisateur alors que la facturation dépend d’un volume de consommation. Demandez une simulation basse, moyenne et haute.

13. Coûts de mise en route et de sortie. Demandez : « Quel est le coût de paramétrage, de reprise de l’existant et de formation ? Y a-t-il des frais en fin de contrat, notamment pour l’export ? » Ce qui doit alerter : le silence sur les frais d’export, ou une prestation facturée pour récupérer vos propres données.

Famille 6 : réversibilité et sortie

14. Sortie du service. Demandez : « Si je résilie, dans quel format et quel délai je récupère mes données, mes configurations et mon historique ? Que devient ce qui reste chez vous ? » Ce qui doit alerter : un export partiel, un format propriétaire, ou une réponse traitant l’historique des interactions comme une donnée de l’éditeur. L’article 28 du RGPD impose au sous-traitant d’effacer ou de restituer les données personnelles au terme de la prestation, selon votre choix.

Famille 7 : support et accompagnement

Le support se juge sur un engagement écrit. Demandez : « Quel canal, quelle plage horaire, quel délai de première réponse contractuel, et que se passe-t-il s’il n’est pas tenu ? » Un « support réactif » sans engagement chiffré ne vaut rien lors d’un incident réel.

Les questions que les éditeurs esquivent

Quatre sujets font baisser la voix des commerciaux.

La dépendance au fournisseur de modèle sous-jacent. Demandez quel modèle est utilisé — OpenAI, Anthropic, Google, Mistral AI ou un modèle ouvert auto-hébergé —, s’il est mentionné au contrat, et ce qui se passe si son fournisseur change ses tarifs ou retire une version. Une réponse acceptable nomme le fournisseur et décrit la procédure de bascule ; une réponse évasive signifie que la répercussion sera pour vous.

L’export des données. Il doit être déclenchable par vous, sans validation de l’éditeur, dans un format lisible ailleurs. Vérifiez ce que couvre le mot « données » : les fiches clients, mais aussi les configurations, règles métier et historiques.

Ce qui reste après l’arrêt. Faites préciser le délai de suppression effective, sauvegardes comprises, et demandez une attestation. C’est le prolongement des obligations de fin de contrat de l’article 28.

La continuité si l’éditeur défaille. Que devient le service si l’entreprise est rachetée ou cesse son activité ? L’absence de réponse est déjà une information.

Les obligations légales à vérifier côté éditeur

Le contrat de sous-traitance RGPD. Dès que l’éditeur traite des données personnelles pour votre compte, l’article 28 du règlement (UE) 2016/679 impose un contrat écrit précisant l’objet, la durée, la nature et la finalité du traitement, les catégories de données et de personnes concernées, ainsi que les obligations du sous-traitant : traitement sur instruction documentée, confidentialité, sécurité, encadrement des sous-traitants ultérieurs, assistance aux demandes de droits, éléments d’audit, effacement ou restitution des données en fin de prestation. Réclamez ce document avant la signature.

La localisation des traitements. Un transfert hors de l’Union n’est pas interdit, mais il doit être encadré. La CNIL rappelle que si les données risquent d’être transférées hors de l’Union, du fait de l’hébergement ou de l’implantation du fournisseur, des garanties supplémentaires s’imposent. Demandez lesquelles, et sur quel fondement.

La transparence quand l’agent parle à vos clients. L’article 50 du règlement (UE) 2024/1689 prévoit que les systèmes destinés à interagir directement avec des personnes physiques soient conçus de manière que celles-ci soient informées qu’elles interagissent avec un système d’IA, sauf si cela est évident compte tenu du contexte. La Commission européenne indique que cet article s’applique depuis le 2 août 2026. Vérifiez que la mention existe, qu’elle est visible dans le canal utilisé et qu’elle n’est pas désactivable par inadvertance.

La maîtrise de l’IA dans votre entreprise. L’article 4 du même règlement impose aux fournisseurs comme aux déployeurs de prendre des mesures pour assurer un niveau suffisant de maîtrise de l’IA chez leurs personnels et les personnes qui utilisent les systèmes pour leur compte. Cette obligation vous vise directement comme utilisateur professionnel, pas seulement l’éditeur. Elle s’applique depuis le 2 février 2025 ; la Commission précise qu’aucun format de formation ni certificat n’est imposé et que la démarche est proportionnée au contexte et au risque. D’où la question : « Que fournissez-vous pour m’aider à documenter la formation de mes équipes ? »

Format court publié par Agentova sur sa chaîne YouTube, sur le tri entre les outils qui tiennent l’usage et les autres.

Questions fréquentes

Faut-il un juriste pour relire ce type de contrat ?

Pas pour le premier tri : les quatorze questions ci-dessus se posent sans compétence juridique. Faites en revanche relire l’annexe de sous-traitance et les clauses de sortie dès que l’agent traite des données clients.

Une période d’essai remplace-t-elle cette grille ?

Non. Un essai teste la qualité perçue des réponses, rarement l’intégration en profondeur, la traçabilité dans la durée ou la réversibilité — précisément les points qui coûtent cher à découvrir une fois le service installé.

Que faire si un éditeur refuse de répondre par écrit ?

Notez-le et poursuivez. Un engagement oral non repris au contrat n’existe pas. Si deux solutions se valent techniquement, la volonté de contractualiser devient le critère de départage.

Comment comparer des tarifications qui n’ont pas la même structure ?

Audit du temps de travail : repérez vos tâches chronophages en 7 jours
Essai gratuit, freemium, open source : trois façons d’essayer une IA sans payer

Ramenez tout à un coût total sur douze mois, à votre volume réel, mise en route, formation et intégrations comprises. Demandez trois scénarios de volume, inscrits dans la proposition.

Sources

  • Parlement européen et Conseil, « Règlement (UE) 2016/679 (RGPD) », 27 avril 2016. eur-lex.europa.eu
  • CNIL, « Sous-traitance : exemple de clauses », 4 octobre 2017. cnil.fr
  • Parlement européen et Conseil, « Règlement (UE) 2024/1689 établissant des règles harmonisées concernant l’intelligence artificielle », 13 juin 2024. eur-lex.europa.eu
  • Commission européenne, « Transparency obligations under Article 50 of the AI Act », mis à jour le 24 juillet 2026. digital-strategy.ec.europa.eu
  • Commission européenne, « AI literacy — questions and answers », mis à jour le 27 juillet 2026. digital-strategy.ec.europa.eu
  • CNIL, « Les questions-réponses de la CNIL sur l’utilisation d’un système d’IA générative », 18 juillet 2024. cnil.fr
Confronter cette grille à un produit existantUne démonstration commentée, sans rendez-vous, pour voir ce qu’un agent exécute seul et ce qu’il prépare.
Voir la démonstration

Donnez votre avis

★★★★★

Soyez le 1er à noter cet article
ou bien laissez un avis détaillé


Vous aimez cet article ? Partagez !


Partagez votre avis

Partagez votre avis