Vos gains de productivité IA sont-ils réels ? Le test en cinq indicateurs
Vos équipes vous disent qu'elles gagnent du temps. Elles le pensent sincèrement. La recherche disponible montre qu'elles peuvent se tromper de quarante points. Voici le protocole qui tranche, et il tient sur une page.
Le laboratoire indépendant METR a conduit en 2025 une expérience que peu d'organisations oseraient reproduire chez elles. Seize développeurs open source expérimentés, 246 tâches réelles, sur des dépôts qu'ils connaissaient par cœur, la moitié avec assistance IA, l'autre sans.
Les auteurs de l'étude METR posent eux-mêmes les limites : profils très expérimentés, bases de code matures, périmètre étroit. Sur des tâches simples ou des profils débutants, les résultats s'inversent, comme le montre la recherche sur les centres de relation client. Le résultat robuste n'est donc pas « l'IA ralentit ». Il est plus dérangeant : l'expérience subjective d'un gain de temps ne constitue pas une preuve de gain de temps.
Pourquoi la perception dérape
Trois mécanismes se combinent, et aucun ne relève de la mauvaise foi.
- La fluidité est confondue avec la vitesse. Obtenir un premier jet en quinze secondes procure une sensation d'avance qui masque les vingt minutes de vérification, de reprise et de reformulation qui suivent.
- L'effort perçu diminue plus vite que le temps passé. Un travail moins pénible est spontanément jugé plus rapide, ce qui est un excellent argument pour la qualité de vie au travail et un très mauvais indicateur de productivité.
- Le temps de reprise n'est attribué à personne. Il tombe souvent sur le relecteur, le manager ou le client, donc hors du périmètre où le gain est mesuré. La productivité d'une équipe s'améliore, celle du processus se dégrade.
Cinq indicateurs qui tiennent devant un comité
| Indicateur | Ce qu'il mesure | Comment le relever |
|---|---|---|
| Mesure de référence | L'état du processus avant tout déploiement | Deux à quatre semaines de relevé sur le processus ciblé, avant la première licence |
| Temps de bout en bout | La durée réelle du premier geste jusqu'à la livraison validée | Horodatage du flux, jamais le temps déclaré par l'utilisateur |
| Taux de reprise | La part des livrables renvoyés, corrigés ou refaits | Comptage à l'étape de validation, avec motif de reprise |
| Qualité perçue par le destinataire | L'effet réel côté client interne ou externe | Note ou verbatim du destinataire, pas de l'émetteur |
| Coût complet | La dépense réelle, licences, consommation à l'usage, temps de supervision | Relevé mensuel, en incluant la facturation variable souvent sous-estimée |
Le sixième indicateur, celui que personne ne suit
L'autonomie résiduelle. Une fois par trimestre, faites produire un livrable de référence sans assistance et comparez-le à celui de l'année précédente. C'est la seule manière de rendre visible ce qu'un préprint du MIT Media Lab appelle la dette cognitive, ce coût différé d'un raisonnement que personne n'a conduit. Le travail n'a pas encore été relu par les pairs, ce qui invite à la prudence sur son ampleur, pas sur l'utilité de la mesure.
Trois pièges de mesure fréquents
- Confondre adoption et valeur. Le nombre de licences activées, de requêtes envoyées ou d'utilisateurs actifs mesure l'appétence, jamais la performance. C'est pourtant le tableau de bord le plus souvent présenté en comité.
- Mesurer une tâche au lieu d'un processus. Un gain de 40 % sur une étape qui représente 5 % du cycle produit un gain net de 2 %, invisible dans les comptes. Le rapport du MIT sur l'état de l'IA en entreprise attribue précisément à ce mécanisme l'absence d'impact de la grande majorité des pilotes.
- Choisir le périmètre après avoir vu les résultats. Le biais le plus coûteux, parce qu'il transforme un pilote en exercice de justification. Le périmètre et la cible chiffrée s'écrivent avant, et se signent.
Le tableau d'une page à présenter
Un comité n'a pas besoin de vingt indicateurs. Il a besoin de cinq lignes lisibles et d'une conclusion assumée.
- Processus ciblé, cible chiffrée fixée avant le pilote, période de mesure
- Référence avant, mesure après, écart en pourcentage et en valeur absolue
- Taux de reprise avant et après, avec les trois motifs dominants
- Coût complet mensuel, licences et consommation variable séparées
- Décision proposée : généraliser, ajuster le périmètre, ou arrêter
La dernière ligne est la plus importante, et c'est celle qui manque presque toujours. Un pilote qui ne peut pas conclure à l'arrêt n'est pas un pilote, c'est une dépense déjà engagée qui cherche sa justification.
Ce que l'IA fait de nous décrit ce mécanisme sous un autre angle : l'asymétrie du blâme. Une décision qui échoue se voit et se sanctionne. Une inaction qui coûte reste invisible et n'est jamais reprochée à personne. Cette asymétrie explique une grande partie des tableaux de bord rassurants que je vois passer.
Questions fréquentes
Combien de temps faut-il mesurer avant de conclure ?
Comptez deux à quatre semaines de mesure de référence, puis un cycle complet du processus après déploiement, avec un minimum de huit semaines. En deçà, l'effet de nouveauté domine et gonfle artificiellement les résultats.
Faut-il mesurer par équipe ou par processus ?
Par processus. La mesure par équipe déplace simplement la charge vers l'étape suivante sans que personne ne le voie. Un gain qui n'apparaît pas à la sortie du processus complet n'existe pas.
Comment intégrer la facturation à l'usage dans le calcul ?
En la traitant comme un coût variable indexé sur le volume, et non comme une licence à coût fixe. C'est la principale source d'écart entre le budget voté et la dépense constatée, en particulier lorsque les usages agentiques se généralisent.
Et si les résultats sont mauvais ?
C'est le meilleur retour sur investissement possible d'un pilote. Un arrêt documenté à huit semaines coûte infiniment moins cher qu'un déploiement généralisé sur une conviction. Encore faut-il que l'organisation autorise cette conclusion, ce qui relève de la gouvernance et non de la mesure.
- METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 2025. metr.org
- KPMG au Canada, Indice d'adoption de l'IA générative, novembre 2025. kpmg.com
- MIT, initiative NANDA, The GenAI Divide: State of AI in Business 2025, juillet 2025. Rapport en accès libre
- N. Kosmyna et al., Your Brain on ChatGPT, MIT Media Lab, préprint arXiv 2506.08872, 2025. Non relu par les pairs.
- E. Brynjolfsson, D. Li, L. Raymond, Generative AI at Work, The Quarterly Journal of Economics, mai 2025. academic.oup.com
Aurélien Mizeret accompagne les comités de direction sur la gouvernance de l'IA et les décisions d'outillage. Il est l'auteur de Ce que l'IA fait de nous.
Décider sur des preuves plutôt que sur des démonstrations
Le Cadrage de Décision IA pose vos critères et vos mesures avant les rendez-vous fournisseurs, impose un cadre de comparaison identique à tous les candidats, et vous laisse une décision documentée. Trois jours, 3 600 €.
Découvrir le cadrage de décision Faire le diagnostic de posture IA
