Vos gains de productivité IA sont-ils réels ? Le test en cinq indicateurs

Le laboratoire indépendant METR a conduit en 2025 une expérience que peu d'organisations oseraient reproduire chez elles. Seize développeurs open source expérimentés, 246 tâches réelles, sur des dépôts qu'ils connaissaient par cœur, la moitié avec assistance IA, l'autre sans.

Les auteurs de l'étude METR posent eux-mêmes les limites : profils très expérimentés, bases de code matures, périmètre étroit. Sur des tâches simples ou des profils débutants, les résultats s'inversent, comme le montre la recherche sur les centres de relation client. Le résultat robuste n'est donc pas « l'IA ralentit ». Il est plus dérangeant : l'expérience subjective d'un gain de temps ne constitue pas une preuve de gain de temps.

Pourquoi la perception dérape

Trois mécanismes se combinent, et aucun ne relève de la mauvaise foi.

• La fluidité est confondue avec la vitesse. Obtenir un premier jet en quinze secondes procure une sensation d'avance qui masque les vingt minutes de vérification, de reprise et de reformulation qui suivent.
• L'effort perçu diminue plus vite que le temps passé. Un travail moins pénible est spontanément jugé plus rapide, ce qui est un excellent argument pour la qualité de vie au travail et un très mauvais indicateur de productivité.
• Le temps de reprise n'est attribué à personne. Il tombe souvent sur le relecteur, le manager ou le client, donc hors du périmètre où le gain est mesuré. La productivité d'une équipe s'améliore, celle du processus se dégrade.

Cinq indicateurs qui tiennent devant un comité

Indicateur	Ce qu'il mesure	Comment le relever
Mesure de référence	L'état du processus avant tout déploiement	Deux à quatre semaines de relevé sur le processus ciblé, avant la première licence
Temps de bout en bout	La durée réelle du premier geste jusqu'à la livraison validée	Horodatage du flux, jamais le temps déclaré par l'utilisateur
Taux de reprise	La part des livrables renvoyés, corrigés ou refaits	Comptage à l'étape de validation, avec motif de reprise
Qualité perçue par le destinataire	L'effet réel côté client interne ou externe	Note ou verbatim du destinataire, pas de l'émetteur
Coût complet	La dépense réelle, licences, consommation à l'usage, temps de supervision	Relevé mensuel, en incluant la facturation variable souvent sous-estimée

Trois pièges de mesure fréquents

1. Confondre adoption et valeur. Le nombre de licences activées, de requêtes envoyées ou d'utilisateurs actifs mesure l'appétence, jamais la performance. C'est pourtant le tableau de bord le plus souvent présenté en comité.
2. Mesurer une tâche au lieu d'un processus. Un gain de 40 % sur une étape qui représente 5 % du cycle produit un gain net de 2 %, invisible dans les comptes. Le rapport du MIT sur l'état de l'IA en entreprise attribue précisément à ce mécanisme l'absence d'impact de la grande majorité des pilotes.
3. Choisir le périmètre après avoir vu les résultats. Le biais le plus coûteux, parce qu'il transforme un pilote en exercice de justification. Le périmètre et la cible chiffrée s'écrivent avant, et se signent.

Le tableau d'une page à présenter

Un comité n'a pas besoin de vingt indicateurs. Il a besoin de cinq lignes lisibles et d'une conclusion assumée.

• Processus ciblé, cible chiffrée fixée avant le pilote, période de mesure
• Référence avant, mesure après, écart en pourcentage et en valeur absolue
• Taux de reprise avant et après, avec les trois motifs dominants
• Coût complet mensuel, licences et consommation variable séparées
• Décision proposée : généraliser, ajuster le périmètre, ou arrêter

La dernière ligne est la plus importante, et c'est celle qui manque presque toujours. Un pilote qui ne peut pas conclure à l'arrêt n'est pas un pilote, c'est une dépense déjà engagée qui cherche sa justification.

Questions fréquentes

Aurélien Mizeret accompagne les comités de direction sur la gouvernance de l'IA et les décisions d'outillage. Il est l'auteur de Ce que l'IA fait de nous.