Le bruit, face cachée de l’erreur

Tous les dirigeants connaissent désormais le terme « biais ». On parle, par exemple, de biais pour expliquer la persistance de discriminations à l’embauche. Mais la notion de biais est plus large : un biais est une tendance à se tromper dans une direction prévisible. Par exemple, si vous surestimez systématiquement les synergies dans vos projets d’acquisition, ou si vous faites preuve d’une trop grande aversion au risque dans vos décisions d’investissement, on peut parler de biais dans vos jugements.

Il existe un autre type d’erreur, qui attire beaucoup moins l’attention : le bruit. Tandis que le biais est la moyenne des erreurs, le bruit est leur dispersion. C’est la variabilité indésirable des jugements. Ainsi, vos prévisions de ventes peuvent s’avérer trop optimistes en moyenne (c’est un biais), mais elles varient certainement dans leur degré d’optimisme. Certaines sont certainement très au-dessus de la réalité, tandis que d’autres, peut-être, s’avéreront pessimistes. Cette variabilité, c’est du bruit.

Plus de bruit qu’on ne le croit

L’existence du bruit n’est pas une surprise. Songez aux prévisions de vente, aux décisions de recrutement, aux évaluations de performance, ou à toutes les autres situations qui font appel à votre jugement professionnel. Sauf dans des cas extrêmes, nous ne nous attendons pas à ce que le jugement de nos collègues soit parfaitement identique au nôtre. Dire qu’un problème requiert du jugement, c’est admettre une certaine variabilité. Un peu de bruit est normal.

Mais la plupart du temps, nous sous-estimons drastiquement le niveau de bruit dans nos organisations. Par exemple, dans une société de gestion d’actifs, les dirigeants s’attendaient à ce que leurs analystes, en appliquant les mêmes méthodes à partir des mêmes données, parviennent à des recommandations assez proches. Quelle ne fut pas leur surprise quand ils découvrirent que l’écart médian entre les estimations de deux analystes sur la même valeur était de 44% !

Dans une autre étude célèbre, portant sur la fixation des peines criminelles, on donna à lire à 208 juges fédéraux américains une description schématique de différentes affaires. Sur la base de données strictement identiques, les juges rendirent des conclusions radicalement différentes : pour la même affaire d’escroquerie, par exemple, la moitié des juges ne prononçaient pas de peine d’incarcération, tandis que l’autre moitié fixait des peines pouvant aller jusqu’à quinze ans de prison ! Même si l’on ne s’attend pas à ce que les juges soient tous d’accord, un tel degré de variabilité interroge. Il est d’autant plus problématique que cette étude, en utilisant des affaires simplifiées, sous-estime certainement la variabilité réelle : dans de vraies affaires, plaidées par de vrais avocats dans de vrais prétoires, le bruit ne peut être que plus élevé encore.

Ces exemples sont loin d’être des cas isolés. Les médecins sont souvent en désaccord sur un diagnostic ou sur l’interprétation d’une radiographie. Les experts en assurances peuvent fournir des estimations très différentes du même sinistre. Les professionnels du recrutement ont fréquemment des conclusions opposées sur le même candidat. Même les experts en empreintes digitales produisent parfois des opinions discordantes. La conclusion s’impose : dès lors qu’il y a du jugement, il y a du bruit – et bien plus qu’on ne l’imagine.

L’erreur, c’est le biais plus le bruit

Le biais et le bruit sont des erreurs distinctes et indépendantes l’une de l’autre. Si vous parvenez à corriger le biais optimiste de vos prévisions de vente, elles seront correctes en moyenne ; mais si le bruit demeure, chacune de vos prévisions sera erronée. Ainsi, qu’il y ait biais ou non, le bruit ajoute à l’erreur. Chaque fois que nous formulons un jugement, c’est l’erreur dans ce jugement que nous devons réduire, pas seulement l’erreur moyenne dans l’ensemble des jugements du même type.

Naturellement, il existe des situations où la variabilité n’est pas indésirable. La variété des goûts, la pluralité des opinions politiques, la multiplicité des idées créatives sont d’excellentes choses. Et partout où la qualité des jugements est sanctionnée par un marché, la divergence est nécessaire : le trader qui achète une action et celui qui la lui vend sont nécessairement en désaccord sur sa valeur.

Mais si deux médecins portent un diagnostic différent sur le même patient, ou si deux prévisionnistes nous présentent des scénarios opposés, nous ne célébrons pas la diversité de leurs opinions : nous constatons qu’au moins l’une d’entre elles se trompe. Et si, dans la même compagnie d’assurances, deux souscripteurs sont en complet désaccord sur la prime à fixer, la compagnie ne peut pas compter sur le marché pour lui dire lequel a raison.

Ce qui caractérise ces problèmes de jugement (contrairement aux tâches créatives), c’est qu’on y suppose l’existence d’une réponse optimale dont il faut s’approcher. Comme la variabilité des jugements nous écarte de cet optimum, elle ne peut pas être bienvenue. Le bruit est l’ennemi de l’exactitude.

D’où vient ce bruit ?

On peut décomposer le bruit en trois composantes. D’abord, dans une organisation, les individus diffèrent par le niveau moyen de leurs jugements. Certains recruteurs sont très exigeants ; d’autres donnent de bonnes notes à la plupart des candidats. Certaines prévisionnistes sont généralement très optimistes, d’autres le sont moins. Quand l’affectation des affaires à une personne plutôt qu’à une autre est aléatoire, ces différences sont une source de bruit.

Ensuite, chaque individu est lui-même inconstant dans ses jugements. Qu’on soit médecin, juge ou manager, on n’est pas exactement la même personne le matin ou l’après-midi, le lundi ou le vendredi, par une journée ensoleillée ou sous une pluie tenace. La faim, la fatigue, l’humeur, ou la séquence des décisions précédentes perturbent aussi nos jugements – sans, bien sûr, que nous n’en ayons conscience.

Enfin et surtout, si nous formulons des jugements différents sur le même problème, c’est parce que… nous sommes différents ! Même si deux recruteurs sont en moyenne aussi exigeants l’un que l’autre, ils ne seront pas sensibles aux mêmes atouts et aux mêmes faiblesses d’un candidat donné. La singularité des expériences et l’originalité des personnalités rendent les organisations plus riches et plus intéressantes, mais ce sont aussi, inévitablement, des sources de bruit.

Baisser le volume

Pour s’attaquer au bruit, il faut d’abord le mesurer. Les expériences mentionnées ici sont des exemples d’audits de bruit : en présentant le même problème à des professionnels qui devraient, en principe, fournir des jugements identiques ou proches, on prend la mesure de leurs divergences.

Une fois qu’une organisation a mesuré le bruit, elle peut adopter des processus de décision qui aident à le minimiser. Parfois, on peut automatiser les décisions pour réduire la part du jugement humain – mais déléguer à des algorithmes soulève d’autres problèmes. Dans certains cas (comme celui des prévisions économiques), on peut réduire le bruit en utilisant la moyenne de plusieurs jugements indépendants. Dans d’autres cas (comme les décisions de recrutement), on peut adopter une démarche d’évaluation structurée. Toutes ces méthodes ont un objectif commun : elles disciplinent le processus de décision pour le rendre moins sensible aux sources de bruit qui l’affectent.

Mais si la plupart des organisations n’ont pas encore systématisé ces efforts pour combattre le bruit, c’est qu’elles n’ont pas pris conscience de son importance. De même qu’elles luttent résolument contre les biais, elles doivent maintenant s’attaquer au bruit. Omniprésent et pourtant négligé, le bruit est la face cachée de l’erreur. Il est temps de l’explorer.

LA RÉDACTION VOUS PROPOSE DE LIRE AUSSI :

Apprenez à élargir votre champ de vision

Mauvais réflexes, automatismes… Comment se détacher de 3 biais mentaux qui sapent vos décisions

Les éléments d’un bon jugement