Corruption de la science : police scientifique, entre objectivité et magie noire
© Inconnu
Le mois dernier Scientific American, magasine réputé sérieux, publiait un article intitulé "Can we trust crime forensics ?", ou "Pouvons-nous faire confiance à la science forensique ?", ce terme regroupant l'ensemble des méthodes policières dite de police scientifique et de médecine légale. C'est surtout de la police scientifique qu'il s'agit ici. L'article début ainsi: "le système de justice criminelle a un problème, et ce problème s'appelle 'forensique'."
Ce constat fait suite à la participation à un atelier sur l'évaluation de la recherche en science forensique, en mai de cette année, de l'auteur de l'article Michael Shermer, par ailleurs éditeur du magasine Skeptic spécialisé dans la dénonciation des analyses pseudoscientifiques. Shermer fut étonné de découvrir à quel point les méthodes qu'il pensait "béton", telles l'analyse ADN et les empreintes digitales, utilisent en fait des techniques non validées ou peu fiables et font apparaître des incohérences entre différentes évaluations d'une même "preuve".
J'ai déjà abordé ce sujet dans l'article Test ADN, auxiliaires d'injustice? en 2010, faisant état des résultats d'une étude comparant les résultats d'échantillons ADN envoyés à 17 laboratoires spécialisés. Chaque labo recevait un échantillon prélevé sur la scène du crime (un viol), un du violeur (reconnu coupable), un de la victime, et deux pour deux autres suspects. Sans qu'il soit indiqué, bien sur, la nature de chaque échantillon. Normalement, chaque laboratoire aurait du faire le lien entre l'échantillon prélevé sur la scène du crime et celui prélevé sur le coupable. Et bien non. Seul un laboratoire considéra qu'il y avait une correspondance possible (et pas certaine). Quatre considéraient que l'on ne pouvait rien démontrer sur base de ces échantillons, et douze considéraient la personne inculpée comme non suspecte sur base de ces tests!
Shermer découvrit que non seulement les tests ADN liés au crime souffraient d'un réel problème de validité scientifique (du fait, notamment, de la mauvaise qualité et du risque de pollution de l'ADN récupéré), mais que plein d'autres éléments supposés signifier ceci ou cela telles les marques de feu, les marques de pneus au sol, les empreintes digitales, les examens d'armes à feu, les marques laissées par des outils, les traces de sang, l'écriture, les cheveux, les peintures et produits chimiques dont les drogues; les matières, les fluides et sérums, et enfin l'analyse des traces d'explosifs, étaient reconnus depuis 2009 comme étant loin de répondre aux critères correspondant à une réelle approche scientifique. (1)
Ayant demandé à l'un des participants à l'atelier, expert reconnu en matière d'analyse de départs de feu et d'explosifs, comment il se faisait qu'on en était encore à une telle "pseudoscience", l'intéressé répondit «que le gros de la "science" du feu et des explosifs a été conduite par les compagnies d'assurance pour trouver la trace de malfaisance, leur permettant ainsi de ne pas devoir rembourser leurs assurés.» (2)
Un autre intervenant, du Centre de Sciences Forensiques de l'University College de Londres, Itiel Dror, décrivit au autre problème fondamental, à savoir les biais de confirmation "avant" et "arrière": l'enquêteur peut être tenté d'établir des liens entre un suspect spécifique et les indices en sa possession, ou de rechercher des indices complémentaires qui permettraient d'inculper ledit suspect. Ces biais sont à même de grandement affecter le résultat de l'enquête, et Shermer se demande sérieusement combien d'innocents ont été inculpés sur base de cette pseudoscience (ou junk science) forensique. Aux USA, une commission nationale de la science forensique fut établie en 2013, avec pour mission d'améliorer la validité et la fiabilité de nombreux domaines de la science forensique. C'est un début mais la route est longue. Cela dit, les tests ADN sont également utilisés pour résoudre les cas où des gens sont emprisonnés sur base d'investigations douteuses. L'association américaine Innocence Project a à ce jour réussi à libérer 330 faux coupables.
En France, la communication sur le sujet via le site www.police-scientifique.com se veut rassurante, notamment sur les tests ADN :
Ce constat fait suite à la participation à un atelier sur l'évaluation de la recherche en science forensique, en mai de cette année, de l'auteur de l'article Michael Shermer, par ailleurs éditeur du magasine Skeptic spécialisé dans la dénonciation des analyses pseudoscientifiques. Shermer fut étonné de découvrir à quel point les méthodes qu'il pensait "béton", telles l'analyse ADN et les empreintes digitales, utilisent en fait des techniques non validées ou peu fiables et font apparaître des incohérences entre différentes évaluations d'une même "preuve".
J'ai déjà abordé ce sujet dans l'article Test ADN, auxiliaires d'injustice? en 2010, faisant état des résultats d'une étude comparant les résultats d'échantillons ADN envoyés à 17 laboratoires spécialisés. Chaque labo recevait un échantillon prélevé sur la scène du crime (un viol), un du violeur (reconnu coupable), un de la victime, et deux pour deux autres suspects. Sans qu'il soit indiqué, bien sur, la nature de chaque échantillon. Normalement, chaque laboratoire aurait du faire le lien entre l'échantillon prélevé sur la scène du crime et celui prélevé sur le coupable. Et bien non. Seul un laboratoire considéra qu'il y avait une correspondance possible (et pas certaine). Quatre considéraient que l'on ne pouvait rien démontrer sur base de ces échantillons, et douze considéraient la personne inculpée comme non suspecte sur base de ces tests!
Shermer découvrit que non seulement les tests ADN liés au crime souffraient d'un réel problème de validité scientifique (du fait, notamment, de la mauvaise qualité et du risque de pollution de l'ADN récupéré), mais que plein d'autres éléments supposés signifier ceci ou cela telles les marques de feu, les marques de pneus au sol, les empreintes digitales, les examens d'armes à feu, les marques laissées par des outils, les traces de sang, l'écriture, les cheveux, les peintures et produits chimiques dont les drogues; les matières, les fluides et sérums, et enfin l'analyse des traces d'explosifs, étaient reconnus depuis 2009 comme étant loin de répondre aux critères correspondant à une réelle approche scientifique. (1)
Ayant demandé à l'un des participants à l'atelier, expert reconnu en matière d'analyse de départs de feu et d'explosifs, comment il se faisait qu'on en était encore à une telle "pseudoscience", l'intéressé répondit «que le gros de la "science" du feu et des explosifs a été conduite par les compagnies d'assurance pour trouver la trace de malfaisance, leur permettant ainsi de ne pas devoir rembourser leurs assurés.» (2)
Un autre intervenant, du Centre de Sciences Forensiques de l'University College de Londres, Itiel Dror, décrivit au autre problème fondamental, à savoir les biais de confirmation "avant" et "arrière": l'enquêteur peut être tenté d'établir des liens entre un suspect spécifique et les indices en sa possession, ou de rechercher des indices complémentaires qui permettraient d'inculper ledit suspect. Ces biais sont à même de grandement affecter le résultat de l'enquête, et Shermer se demande sérieusement combien d'innocents ont été inculpés sur base de cette pseudoscience (ou junk science) forensique. Aux USA, une commission nationale de la science forensique fut établie en 2013, avec pour mission d'améliorer la validité et la fiabilité de nombreux domaines de la science forensique. C'est un début mais la route est longue. Cela dit, les tests ADN sont également utilisés pour résoudre les cas où des gens sont emprisonnés sur base d'investigations douteuses. L'association américaine Innocence Project a à ce jour réussi à libérer 330 faux coupables.
En France, la communication sur le sujet via le site www.police-scientifique.com se veut rassurante, notamment sur les tests ADN :
"Reste que la technique ADN doit être utilisée avec prudence, méthode, rigueur et avec de nombreuses compétences techniques et scientifiques. Par le passé de graves dysfonctionnements ont pu être constatés comme lors de l'affaire du tueur fantôme de Heilbronn ou lors de l'affaire Treiber. Pour minimiser les risques, des protocoles stricts sont respectés lors de la collecte et lors de l'analyse des traces. L'interprétation des résultats s'effectue à l'aide d'un modèle statistique rigoureux, l'approche Bayésienne."
© Inconnu
Je ne vois pas en quoi l'approche Bayésienne constitue un "modèle statistique rigoureux" vu qu'il s'agit d'une "méthode d'inférence permettant de déduire la probabilité d'un événement à partir de celles d'autres événements déjà évalués". (3) Encore faut-il être certain de la pertinence de ces "autres événements", et de toutes manière cela n'enlève rien au problème du biais de l'enquêteur, ni au problème des pressions exercées sur les techniciens de laboratoire qui effectuent les tests. En témoigne l'affaire de Annie Dookhan qui fut jugée, en 2013, pour avoir trafiqué environ 40 000 échantillons afin d'inculper les suspects que lui désignaient ses amis procureurs, détruisant ce faisant la vie de milliers d'innocents.
De l'étendue de ce problème au sein de la police française je n'ai aucune idée précise, mais vu le fonctionnement "à la prime au résultat" de cette institution je ne doute pas qu'il soit relativement sévère.
Notes :
(1) "accuracy and error rates of forensic analyses, sources of potential bias and human error in interpretation by forensic experts, fingerprints, firearms examination, tool marks, bite marks, impressions (tires, footwear), bloodstain-pattern analysis, handwriting, hair, coatings (for example, paint), chemicals (including drugs), materials (including fibers), fluids, serology, and fire and explosive analysis."
(2) "Most of the 'science' of fire and explosive analysis has been conducted by insurance companies looking to find evidence of arson so they don't have to pay off their policies,
(3) https://fr.wikipedia.org/wiki/Inf%C3%A9rence_bay%C3%A9sienne
De l'étendue de ce problème au sein de la police française je n'ai aucune idée précise, mais vu le fonctionnement "à la prime au résultat" de cette institution je ne doute pas qu'il soit relativement sévère.
Notes :
(1) "accuracy and error rates of forensic analyses, sources of potential bias and human error in interpretation by forensic experts, fingerprints, firearms examination, tool marks, bite marks, impressions (tires, footwear), bloodstain-pattern analysis, handwriting, hair, coatings (for example, paint), chemicals (including drugs), materials (including fibers), fluids, serology, and fire and explosive analysis."
(2) "Most of the 'science' of fire and explosive analysis has been conducted by insurance companies looking to find evidence of arson so they don't have to pay off their policies,
(3) https://fr.wikipedia.org/wiki/Inf%C3%A9rence_bay%C3%A9sienne
