I-3.3.1. L’insuffisance des travaux sur l’évaluation

Par évaluation, nous faisons référence à un processus qui consiste «  à porter un jugement de valeur sur une intervention en mettant en œuvre un dispositif permettant de fournir des informations scientifiquement valides et socialement légitimes sur une intervention ou sur n’importe laquelle de ses composantes de façon à ce que les différents acteurs concernés, qui peuvent avoir des champs de jugement différents, soient en mesure de prendre position sur l’intervention et de construire un jugement qui puisse se traduire en actions » (Contandriopoulos & al., 2000, p. 521). L’évaluation peut permettre d’identifier, parmi les interventions, celles qui devraient être développées et implantées et de prédire les conséquences supposées d’un changement, ce qui ne semble pas établi aujourd’hui (Brun & al., 2007). De manière générale, les études discutent des effets des interventions de niveau tertiaire principalement et du manque d’études concernant les interventions de niveau primaire. Peu d’études sont effectivement réalisées à l’échelle organisationnelle (Brun & al., 2003) et celles-ci se limitent généralement à fournir des prescriptions et des recommandations définissant les bonnes pratiques ou les pratiques saines de gestion (Cox, Griffiths & Rial-Gonzalez, 2000 ; Burke, 1993). L’évaluation de l’efficacité de telles interventions présente à l’évidence des difficultés méthodologiques difficilement surmontables. La difficulté liée à l’identification des conditions d’efficacité est sans doute également attribuable à la complexité de la problématique concernée, aux stratégies utilisées pour réduire le stress ou aux problèmes posés par l’utilisation d’un devis de recherche valide (Parkes & Sparkes, 1998).

De surcroît, parmi les recherches réalisées, des auteurs (Berthelette & al., 2008 ; Bickman, 1987 ; Chen & Rossi, 1983 ; Harvey & al., 2006) notent quelques limites ou un manque de rigueur méthodologique qui ne permet pas d’exploiter et d’élargir leurs résultats. Ces limites font référence à l’absence ou au manque d’hypothèses d’action formulées et explixitées (Berthelette & al., 2008) ; de théories sous-jacentes pour soutenir les interventions (Berthelette & al., 2008 ; Chen & Rossi, 1983) ; et de lien entre, d’une part, les ressources consacrées à la mise en œuvre du programme et les services produits et, d’autre part, entre les services dispensés relatifs au programme défini et les objectifs qu’il poursuit (Bickman, 1987). Ces éléments sont pourtant précieux pour conduire des interventions efficaces dans les organisations, en aidant à la prise de décision, en fournissant des outils opérationnels aux intervenants dont l’efficacité a été démontrée. De même, certains observent un manque de rigueur des chercheurs qui, durant l’intervention, prennent une orientation différente dans le but de répondre à un besoin implicite de privilégier un modèle particulier pour convenir aux fondements conceptuels de leur étude (Harvey & al., 2006). Cox, Griffiths, Barlowe, Randall, Thomson & Rial-Gonzalez (2000) ont également critiqué des modèles qui proposent des solutions trop simples au vu de la complexité de l’organisation, rendant disponibles ces solutions par la constitution d’une « boîte à outils ». Ces derniers diront d’ailleurs qu’ « il est naïf de supposer que de telles recettes soient appropriées » (p. 44).

Berthelette & al. (2008) critiquent, par ailleurs, les résultats issus d’essais contrôlés randomisés qui peuvent difficilement être extrapolés aux situations réelles de travail, ce qui limite leur utilité à des fins d’application. Pour eux, « seule l’évaluation menée en milieu naturel permet de comprendre comment les caractéristiques des contextes réels d’implantation peuvent faire varier les effets des interventions » (p. 176). L’optimisation des décisions relatives à l’avenir des programmes nécessite de produire des connaissances scientifiques sur les caractéristiques des services qui permettent d’atteindre les objectifs des interventions. Les connaissances doivent davantage mettre l’accent sur les éléments du contexte qui favorisent non seulement l’implantation d’interventions mais aussi l’atteinte des objectifs (Ibid.). Des recherches comparatives, par étude de cas par exemple, peuvent être utilisées à cette fin. Ces auteurs parlent du « taux de pénétration » des programmes et des « facteurs qui favorisent ou entravent leur implantation et leur efficacité » (p. 177).

Enfin, des auteurs ont mis en évidence que la mesure des résultats est insuffisante pour évaluer la performance effective des milieux de travail en santé et sécurité au travail (Booth, 1993 ; Mitchell, 2000 ; O’Brien, 2000 ; Simpson & Gardner, 2001). Les principaux indicateurs mesurent les échecs plutôt que les succès et représentent un faible indice pour prédire la performance future (Stricoff, 2000). De plus, ils sont influencés par l’effet de désirabilité sociale : présenter une image d’une organisation préoccupée par la santé et la sécurité du personnel. On peut observer des phénomènes de sous-déclaration des événements favorisés par des systèmes de récompenses (Budworth, 1996). Ainsi, la mesure des résultats peut elle-même être contre-productive dans la mesure où la santé et la sécurité au travail deviennent une priorité organisationnelle, à condition que le taux de fréquence toléré ait atteint sa limite (Shaw & Blewett, 1995).

Par conséquent, de nombreux problèmes se posent face à l’évaluation des interventions. Les stratégies de mise en œuvre des interventions organisationnelles, celles qui visent à modifier l’organisation du travail, restent peu documentées encore aujourd’hui bien qu’elles représentent des objets d’étude pertinents (Goldenhar & al., 2001). Un autre problème réside dans le manque de précision des auteurs quant à leur intervention. Les évaluations qui en sont faites « réduisent considérablement la portée et l’utilité des résultats de telles recherches évaluatives » (Berthelette & al., 2008 , p. 176). Le problème de la mesure du changement et de ses effets pose également question pour l’analyse des processus. Les auteurs soulignent deux choix qui peuvent être pertinents pour mesurer l’effet du changement. Berthelette & al., (2008) font référence à l’approche comparative à partir d’étude de cas, ou modélisations de relations structurales, pour évaluer les conditions d’efficacité des programmes implantés. En revanche, Fraccaroli (2002) écrit que « l’observation dans un temps donné ne permet pas de saisir la complexité des processus organisationnels et de comprendre la dynamique des relations entre les différents facteurs (personnels, organisationnels, sociaux et de contexte) qui entrent en jeu » (p. 15-16). La ressource longitudinale augmente la possibilité « de décrire certains parcours individuels et organisationnels de maturation, de développement et de changement, d’expliquer la nature des processus qui impliquent l’interaction réciproque entre facteurs individuels et organisationnels, de vérifier selon une perspective quasi expérimentale les effets de différentes interventions, programmes et solutions organisationnelles » (p. 15). Néanmoins, il semble que mesurer des effets d’interaction ne suffisent pas pour saisir ce processus et les conditions qui réunissent dans l’interaction les facteurs individuels et organisationnels.

Bien qu’il n’existe que peu de travaux rigoureux confirmant l’efficacité des stratégies d’intervention sur lesquels s’appuyer, un certains nombre d’éléments sont reconnus comme pouvant garantir la réussite de l’intervention ou au contraire faire obstacle à son efficacité (Brun & al., 2007 ; Harvey & al., 2006). Ces études ne prétendent pas, comme le propose Fraccaroli (2002), de mesurer des relations réciproques et leur dynamique évolutive, mais elles mettent l’accent sur les conditions qui vont favoriser l’implantation d’une démarche d’intervention en organisation et leurs conditions de réussite en matière de prévention de la santé psychique au travail. Les objectifs principaux sont d’évaluer des résultats relatifs à l’évolution de l’état de santé psychique au travail. Elles donnent des clefs pour les chercheurs qui souhaitent comprendre les différentes conditions qui sous-tendent l’intervention et son efficacité, et pour les intervenants dans la mise œuvre de l’intervention et ce qu’ils peuvent en espérer.