La question de la fidelité 166 et de la validité des catégories intra-codificateur (Carmo & Ferreira, 1998; Vala, 1986) a été une préoccupation qui nous a accompagnée tout au long du processus de catégorisation et de codage du corpus. La question de la validation par un agent externe à la recherche même (inter-codificateur) nous a encore préoccupée, étant donné qu’il nous était difficile de concilier ce qui les différents auteurs rapportaient en relation à la pertinence du mode de la validation.
Vala (1986: 117) propose inclusivement une formule pour la validation mais il ajoute : «on note, cependant, que les coefficients de fidélité élevés ne sont pas synonyme de validité. Dans le pire des cas, une fidélité élevée peut juste signifier que les codificateurs ont opéré selon un même critère inadéquat de classification ».
Paillé e Mucchielli (2003) proposent la réflexion suivante :
‘L’équation suivante est posée: si le travail d’analyse doit détenir une quelconque validité, un chercheur externe au projet devrait pouvoir arriver à la même catégorisation du corpus (…) Or, ce projet est non seulement, irréaliste, il se place au travers d’une réelle authenticité de l’analyse et réduit d’autant la possibilité de mener à bien un travail complet de théorisation. L’erreur, au départ, est de concevoir le travail d’analyse comme un exercice d’étiquetage relativement reproductible, alors qu’il s’agit beaucoup plus de l’articulation d’une conceptualisation où se rencontrent un analyste-en-action, des référents théoriques et existentiels, et un matériau empirique. Comment la perspicacité, la créativité et l’intuition d’un chercheur peuvent-elles librement s’exercer si le résultat doit être comparable et reproductible ? Quel aurait été le destin de la théorie de la relativité ou de la psychanalyse s’il avait fallu que ces brèches dans la connaissance soient avalisées par l’ensemble des pairs dès le départ ? (p. :173)’Et encore:
‘Il n’y a pas d’arbitre absolu pour ce genre de travail, la postérité d’une catégorie est plutôt une question d’envergure, de perspicacité et de justesse de l’analyse, à l’intérieur d’une communauté éventuellement réceptive à une redéfinition des termes, le cas échéant (p.174).’L’analyse que nous présentons, a été discutée avec le directeur du projet de recherche, qui a concordé dans quelques cas et discordé dans d’autres, en suggérant chaque fois des alternatives qui, après discussion, sont allées intégrer le processus de codage.
«La fidélité en ce qui concerne le problème de garantir que les différents codificateurs parviennent à des résultats identiques (fidélité inter-codificateurs) et que un même codificateur tout au long du travail applique de forme égale les critères de codification (fidélité intra-codificateur) (…).La validité concerne ce que le chercheur prétendait mesurer. Une analyse de contenu sera valide quand la description qui est fournie sur le contenu, a un sens pour le problème en question et reproduit fidèlement la réalité des faits.» (Carmo & Ferreira,1998:259).