L’impossibilité de disposer d’un recensement du nombre de chômeurs pratiquant le bénévolat associatif a posé d’emblée le problème de la représentativité de la population concernée par notre étude.
En sciences sociales, il est admis que l’ensemble des individus concernés par une pratique ou un problème peut être valablement représenté par une fraction, souvent très faible, de cet ensemble, appelée échantillon, si et seulement si, elle est choisie en fonction d’une distribution statistique d’un nombre limité de critères eux-mêmes sélectionnés en raison d’un degré de caractérisation supposé très élevé. Dans notre cas, faute de pouvoir nous appuyer sur des travaux antérieurs au nôtre concernant la population des chômeurs-bénévoles français et compte tenu des limites que rencontra notre recrutement, il est évident que cette étude n’avait dès le départ pas prétention à garantir une totale représentativité, mais cela ne nous paraît diminuer en rien ce que les résultats obtenus peuvent avoir de significatif du fait de la grande homogénéité des réponses obtenues.
Par ailleurs, notre choix nous exposait aux limites inhérentes et bien connues de l’enquête par questionnaire, ce à quoi nous n’avons pas échappé dans cette étude. Ainsi ne serons-nous, en effet, jamais assurée ni de la sincérité, ni de la fidélité, ni de la compréhension, ni de la compétence des répondants.
C’est ainsi et il est couramment admis que les enquêtes « conviennent bien pour relever des faits objectifs (possessions, comportements repérables, systèmes d’activités), des cognitions, peut-être des préférences. Nous serons moins confiants lorsqu’il s’agit d’opinions, dans la mesure où ce concept est des plus ambigus. Nous le serons encore moins lorsqu’il s’agit d’attitudes, ainsi que de « motivations », « d’aspirations », etc. » (C. Javeau) 58 .
En dehors des problèmes de contenu, il fallut aussi résoudre les difficultés liées à la forme et au mode d’administration et d’exploitation du questionnaire.
C. Javeau invite lors de la rédaction de questionnaires à éviter de provoquer chez les répondants : la crainte de se faire mal juger, le désir de se conformer à la norme sociale, le refus de se laisser impliquer personnellement et la suggestibilité au contenu des questions.
Il fallut donner à la formulation l’expression la plus explicite et la moins équivoque possible, bien choisir le genre de questions à poser et évaluer celles-ci en fonction du niveau culturel moyen supposé des interrogés ; car on sait bien que dans ce type d’exercice, la formulation des questions va être le résultat d’un compromis entre des exigences très contradictoires : technicité et lisibilité, neutralité et intérêt, justesse et simplicité, etc. « La réponse recherchée est idéalement celle, qui, à travers la subjectivité des individus (et même parfois à l’insu de leur conscience réfléchie), exprime directement ou indirectement (mais toujours de la manière la plus exacte, la plus utile et la plus utilisable possible) le phénomène social que l’on veut connaître ou comprendre »(R. Mucchielli 59 ).
Nous avons donc été particulièrement attentive à la formulation des questions (ouvertes, fermées et semi-ouvertes), gage de l’obtention de réponses susceptibles de nous renseigner au mieux.
Les questions ouvertes devaient être aisément comprises et ne comporter aucune ambiguïté ou contresens. Le dépouillement des réponses fut parfois malaisé au niveau de l’interprétation, et une analyse de contenu complémentaire fut souvent nécessaire.
Les questions fermées, présentant le danger de « dicter » ou « d’influencer » en quelque sorte la réponse, dans la mesure où elles n’autorisent aucune expression de nuances, nous avons offert presque systématiquement la possibilité de justifier l’option choisie sous la forme d’une question ouverte du type « expliquez votre choix » « si oui, pourquoi ? », etc.
Les questions semi-ouvertes (ou semi-fermées) proposaient des items, cela a facilité le dépouillement des réponses, mais nous a imposé la plus grande rigueur dans la prise en compte du risque d’influencer la réaction des personnes interrogées par la suggestion de réponses pouvant leur paraître, tout bien considéré et donc avec un degré d’auto-censure, soit plus habituelles, soit plus « convenables ».
Enfin, eût-on fait au mieux que l’on s’exposait encore, selon certains auteurs, aux déformations, mauvaises interprétations et autres réactions inappropriées qui viennent elles aussi nuire à l’authenticité des réponses.
A. Mucchielli a réparti en sept catégories ces « déformations involontaires provenant des attitudes de réponses chez le sujet interrogé ». En voici un aperçu :
la peur du changement suite à l’énoncé d’une question sur un mode « dynamique ».
C. Javeau évoque les obstacles éventuels résultant de « l’économie » du questionnaire, dont nous avons tenu compte au mieux de nos possibilités :
la défiance à l’égard de la technique du questionnaire générant une attitude de défense liée parfois à la crainte de « s’engager » ou la lassitude liée à ce mode d’investigation devenu assez fréquent ou encore pour des raisons idéologiques ;
la contamination des questions les unes par les autres (« effet de halo ») : l’irritation ressentie à l’égard d’une question peut se prolonger, se contaminer sur d’autres questions ou bien le répondant peut être tenté, par souci de logique, de fournir un ensemble de réponses cohérentes, s’alignant sur les premières réponses fournies ;