Il existe plusieurs caractéristiques faciales qui sont sexuellement dimorphiques, i.e. qui diffèrent entre les femmes et les hommes. Enlow (1982) a par exemple suggéré que les hommes ont un nez plus protubérant que les femmes. Dans une étude métrique, Burton, Bruce et Dench (1993) ont cité plusieurs caractéristiques distinctives du genre et qui peuvent donc servir, potentiellement, à sa discrimination. Il s'agit, notamment, de l'épaisseur et de la hauteur des sourcils au-dessus des yeux, de la largeur du visage, du nez et de la bouche, de la hauteur du front, de l'épaisseur de la lèvre inférieure, de la distance entre le nez et la bouche et de la longueur du menton. Ils ont aussi observé que la structure tridimensionnelle du nez différencie les deux genres ; les hommes ont effectivement le nez plus protubérant. Campbell, Benson, Wallace, Doesbergh et Coleman (1999) ont rapporté que la distance entre le sourcil et l'oeil est plus grande pour les visages féminins que pour les visages masculins.
D'autres chercheurs ont étudié le poids des différents traits lors d'une tâche de catégorisation du genre. Par exemple, Roberts et Bruce (1988) ont dissimulé les yeux, le nez ou la bouche de visages dont les cheveux ont préalablement été éliminés. Ils ont alors observé que les trois traits influencent la latence des réponses, mais c'est la dissimulation du nez qui l'augmente le plus. Dans l'étude de Bruce et al. (1993), c'est le masquage des yeux qui s'est révélé le plus gênant, puis viennent le masquage du nez et, dans une moindre mesure, du menton. Cette divergence empirique peut sans doute s'expliquer de la façon suivante : le masquage du nez appliqué par Roberts et Bruce (1988) dissimulait aussi une partie des sourcils, ce qui n'était pas le cas dans l'étude de Bruce et al. (1993). De plus, dans cette dernière étude, les sourcils étaient partiellement dissimulés lors du masquage des yeux, ce qui n'était pas le cas dans l'étude de Roberts et Bruce (1988). Notons que le masquage du nez semble avoir un effet perturbateur plus important pour la catégorisation du genre de visages masculins que pour celle de visages féminins (e. g., Bruce et al., 1993).
Yamaguchi, Hirukawa et Kanazawa (1995) ont utilisé la technique de caricature pour déterminer le poids des yeux, du nez, des sourcils, de la bouche et du contour du visage dans la catégorisation du genre de visages asiatiques. Ils ont construit un prototype masculin et un prototype féminin ainsi qu'un prototype androgyne à partir de 36 visages féminins et de 36 visages masculins. Ensuite, ils ont créé un visage hyper-masculin et un autre visage hyper-féminin en augmentant les distances entre chaque prototype sexué et le prototype androgyne. Un ou deux traits d'un prototype étaient alors remplacés par ceux du prototype de genre différent. Ils ont ainsi observé que les traits qui détériorent le plus la catégorisation du genre lorsqu'ils sont remplacés par leur équivalent de l'autre genre sont, d'abord, les sourcils et, ensuite, le contour du visage. Les autres traits n'ont qu'une influence insignifiante. Lorsque les sourcils seuls étaient changés, la moitié des participants tendaient à attribuer le genre opposé au prototype. De plus, lorsque les sourcils et le contour étaient changés, la majorité des participants attribuaient le genre opposé. Des résultats similaires ont été observés pour les hyper-prototypes. Brown et Perrett (1993) avaient déjà utilisé une technique du même type que celle de Yamaguchi et al. (1995), mais avec des visages caucasiens. Le trait le plus important dans leur étude est la mâchoire, puis les sourcils.
Il y a donc de grandes différences entre les recherches : certains observent un poids prépondérant du nez (e. g., Roberts & Bruce, 1988), d'autres des yeux (e. g., Bruce et al., 1993), d'autres encore des sourcils14 et du contour du visage (e. g., Yamaguchi et al., 1995) ou de la mâchoire (Brown & Perrett, 1993). Ce manque de consensus indique, au mieux, qu'il n'existe pas un trait spécifique du genre mais que plusieurs traits contribuent significativement à la catégorisation du genre.
Il faut remarquer que l'augmentation ou la diminution de la distance entre les sourcils et les yeux par certaines expressions faciales ou une différence de point de vue (vue de haut ou de face) affecte aussi la catégorisation du genre (Campbell et al., 1999).