Provisoirement hébergé par la procure de Pondichéry, le Collège s’établit à partir de 1771 à Virampatnam, dans un bâtiment spécialement conçu pour lui. Il y avait alors une quarantaine d’élèves23. Durant les années qui suivirent, les supérieurs successifs s’employèrent à stabiliser le Collège général, et à conforter sa position. Souvent, une fois leurs études achevées, au lieu de se mettre au service des vicaires apostoliques, les élèves rentraient dans les ordres religieux qui les accueillaient volontiers. Un décret de Clément XIV le leur interdit dès 1771. François Pottier24 (évêque d’Agathopolis), vicaire apostolique au Sichuan, région de Chine d’où provenait désormais la majorité des élèves, préconisa de réorganiser le Collège, en créant un corps de missionnaires enseignants nommés à vie. Le 10 mai 1775, un Bref de Pie VI plaçait le Collège de Virampatnam sous la protection spéciale du Saint-Siège. Malgré cette faveur, le nombre des élèves se mit à décliner régulièrement, car le bref de Pie VI incitait également les vicaires apostoliques à ouvrir des séminaires particuliers dans leurs missions, épargnant ainsi aux élèves qui, par ailleurs, supportaient difficilement le climat de l’Inde, de coûteux et périlleux voyages. En février 1782, Pierre Magny25, supérieur du Collège depuis 1778, reçut de Paris l’ordre de renvoyer à Macao les cinq derniers élèves chinois et de fermer, provisoirement, le Collège de Virampatnam.
Nous avons une description détaillée de ce collège, in Viaggo alle Indie Orientali, da fra Paolo di S. Batholomeo Carmelitano Scalzo, in 4° Roma, Fulgoni, 1796, p. 10, citée par A. Launay, in Histoire de la Société des MEP, « Collège de Virampatnam » (p. 205 à 207) : « Le séminaire de Virampatnam était placé dans un terrain planté de palmiers et de cocotiers. Le célèbre missionnaire M. Mathon des Missions Étrangères le fonda et le dirigeait encore quand j’y allai. Le bâtiment est construit sous la forme des cloîtres d’Europe, mais bien mieux distribué que ceux-ci, et mieux adapté aux études, aux exercices et aux travaux auxquels se livrent ces séminaristes orientaux. Au milieu de trois chambres habitées par les professeurs il y avait, au rez-de-chausseé, une grande pièce avec de petites cellules distribuées sur deux rangs et contiguës l’une à l’autre. Celles-ci étaient formées par de simples cloisons en planches de trois ou quatre palmes (environ un mêtre) de hauteur de telle manière que chaque petite cellule pouvait renfermer un élève et que ces jeunes gens pouvaient tous être vus par le professeur. Celui-ci avait une chaire d’où il enseignait et pouvait observer en même temps ce qui se passait dans chaque cellule. Les élèves étudiaient et dormaient dans le même lieu. Une table en bois recouverte d’une natte leur servait de lit (les missionnaires n’en ont point d’autres dans les terres) ; et aux pieds comme à la tête se trouvait une planche que l’on élevait et que l’on baissait à volonté. Cette planche servait de table pour l’étude. Il n’était pas nécessaire de quitter sa cellule pour écrire ; il suffisait pour cela de se mettre au pied du lit ; puis on abaissait la planche quand on voulait sortir. L’autre tablette placée à la tête du lit, servait pour les livres d’étude, l’encre, l’habit long des séminaristes et les petits objets de propreté. Les portes de la grande pièce étaient placées en face l’une de l’autre. De cette façon l’air jouait librement dans toute la salle, d’où l’on ne pouvait sortir sans être vu de l’un des professeurs placés dans les chambres latérales. Le réfectoire était à part, et l’on y faisait la lecture pendant les repas. Au dehors se trouvaient les ateliers de tailleur, de menuisier, de cordonnier, d’imprimeur, de jardinier et de boulanger où travaillaient les élèves, tous obligés d’apprendre un art manuel. Les mêmes élèves marchaient pieds nus, et devaient arroser tous les arbres du verger. On consacrait chaque jour quatre heures à l’étude et une au travail manuel. Le reste du temps se passait en exercices de piété, méditations et chant ecclésiastique. Deux jours, chaque semaine, étaient réservés pour parler la langue maternelle, tout le reste du temps, il fallait le faire en latin. »
François Pottier, 1726-1792.
Pierre Magny, 1748-1822.