Après avoir passé un baccalauréat de mathématiques, il est reçu au concours de 1926 dans l'administration de l'Enregistrement (Alsace, Ardennes). Nommé en 1935 à Paris rédacteur principal à la Direction Générale au Ministère des Finances et des Affaires économiques, il est affecté en 1942 au Contrôle économique. Il appartient de 1945 à 1947 aux Cabinets des ministres communistes François Billoux (Économie nationale) puis Charles Tillon (Reconstruction). En 1947, après l'éviction des ministres communistes, il réintègre l'Inspection générale de l'Économie, où il s'occupe notamment d'études de conjoncture et d'aménagement du territoire, jusqu'à sa retraite en 1967.

Il devient, dès avant guerre, l'ami de Jean Follain qui l'introduit dans le groupe Sagesse. Puis il appartient au groupe de l' École de Rochefort .

Catholique pratiquant jusque vers trente ans, il devient sympathisant communiste au moment de la Guerre d'Espagne, adhère en 1942 au Parti communiste alors qu'il se lie à Paul Éluard et participe aux publications de la presse clandestine ( Pierre Seghers , Jean Lescure ). Il demeure, malgré bien des réticences sur la fin des années 60, fidèle à son engagement jusqu'en 1980.

Après une période de résistance, de rébellion contre l'ordre social et l'ordre des choses, s'esquisse un retour à l'interrogation, une tentative d'apprivoiser le monde et son silence. Refusant la métaphysique, il choisit l'ici, qu'il explore sans fin, passionnément. Sa poésie est concise, franche comme le roc, rugueuse et généreuse, tout en demeurant suggestive. Sa poétique se caractérise aussi par son refus des métaphores, auxquelles il préfère les comparaisons, jugées moins mensongères.

Guillevic a reçu le Grand Prix de poésie de l'Académie française en 1976 et le grand Prix national de poésie en 1984.

Le minéral, les menhirs notamment occupent une place importante dans l’univers guillevicien. Figure qui le relie aux mythes celtes, à sa région natale, la Bretagne. La pierre donne un sentiment d’unité, de densité et de compacité qui apaise le poète et son angoisse du flou et de l’informe, qui n’ont pas de substance et qui sont incernables. Le menhir dans sa verticalité procure une sensation d’enracinement dans la terre, élément favori chez Guillevic, de continuité et de stabilité, ce qui apporte à Guillevic une certaine sécurité. C’est en effet ces caractéristiques là justement que Guillevic recherche dans ses poèmes qu’ils considèrent lui-même comme étant des menhirs. Ainsi, le langage poétique guillevicien est ramassé, concis, épuré, dense et extrêmement précis.

Guillevic a publié un très grand nombre de plaquettes accompagnées de dessins, gravures ou lithographies de ses amis peintres. Ces livres, en tirage souvent très limité, permettent de prendre la mesure de la plasticité de sa poésie et de sa poétique. Parmi les artistes avec lesquels il collaborera, citons Fernand Léger , Pignon , Dubuffet , Boris Taslitzky, Jacques Lagrange , Ubac , Beaudin , Manessier , Bazaine .

Les poèmes de Guillevic ont été traduits dans plus de quarante langues de soixante pays. Guillevic lui-même, qui a appris l'allemand et l'alsacien dans sa jeunesse, est l'auteur de traductions ( Goethe , Georg Trakl , Bertolt Brecht ) et d'adaptations des œuvres de poètes principalement d'Europe de l'Est.