Ankara Ticaret Lisesi'ndeki eğitim sürecini yarıda bırakarak devlet memuru olan Gruda'nın yazdığı şiirler, 1950'li yıllarda çeşitli dergilerde yayımlanmaya başladı. 1956 yılında girdiği Cep Tiyatrosu'nda başlayan oyunculuk yaşamı, Ankara Devlet Tiyatrosu'na ait Küçük Tiyatro'da devam etti. Ankara Meydan Sahnesi ve Nisa Serezli topluluklarında da görev yaptı. Bir süre yeniden memurluk hayatına dönüp, muhasebecilik yaptı. Muammer Karaca tiyatrosunu yönetti. Aynı zamanda Attila İlhan ile beraber mavi hareketini yaratan şairlerdendir. Seyirlik tiyatro oyunları da yazıp, çeviriler yapan Gruda'nın eserlerinde geleneksel Türk tiyatrosu ve Çehov etkisi açıkça görülür. Sanatçının yayımlanmış eserleri bulunmaktadır. Kamera önünde de yer alan Yılmaz Gruda, sinema ve dizi filmlerde rol almaktadır.
İlk evliliğini 1957'de Tolga Tiğin ile yaptı. İlk kızı Elgin bu evlilikten doğdu. 1963'te ayrıldılar. 1965-76 arasında tiyatro ve sinema oyuncusu Ayşen Gruda ile evli kalan sanatçının Elvan (d. 1968) adında bir kızı oldu. 1985'ten 2014'teki vefatına dek Türkan Gruda ile evli kaldı.