1950'de Illinois'un Evanston kentinde, Lucille ve Edward Joseph çiftinin 9 çocuğundan biri olarak doğdu. Kardeşleri John, Joel ve Brian Doyle da oyuncudur. Lise yıllarında para kazanabilmek için golf kediliği yaptı, ayrıca tiyatro ve müzikle de ilgilendi. Kısa bir süre Denver'daki Regis Üniversitesi'nde okudu, ancak mezun olmadan yarım bıraktı. Önce Chicago, sonra New York'ta çeşitli komedi gruplarında çalıştı. 1975'te Saturday Night Live kadrosuna kendisini dahil etmeyi başardıktan sonra 3 sezon bu programda yer aldı. 70'lerin sonunda sinema filmlerinde de görülmeye başladı, Meatballs (1979), Caddyshack (1980), Stripes (1981) ve Tootsie (1982) gibi komedi filmleriyle adından söz ettirdi. 1984'te Dan Aykroyd ve Harold Ramis gibi isimlerle rol aldığı Hayalet Avcıları (Ghostbusters) filmiyle sinema tarihinin en önemli yapımlarından birinde başrolde yer aldı. Bu rolüyle Altın Küre adayı oldu. 4 yıl kadar oyunculuktan uzak kaldı, bu dönemde Paris'te Sorbonne Üniversitesi'nde psikoloji eğitimi aldı ve ailesiyle zaman geçirdi. 1989'da Hayalet Avcıları'nın 2. filminde Peter Venkman rolünü tekrar etti. 1993'ta Andie McDowell ile rol aldığı Harold Ramis filmi Bugün Aslında Dündü (Groundhog Day), 1990'ların en sevilen filmleri arasına girdi. 1994'te Tim Burton'ın Ed Wood filminde başrollerden biri olan Murray, 1996 yapımı Space Jam filminde Michael Jordan'la birlikte yer aldı ve kendisini canlandırdı. 1998'de Rushmore'daki performansıyla bir kez daha Altın Küre adayı oldu (En İyi Yardımcı Erkek Oyuncu dalında).
Başrolünü Scarlett Johansson ile paylaştığı 2003 yapımı Lost in Translation filmiyle Akademi Ödülü'ne aday gösterildi ve daha dramatik rollerdeki yeteneğini gösterdi. 2004'te Garfield filminde ünlü kediyi seslendirdi. 2005'te Jim Jarmusch'un Kırık Çiçekler (Broken Flowers) filmiyle dram yeteneğini tekrar kanıtladı. 2010'larda 2 Wes Anderson filmi, Ay Işığı Krallığı ve Büyük Budapeşte Oteli'nde rol aldı. 2016'da 3. kez çekilen Hayalet Avcıları filminde tıpkı Dan Aykroyd ve Sigourney Weaver gibi küçük bir rolde göründü.
Murray 2 kez evlendi. İlk evliliğini 1981'de Margaret Kelly ile yaptı. Bu evlilikten Homer (d. 1982) ve Luke (d. 1985) adlarında iki erkek çocuğu oldu. Büyük oğlu Homer, 2005 yapımı Kırık Çiçekler filminde küçük bir rol almıştır. Luke ise basketbol antrenörü olmuştur. Kostüm tasarımcısı Jennifer Butler ile ilişkisi sonrası eşinden boşanıp Butler ile 1997'de evlendi. Bu birliktelikten de Caleb (d. 1993), Jackson (d. 1995), Cooper (d. 1997), ve Lincoln (d. 2001) adlarında 4 oğlu daha olmuştur. Bu evlilik de 2008'de boşanmayla sonuçlanmıştır.