1960'ta Schönau'da doğan Löw, 1978 yılında SC Freiburg takımıyla profesyonel futbol yaşamına başladı ve tam 17 yıl boyunca Alman liglerinde top koşturdu. Son olarak 1994-1995 sezonunda FC Frauenfeld forması giydi.
1992-1994 yılları arasında futbolcu-menajer olarak başladığı teknik direktörlük yaşamına ise futbolu bıraktıktan sonra 1 Temmuz 1995'de VfB Stuttgart'ta başladı. 1998 yılına kadar bu kulüpte yardımcı antrenör ve teknik direktör yardımcılığı yapan Joachim Löw, 1 Haziran 1998 Fenerbahçe'nin başına geçti. Türkiye'de kısa bir süre Adanaspor'u da çalıştıran Löw, son olarak Austria Wien'den ayrıldıktan sonra, 1 Ağustos 2004'te Almanya Milli Takımı yardımcı antrenörlüğüne getirildi. Almanya'nın Dünya 3.'sü olduğu 2006 FIFA Dünya Kupası Finalleri'nde görev yapan Joachim Löw, turnuvanın ardından görevi bırakan Jurgen Klinsmann'ın yerine milli takımın başına getirilerek, 1926 yılından beri Almanya teknik direktörü olan 10. isim oldu.
Euro 2008'de final, 2010 Dünya Kupası ve Euro 2012'de yarı final oynayan Almanya, 2014 Dünya Kupası'nda şampiyon oldu ve Löw yıllardır beklediği kupayı kazanmış oldu.