Futbol altyapısını Chemnitzer FC kulübünde alan Ballack, 1997'de Bayer Leverkusen'e transfer oldu. Bu takımda geçirdiği 3 yılın ardından büyük bir yıldıza dönüştü ve Almanya Milli takımında da oynamaya başladı. Takımıyla Şampiyonlar Ligi finali oynadı. 2002'de Bayern Münih'e transfer oldu. Buradaki yıllarında Almanya Milli takımına kaptanlık yapmaya başladı. Daha sonra beklenildiği gibi büyük bir kulübe Premier League ekibi Chelsea'ye transfer oldu. Burada da Şampiyonlar Ligi finali oynadı ancak Manchester United'a kaybetti. Euro 2008'de Almanya ile finale çıksa da İspanya'ya kaybettiler.
Chelsea'de tam 4 sezon top koşturduktan sonra 2010 Haziran ayında kulübü tarafından serbest bırakılan Ballack, eski takımı Bayern Leverkusen ile 2 yıllık sözleşme imzaladı ve 2012'de futbolu bu kulüple bıraktı.