Tarkovski sinema eğitimini Moskova'da Devlet Sinema Okulunda aldı. 'Yol Silindiri ve Keman', 1960 yılında Sinema Okulu için yaptığı diploma filmi aynı zamanda ilk filmi ve tamamen Sovyet topraklarında geçen tek filmidir Tarkovski'nin. Moskova'da çekilen filmin, harici mekanlarında bina imgelerinin ağır bastığı görülmektedir. Film, erkek bir müzisyen ile silindir şoförünün karşılaşma hikayesini anlatır. İşleyiş tarzı olarak duygusal görünen film, Tarkovski'nin renkli olarak çektiği tek filmidir. İlk konulu uzun filmine 'İvan'ın İhtirasları' adıyla başlayan yönetmen, filmi 1961 yılında 'İvan'ın Çocukluğu' ismiyle bitirmiştir. 'Andrei Tarkovski' adını uluslararası arenada duyuran ilk film 'İvan'ın Çocukluğu'dur. Öksüz bir çocuğun İkinci Dünya Savaşı sırasında başından geçenleri anlatan film, Venedik Film Festivalinde, Altın Arslan Ödülünü başka bir filmle paylaşır. 'Yol Silindiri ve Keman'daki görsel zaaflar 'İvan'ın Çocukluğu'ndan itibaren düşünceli peyzajlarla yerini sınırsız bir doğaya sahip görselliğe bırakır.
1966'da 'Andrey Rublev'i çeken Tarkovski, bu filmiyle komünist yönetimin tepkisini çekti. Filmin SSCB'de gösterimine, 1967 Cannes Film Festivali'nde ödül kazandıktan 1 yıl sonra izin verildi. Andrei Rublev, Eisenstein'in ölümünden beri durgun olan Sovyet sinemasında bomba etkisi yarattı. Ama şunu da belirtmek gerekir ki, bu filmin dönemin gözde akımlarıyla bir ilgisi yoktu.
Tarkovski, 1972'de Stonislov Lem'in eserinden uyarlayarak çektiği ve kendi ifadesi ile bilim-düşlem olan 'Solaris' adlı filminde hayatın anlamını araştıran yolculuğuna çıktı. Bu film, ünlü yönetmen Stanley Kubrick'in bilim kurgu filmi '2001 Uzay Yolu Macerası'na doğulu bir cevap olarak nitelendirilir. Tarkovski diğer filmlerinde olduğu gibi bu filminde de şiirsel öğelere yer vermişti ve Solaris gezegeninin sonsuz koridorlarında, sonluluk - sonsuzluk, varlık - yokluk gibi insanın varoluşsal gayelerine ilişkin sorularına cevaplar arıyordu.
Tarkovski, 1975'te yönettiği 'Ayna'da yansıma ve hafıza olgularını çıkış noktası yaparak, çocukluk ve ilk gençlik yıllarına, bilinç altı derinliklerine, düşlerine ışık tuttu. Filmde Tarkovski'nin kahramanları, dünyayı kişisel kökenlerinde öğrenmeye başlıyorlar. Çocuklukları hatırlayamayacakları kadar sönük bir neşeyle geçmiş ve bu onları yetişkinliklerinde duygusal açıdan yetim bırakmış.
Tarkovski'nin 1979'da çektiği 'Stalker - İz Sürücü' adlı filmi, meteor düşen yasak bir bölgeye keşif yapan bir kılavuz, bir ressam ve bir edebiyatçının yolculuğunu konu ediyor. Tarkovski'nin kahramanı ruhani bir yolculuğun içindedir. Kavrayışa, iletişime ulaşmak için yapılan bu yolculuklar zaman ve mekan içinde yapılır. Ayrıca bu yolculuklar Tarkovski'nin iç alemine yaptığı yolculuklardır ve sürgünde geçirdiği yılları da hatırlatır. Yolculuğun sonunda doğru yoldan ulaşılmayan bölgenin merkezinde gerçek arzularımızın açığa çıkacağı ve gerçekleşeceği esrarengiz bir oda bulunur.
Tarkovski 1982'de, kendine has sinema anlayışının doruklarından biri olarak görülen 'Nostaljiya' filmini çekti. 1984'te Sovyetler Birliği'ne bir daha dönmeyeceğini ilan ederek İtalya'ya iltica etti. Son filmi 'Kurban'ı, 1986'da İsveç'te çekti. 'Kurban' teknolojik burjuva uygarlığına ve trajik dünya görüşüne yönelttiği destansı bir eleştiri niteliğindedir. Tarkovski bu filmde bireyin kendi hayatıyla hesaplaşmasını anlatır. 'Kurban' şahsi ve tarihi perspektiflerden dünyaya dair zihni ve manevi yansıtmalar dahil, Tarkovski'nin film kariyerinde ele aldığı tüm konuların, temaların çoğunu topladığı 'son' filmidir. Gerçeklik ve düşlerin çatışmasıyla birleşen görsel imgeler çerçevesinde insanın mevcudiyeti üzerinde, kişinin kendisiyle, başkalarıyla ve dünyayla ilişkisinde insan ruhu üzerinde odaklaşarak felsefe yaptığı 'Kurban' filmi 'Stalker' ve 'Nostaljiya' ile başlayan görsel geleneğin bir uzantısıdır.
1985'te terminal akciğer kanseri teşhisi konan Andrey Tarkovskiy, 29 Aralık 1986'da Paris'te öldü. Cenazesi 3 Ocak 1987'de Sainte-Geneviève-des-Bois Rus Mezarlığı'na gömüldü. Ölümünün üzerinden geçen bu süre zarfında klasik satatüsünü elde etti. 'Andrey Rublev' 1995 BBC 100'de yer alan tek Rus filmiydi. Dünyadaki en iyi eleştirmenlerin hazırladığı listede 'Andrey Rublev' birinci sıradaydı. Sinema eleştirisi açısından hazırlanan listelerin ilk onunda ise hem 'Andrey Rublev' hem de 'Ayna' vardı.
İlk evliliğini 1957'den 1970'e dek aktris Irma Raush ile yapan Tarkovski, 1970'ten 1986'daki ölümüne dek Larisa Tarkovskaya ile evli kaldı. İlk evilliğinden Arseniy, ikinci evliliğinden Andrey adlarında çocukları oldu.
