Als Sohn des Opernregisseurs Josef Gielen wurde Michael Gielen 1927 in Dresden geboren. Seine musikalische Karriere begann er als Korrepetitor am Teatro Colón in Buenos Aires, wohin seine Familie emigriert war. Im Jahr 1949 gab er dort ein Solokonzert mit den gesamten Klavierwerken von Arnold Schönberg. 1951 kehrte Michael Gielen nach Europa zurück: Er wurde Dirigent und Korrepetitor an der Wiener Staatsoper und begann eine erfolgreiche Karriere im Konzertbereich. Früh entwickelte er ein Interesse an zeitgenössischer Musik und wurde bekannt für seine hervorragenden Aufführungen der Musik der Wiener Klassik und Werken von Bruckner und Mahler.

Von 1960 bis 1965 war Michael Gielen als Musikdirektor der Königlichen Oper Stockholm tätig. 1969 wurde er zum Leiter des belgischen Nationalorchesters in Brüssel ernannt. Michael Gielen dirigierte in allen wichtigen Musikzentren Europas; eine besonders enge Zusammenarbeit verband ihn mit den Rundfunkorchestern in Stuttgart, Köln, Frankfurt am Main und Wien. In Großbritannien ist Michael Gielen regelmäßig mit dem BBC Symphony Orchestra aufgetreten. Nach der Aufführung von Schönbergs »Die glückliche Hand« im Februar 1977 in der Royal Festival Hall wurde ihm die Position des Principal Guest Conductor angetragen.

Von 1973 bis 1976 war Michael Gielen Musikdirektor der Niederländischen Oper, von 1976 bis 1986 Intendant und Generalmusikdirektor der Oper Frankfurt, von 1978 bis 1981 war er zudem Principal Guest Conductor des BBC Symphony Orchestra, leitete von 1980 bis 1986 das Cincinnati Symphony Orchestra und wurde Chefdirigent des Sinfonieorchesters des Südwestfunks (1986-1999). Michael Gielen dirigierte auch regelmäßig an der Staatsoper Unter den Linden; er ist Principal Guest Conductor der Staatskapelle Berlin.

Michael Gielens Leitungstätigkeit an der Frankfurter Oper wurde bekannt für viele künstlerisch avancierte, zuweilen kontrovers diskutierte Produktionen wie etwa die international beachteten Aufführungen von Wagners »Ring des Nibelungen« in der Regie von Ruth Berghaus. 1989 trat Michael Gielen mit den Berliner Philharmonikern auf, 1994 kehrte er für eine Produktion von Debussys »Pelléas et Mélisande« an die Berliner Staatsoper zurück. 

1995 dirigierte er bei den Salzburger Festspielen eine Neuproduktion von Bergs »Lulu«, welche er später dann auch an der Staatsoper Unter den Linden in Berlin aufführte. Ein Jahr folgte eine vielgelobte Aufführung von Beethovens »Fidelio«, ebenfalls bei den Salzburger Festspielen. Im Jahr 2000 stand eine Neuinszenierung von Mozarts »Idomeneo« an der Oper Genf unter seiner musikalischen Leitung.

Im August 1993 gaben Michael Gielen und das Sinfonieorchester des Südwestfunks erfolgreiche Konzerte beim Edinburgh Festival sowie bei den Salzburger Festspielen, die im April 1996 auch in der Londoner Royal Festival Hall zur Aufführung kamen.

Nachdem Michael Gielen 1971 erstmals in den USA das New York Philharmonic Orchestra dirigiert hatte, wurde er mehrfach zu amerikanischen Orchestern eingeladen: nach Detroit, Houston, Seattle und Cincinnati. Des Weiteren dirigierte er das American Composer Orchestra.

In den letzten Jahren war Michael Gielen außerdem regelmäßig beim Cleveland Orchestra, dem Pittsburgh Symphony Orchestra, dem Los Angeles Philharmonic Orchestra und beim Chicago Symphony Orchestra zu Gast. Darüber hinaus dirigierte er Konzerte mit dem London Symphony Orchestra im Festspielhaus Baden-Baden sowie Aufführungen mit dem Orchestre de Paris.

Kürzlich führte eine Produktion von Janáčeks »Aus einem Totenhaus« Michael Gielen an die Opéra National de Paris. Für Konzerte stand er mit dem Rundfunk-Sinfonieorchester Frankfurt auf der Bühne. 

Wie auch Gustav Mahler, Bruno Maderna und Pierre Boulez pflegt Michael Gielen sowohl das Dirigieren als auch das Komponieren, was ihm vertiefende Einblicke in die Musik zeitgenössischer Komponisten erlaubt. Mehrfach leitete er Uraufführungen bedeutender Werke des 20. Jahrhunderts wie etwa Bernd Alois Zimmermanns Oper »Die Soldaten« oder György Ligetis »Requiem«.

Von den zahlreichen Einspielungen, die unter der Leitung Michael Gielens entstanden, ist eine Produktion von Schönbergs »Moses und Aron« hervorzuheben. Eine Michael Gielen Edition wurde mit den Aufnahmen aller neun Beethoven-Sinfonien von der EMI begonnen und von Hänssler fortgesetzt.

Für seine Leistungen als Dirigent wurde Michael Gielen 2002 mit dem Cannes Classical Lifetime Achievement Award ausgezeichnet. Seine Autobiographie »Unbedingt Musik« wurde 2008 veröffentlicht.