Franz Grundheber wurde in Trier geboren. Nach Abitur und drei Jahren als Offizier auf Zeit bei der Luftwaffe studierte er an der Indiana University in Bloomington/USA Gesang bei Margaret Harshaw.
1966 verpflichtete ihn Rolf Liebermann an die Hamburgische Staatsoper, der er bis heute in einem permanenten Gastvertrag verbunden blieb und die ihn anlässlich seines 40-jährigen Bühnenjubiläums zum Ehrenmitglied ernannte. Er singt im Repertoire der kommenden Saisons Musiklehrer (”Ariadne auf Naxos”), Peter (”Hänsel und Gretel”) sowie Graf Waldner (”Arabella”).
Die Wiener Staatsoper ebenso wie die Staatsoper Hamburg, seit vielen Jahren der Mittelpunkt seiner künstlerischen Arbeit, verliehen ihm die Titel Kammersänger und Ehrenmitglied. Wozzeck, Orest, Cardillac, Borromeo, Dr. Schön, Guglielmo Wulf/Le Villi und Moses sang er hier seit 1976 in Premieren, dazu das gesamte Repertoire von Rigoletto, Jago, Macbeth, Amonasro, Scarpia, Amfortas, Holländer, Barak, Mandryka, Jochanaan und Faninal. Die Verträge gehen bis 2012. Auch bei den Salzburger Festspielen sang er Scarpia (unter Herbert von Karajan), Jupiter, Olivier, Orest, Amfortas, Faninal und Sprecher.
In Europa sang er sein Repertoire in Paris vom Palais Garnier, Châtelet bis zur Bastille (2011 erneut als Schigolch), in Barcelona, Madrid (2012 erneut als Moses im Rahmen einer Tournee mit dem SWR Sinfonieorchester), Oviedo, Athen, Rom, La Scala (Wozzeck) und Arena di Verona (dort sang er als erster Deutscher in Aida/Amonasro), Florenz und Turin. Dazu kommen Kopenhagen, Helsinki, Savonlinna, Moskau, Brüssel, Amsterdam und London, wo er an der Covent Garden Opera mit großem Erfolg als Barak, Rigoletto und Simon Boccanegra gastierte. Im Theater an der Wien wird er 2012 den Riedinger in „Mathis der Maler“ singen.
Neben Los Angeles, San Francisco, Chicago Lyric Opera, Houston, Philadelphia sang er unter anderem Wozzeck und Rigoletto (als erster Deutscher) an der Met New York. Für seinen Simon Boccanegra in Santiago de Chile erhielt er den Kritikerpreis 2001 und sang dort im folgenden Jahr noch den Scarpia.
In der Spielzeit 2002/03 war er bei seinem fünften Japan-Gastspiel in Tokio als Amfortas und bei der Tokyo Opera Nomori als Orest sowie beim Saito Kinen Festival 2005 in Arnold Schönbergs Gurreliedern zu hören. 2010 kehrte er mit Amfortas nach Tokio zurück.
Neben zahlreichen anderen Einspielungen wurde Franz Grundheber als Alban Bergs Wozzeck unter Claudio Abbado mit dem Prix Georges Till ausgezeichnet. Die gleiche Oper hat er auch mit Daniel Barenboim eingespielt. Mit Olivier, Faninal, Mandryka, Jupiter, Barak und zuletzt unter Semyon Bychkov als Orest hat er fast das gesamte Strauss-Repertoire eingespielt.
Im August 2008 wurde seine CD “Lieder einer Reise” in Salzburg vorgestellt.
Im Konzert- Oratorien- und Liedbereich sang er zahlreiche Konzerte unter Herbert von Karajan, Kurt Masur, Seiji Ozawa, Colin Davis, Giuseppe Sinopoli, Claudio Abbado und Semyon Bychkov, um nur einige zu nennen.