Als Sohn des berühmten Dirigenten Karl Böhm und der Sopranistin Thea Linhart scheint der berufliche Werdegang von Karlheinz vorbestimmt. Wie die Eltern soll auch der einzige Sohn in der klassischen Musik Karriere machen. Böhm lernt früh, Klavier zu spielen, mit der festen Absicht, Pianist zu werden. Doch die berühmten Namen seiner Eltern legen ihm einen Stein in den Weg. "Für den Sohn vom Böhm ist es bisschen dürftig“, heißt das niederschmetternde Urteil der Jury nach einem Klaviervortrag, wie Böhm in seiner Biografie "Mein Leben" schreibt.

Auf Drängen seines Vaters studiert Böhm ab 1947 Anglistik und Germanistik, ohne das Studium abzuschließen. Später schreibt er sich in Rom für die Kunstgeschichte ein und bricht erneut ab. Böhm interessiert sich ohnehin eher für Theater und den Film und diesem Interesse geht er seit frühester Jugend nach. Bereits in der Schulzeit engagiert er sich im Schülertheater und spielt unter anderem im "Urfaust" mit. Während der Studienzeit inszeniert er sein erstes Theaterstück, bald arbeitet er als Regieassistent bei Karl Hartl in "Der Engel mit der Posaune" (1948). Das Drama mit Maria Schell und Paula Wessely bringt Böhm auch sein erstes schauspielerisches Engagement im Film, er darf eine kleine Rolle spielen.

Böhms Weg zurück zum Film ist mit dem Namen Willi Forsts verbunden. Der Regisseur gibt ihm 1952 eine kleine Rolle in "Haus des Lebens". Seinen ersten großen Kinoerfolg erlebt Böhm noch im selben Jahr, als er in Arthur Maria Rabenalts Romanadaption "Alraune" an der Seite von Hildegard Knef und Erich von Stroheim mitspielt. In den folgenden Jahren ist er in zahlreichen Produktionen zu sehen, wobei Böhm oft den Typus des aufrichtigen und seriösen jungen Mannes gibt. Dieses Image mag auch der Grund dafür sein, dass Böhm die Rolle des jungen Kaisers Franz Joseph anvertraut wird. In den "Sissi"-Filmen verkörpert er an der Seite von Romy Schneider den gut aussehenden, integeren österreichischen Monarchen. Böhm bringt die Rolle Weltruhm, die deutschsprachige Filmindustrie feiert die Geburtsstunde des neuen Traumpaars Böhm-Schneider.

Den Ruhm empfindet Böhm als Segen und Fluch. Das Image des sauberen Leinwandidols wird er nicht wieder los. Bis heute ist er Kaiser Franz. Zahlreiche Ausflüge ins düstere und zwiespältige Rollenrepertoire reichen nicht, das Image loszuwerden. "Ich weiß nicht, wie viele Prinzen, Fürsten, Könige und Kaiser ich damals hätte spielen sollen […]. Wirklich gute Angebote kamen nicht mehr", so Böhm (Schaake, 1985). Dass er danach immer wieder anspruchsvolle Rollen spielt, dass er unter Rainer Werner Fassbinder einige seiner besten Auftritte hat, gerät allzu leicht in Vergessenheit. Das ist die Tragik des Schauspielers Karlheinz Böhm, dessen Kampf gegen die Windmühlen vergeblich bleiben.

Der Skandal um "Augen der Angst" versperrt Böhm über ein Jahrzehnt lang attraktive Rollenangebote aus Deutschland, doch in seiner Karriere markiert der Part des psychopathischen Voyeurs einen positiven Bruch. Sei dem spielt er vermehrt Charaktere, die sich an der Grenze zum Pathologischen bewegen. So ist er in Vincente Minnellis "Die vier apokalyptischen Reiter" (1962) als Nazi-Offizier zu sehen und in Jerry Thorpes "Mitternacht Canale Grande" (1966) verkörpert er einen sadistischen Agenten. Ähnlich veranlagte Charaktere spielt Böhm dann auch in den 1970er Jahren, nachdem er sich von 'Papas Kino' mit dem Harald Reinl-Drama "Schloß Hubertus" (1973) endgültig verabschiedet. Vor allem unter der Regie von Rainer Werner Fassbinder verkörpert er immer wieder autoritäre Figuren mit Hang zum Sadismus, so in "Fontane Effi Briest" (1972-74), "Martha" (1973), "Faustrecht der Freiheit" (1974) und "Mutter Küsters' Fahrt zum Himmel" (1975).

Böhm wird am 16. März 1928 in Darmstadt geboren. Er ist vier Mal verheiratet und hat sieben Kinder. Mit seiner Frau Almaz Teshome lebt er in Äthiopien und Baldham bei München. Seit 2003 ist er äthiopischer Ehrenbürger. 1983 wird er für sein 'langjähriges und hervorragendes Wirken im deutschen Film' mit dem Filmband in Gold ausgezeichnet. 2009 erhält er den UNESCO-Ehrenpreis. Am 29. Mai 2014 stirbt Böhm mit 86 Jahren nach langer Krankheit.