Heribert Ritter von Karajan-Hijo de una familia de origen griego perteneciente a la alta burguesía, su tatarabuelo -Georg Johannes Karajanis- fue ennoblecido por el emperador Federico Augusto I, lo cual explica el von añadido al apellido de la familia, que más tarde, ya en la región de Sajonia, cambió su grafía original para convertirse en Karajan. La música fue algo habitual para el pequeño Heribert. Su padre era clarinetista aficionado y su hermano organista. Su primer instrumento fue un piano, en cuya práctica se inició tempranamente, en el prestigioso Mozarteum de su ciudad natal. Alentado por su maestro Bernhard Paumgartner, quien descubrió la inclinación del joven Karajan por la música, se trasladó a Viena, donde su interés derivó hacia la dirección orquestal. Su debut fue en el año 1928, al frente de una orquesta de estudiantes, en la Academia de Música de la capital austríaca.
Su debut oficial tuvo lugar al año siguiente, cuando dirigió la ópera Salomé de Richard Strauss en el Festspielhaus de Salzburgo. A partir de allí su carrera irá en ascenso, hasta convertirse en uno de los más destacados directores de orquesta del siglo, y particularmente de la postguerra. Aunque también podría decirse -y ello también sería estrictamente cierto- que con el tiempo se convirtió en una leyenda viviente de la dirección orquestal. Reverenciado por muchos y aborrecido por otros, se ha dicho que Karajan fue el último titán de la dirección orquestal del siglo XX. De los nombres que se le podrían oponer, Arturo Toscanini y Wilhelm Furtwángler pertenecen en realidad al siglo XIX, tanto por cronología como por estilo, en tanto ninguno de los nombres surgidos con posterioridad, ni siquiera Claudio Abbado, que fue su sucesor al frente de la Filarmónica berlinesa, tuvieron una idiosincracia que pudiese compararse con la del salzburgués. Cierto es que en algún sentido hoy no seria posible la existencia de un nuevo Karajan, pues en alguna medida la referida idiosincracia forma parte de un modelo que en la actualidad resulta probablemente anacrónico. La figura del director totalitario tiende cada vez más a ceder terreno frente a una mayor democratización en las orquestas. Pero aquí estamos contando una historia diferente. Durante treinta y cinco años dirigió Karajan la Orquesta Filarmónica de Berlín, tras haber sucedido en ese puesto a Furtwángler, luego de su muerte en 1954. Durante su carrera profesional realizó más de 900 grabaciones y en todo el mundo se han vendido más de 200 millones de discos con su nombre. Su carisma y su forma apasionada de acercarse a la música continúan ejerciendo un efecto de fascinación en el oyente. Mucho se ha hablado de su capacidad para arrancar las sonoridades más brillantes a la orquesta (el famoso sonido Karajan).Y por otro lado se cuenta además su culto por la técnica, que lo llevó a trabajar siempre con los estudios de grabación más avanzados y dotados de la mejor tecnología, lo cual sin duda ayudó a convertir cada uno de sus discos en un material valioso y cuidado. Durante la Segunda Guerra, cuando las mejores batutas de la época (Erich Kleiber, Bruno Walter, Otto Klemperer) se hallaban en el exilio, Karajan se confirmó como el nuevo gran valor de la dirección orquestal germana. Cuando en marzo de 1935 se afilió como miembro del Partido Nazi, siendo nombrado poco después como el más joven Generalmusikdirektor alemán, Karajan dio un paso decisivo que muchos jamás le perdonaron. Esta afiliación no tenía en realidad un sentido ideológico, sino pragmático: era el único modo de hacer carrera en la Alemania de entonces. Pero no dejó de ser una mancha que muchos se niegan todavía hoy a pasar por alto. En 1937 Karajan tuvo su debut con la Filarmónica de Berlín y con la Ópera Estatal de esa misma ciudad en Fidelio, y triunfó decisivamente al año siguiente con Trístan e Isolda.
La pertenencia de Karajan al Partido Naziy su destacada asociación con el Nazismo entre 1933 y 1945 lo puso en una situación nada elogiosa después de la Segunda Guerra Mundial. Mientras que los defensores de Karajan esgrimen que se unió a los Nazis sólo para seguir avanzando en su carrera, sus críticos han señalado que otros grandes directores como Bruno Walter y Arturo Toscanini escaparon de la Europa fascista en aquella época. Adicionalmente, el interés no podría haber sido la única motivación de Karajan, pues se inscribió en el Partido Nazi en 1933 en Salzburgo, Austria, cinco años antes del Anschluss.
En La Guerra Fría Cultural (publicada en Gran Bretaña como ¿Quién paga las consecuencias?), un libro de la política cultural de la CIA en la Europa de la postguerra, Frances Stonor Saunders advierte que Karajan "fue miembro del partido desde 1933, y nunca dudó en iniciar sus conciertos con la pieza favorita de los nazis 'Horst Wessel Lied'". Además y a diferencia de Furtwängler, Karajan no tuvo objeciones en dirigir en la Europa ocupada.Músicos como Isaac Stern e Itzhak Perlman rechazaron tocar en concierto con Karajan debido a su pasado nazi. Algunos se han preguntado si Karajan se aunó a la causa Nazi debido a su matrimonio en 1942 con Anita Guetermann, una mujer de evidente origen judío. La estrella de Karajan con el gobierno se debilita en este punto.