约胡姆于1902 年出生在德国巴伐利亚的一个音乐家庭中，他是本世纪早期最有影响的德国指挥家之一，他一生中影响最大的一件事，就是亲手组建和培养了巴伐利亚广播交响乐团。

约胡姆的父亲是一个优秀的管风琴家，还是当地的一个合唱团的团长。约胡姆兄弟几个都从小学习音乐，后来，除了他成为世界著名的指挥大师以外，他的哥哥奥托·约胡姆也成了一位具有世界影响的作曲家，而他的弟弟乔治·路德维希·约胡姆则当上了杜伊斯堡音乐学院的院长，并且也是一位很有成就的指挥家。尤金·约胡姆早年曾在奥格斯堡音乐学院中学习钢琴、管风琴和指挥，后又转到著名的慕尼黑音乐学院中学习作曲和指挥。 1926 年，约胡姆作为指挥家首次登台，指挥慕尼黑爱乐乐团举行了一场有意义的音乐会，这一年，他虽然仅有24 岁，但却在音乐会上出色地指挥了难度很大的布鲁克纳《第七交响曲》，使当时的听众和舆论界都感到了极大的惊讶。从这以后，约胡姆便慢慢成为欧洲指挥界中崭露头角的人物，首先，他在全国的各个乐团和歌剧院中频繁地担任指挥，然后又逐渐地将艺术的触角伸到了国外，从1927 年到1929 年，他一直在基尔剧院中担任艺术指导和常任指挥，1930 年，他又被杜伊斯堡歌剧院聘为指挥。1932 年至1934 年间，他担任了柏林广播乐团和国家歌剧院的指挥。1934 年以后又转任汉堡爱乐乐团和汉堡国立歌剧院的指挥。1949 年，约胡姆组织创建了巴伐利亚广播交响乐团，并亲自担任了这个乐团的音乐指导和常任指挥，1959 年，任期满十年的约胡姆离开了这个与他朝夕共处的乐团，开始了他在世界范围内的指挥活动。1961 年，59 岁的约胡姆走马上任，成了荷兰阿姆斯特丹音乐厅管弦乐团的常任指挥，干了四年以后，他又回国转任了班贝克交响乐团的常任指挥，但在这一段相当长的时间里，他始终是英国伦敦爱乐乐团和伦敦交响乐团的客席指挥，经常往来于德国和英国之间，并在那里指挥定期的音乐会，为此，伦敦交响乐团还在1975年将“桂冠指挥家”的称号授予了他。
 

1949 年，约胡姆在自己的家乡创立了这个乐团，当时它与英国的许多老牌优秀乐团相比，无论从哪方面看都显得是那样的年轻和缺乏经验，然而约胡姆却以其刻苦而持久的创业精神和伟人般的天才能力，在短短的十年内，就把这个崭新的乐团训练成了具有世界一流水平的著名乐团，这个事例，的确不能不说是约胡姆杰出的指挥生涯中的一项最重大的功绩，他不但以自己的才能为家乡音乐事业的发展做出了贡献，而且也为德国和世界交响乐事业的壮大做出了贡献。

在本世纪早期的德国指挥家当中，约胡姆是一个很有特色的人物，从指挥风格上来看，他是一个德奥味道十分纯正的大师，纵观他的指挥生涯，也主要是以德国乐团为其指挥对象的，因此，他的指挥特点可以说是德奥体系中最德国化的一种，他与富尔特文格勒相比，缺乏的是那种由于强烈的情感因素而导致的主观即兴发挥，而与长尔·伯姆相比，也没有那种维也纳流派中的典雅、端庄和秀丽的风格，然而他却具有着德国风格中所特有的丰厚，沉重和深邃的特点，虽然有时听起来略显古板，但却恰恰从这种古板中体现了德国风格中的冷静、理智和逻辑清晰的特点。

约胡姆曾在自己指挥艺术最为成熟的时期里，广泛地参加了世界性的众多音乐活动，大约从50 年代以后，他便经常活跃在国际音乐舞台上，他曾在许多著名的音乐节中担任指挥，也曾访问过美国和加拿大等美洲国家以及日本这样的亚洲国家，并和这些国家中的著名乐团一起举行了很多出色的音乐会。此外，他与伦敦爱乐乐团之间保持了多年良好的合作关系，作为客席指挥，他与这个乐团合作录制了很多极有价值的唱片。