1887年開始,指揮家畢羅(Hans von Bulow)與樂團五年愉快的合作下,樂團漸漸建立名氣,也奠定今日的基礎,許多知名音樂家一起合作,樂團的曲目逐漸增加,在樂團的客席指揮中出現理查˙史特勞斯、布拉姆斯、葛利格、柴可夫斯基等。樂團在當時已經成為柏林最傑出的樂團,基於健康因素1892年畢羅辭去樂團首席指揮,日後仍與樂團保持合作。
1954年11月,福特萬格勒去世,樂團原本安排訪美巡迴演出的行程,卡拉揚(Herbert von Karajan)臨危受命,帶領樂團赴美演出成功。1955年4月卡拉揚接下柏林愛樂音樂總監。卡拉揚不但具有優異的音樂天分,而且擁有靈活的商業頭腦,致力出產大量的錄音,為柏林愛樂和他自己建立盛大的錄音王朝,也讓世界三大唱片公司甘願同時和他簽約。此外卡拉揚也致力擴展樂團的活動。1989年卡拉揚去世,在卡拉揚與柏林愛樂合作的三十多年中,發生了幾次的衝突,其中以女豎琴家的事件最為嚴重。由於卡拉揚過於獨裁,所以樂團在遴選下一任音樂總之時不得不考慮選出具威嚴或是和善的指揮家,樂團秘密票選,選出阿巴多(Claudio Abbado)為下一任柏林愛樂音樂總監。