ドレスデンやベルリンのシュターツカペレとともにドイツで最も古いオーケストラの一つです。宮廷のオペラ劇場に属さないコンサート・オーケストラとしては最古のものに数えられます。１７４３年に｢大コンサート｣というコンサートシリーズが１６人編成のアンサンブルで始められ、これがゲヴァントハウス管弦楽団の起源となりました。この｢大コンサート｣は１７８１年に織物会館(ゲヴァントハウス)内にできたホールに移り、大きな発展を遂げてきました。

１８３５年にはメンデルスゾーンが指揮者を務め。自作の交響曲第３番、ヴァイオリン協奏曲の他、シューマンの交響曲第１、２、４番、シューベルトの｢ザ･グレイト｣等が初演されました。メンデルスゾーンが３８歳の若さで世を去ったあと、１８６０年から９５年までカール･ライネッケが指揮者を務め、その間の１８８４年には新しいコンサートホール｢ゲヴァントハウス｣が造られそこへ本拠地を移した。１８９５年から２２年まではアルトゥール･ニキシュが、１９２２年にはヴィルヘルム･フルトヴェングラー、１９２８年からはブルーノ･ワルター、その後、ヘルマン･アーベントロートが務めた。戦後はヘルベル･アルベルト、フランツ･コンヴィチュニー、ヴァーツラフ･ノイマンと続き、１９７０年からはクルト･マズアが音楽監督を務めた。

東西ドイツ統一後は、優秀な団員の多くが金銭面などで有利な西側のオーケストラに流出したことなどもあり、一時期は技術的水準がかなり落ち込むこととなってしまったが、マズアの後任のヘルベルト・ブロムシュテットがカペルマイスターに就任後は、彼による綿密なトレーニングの成果もあり、技術的水準を回復することとなった。２００５年秋からリッカルド・シャイーが指揮者に就任しており、更なる飛躍が期待されている。