Dans ce système bicaméral, la chambre haute était conçue sur le modèle de la Chambre des lords du Parlement du Royaume-Uni. Dès 1854, elle se composait de membres héréditaires et de membres nommés à vie par le roi (y compris la possibilité de créer un Pairsschub afin de faire basculer la majorité en sa faveur). Le premier groupe inclut le chef des maisons de Hohenzollern-Sigmaringen et de Hohenzollern-Hechingen, tous les chefs des anciens États impériaux sur le territoire des provinces, et les membres de la Diète prussienne unie de 1847. Le deuxième groupe comprenait également les titulaires des certaines fonctions honorifiques à la cour, ainsi que des représentants de nombreuses villes et institutions telles que les universités prussiennes et les chapitres de l'Église protestante. La plupart des membres venait de la classe des grands propriétaires terriens de l'aristocratie (Junker) ; le groupe conservateur, notamment le cours du parti conservateur libre et du parti national-libéral, a donc dominé les délibérations de la Chambre.
L'édifice fut construit sur la Leipziger Straße, au nord du bâtiment de la Chambre des représentants (Abgeordnetenhaus) construit de 1892 à 1897 selon les plans de l'architecte Friedrich Schulze-Colbitz (1843–1912). La Chambre des seigneurs et la Chambre des députés de Berlin d'aujourd'hui, communiquant par ses jardins, sont ainsi l'œuvre du même architecte, pour simple raison que les locaux abritèrent les deux chambres du Parlement prussien. La première séance plénière de la Chambre des Seigneurs de Prusse dans le nouvel édifice réunit ses 433 membres le . Son dernier président sera le comte Dietlof von Arnim-Boitzenburg (1867-1933).
Durant la révolution allemande de 1918-1919, c'est dans ce bâtiment que siégea le Congrès général des « conseils de travailleurs et de soldats d'Allemagne » du 16 au , en vue d'adopter la résolution d'organiser les élections de la représentation nationale pour le ; donnant ainsi naissance à la république de Weimar. Entre le et le , le Parti communiste d'Allemagne (KPD) est officiellement proclamé dans la salle des fêtes du bâtiment. À partir de 1921, le bâtiment abrita le Conseil d'État (Staatsrat) présidé par Konrad Adenauer, la représentation des provinces dans la législation et l'administration de l'État libre de Prusse selon la Constitution de 1920. Jusqu'au coup de Prusse en 1932, la « coalition de Weimar » du premier ministre Otto Braun, composée de sociaux-démocrates et de membres du Zentrum, dirigera l'État. À l'avènement des nazis, la diète de Prusse est dissoute.
La Herrenhaus est reconstruite de manière simplifiée au lendemain de la Seconde Guerre mondiale. Elle hébergera de nombreuses institutions au cours de l'existence de la RDA :
de 1946 à 1949 : siège de la Commission économique d'Allemagne ;
à partir de 1961 : siège de la Commission d'État au Plan ;
de 1978 à 1983 : des projets sont à l'étude pour en faire un mémorial en souvenir de la création du mouvement communiste allemand. Cependant, les projets n'aboutiront pas.
Le , l'Allemagne est officiellement réunifiée. À la suite de la décision du faisant de Berlin la nouvelle capitale de l'État fédéral, le Conseil fédéral(Bundesrat) doit se prononcer sur son futur siège. En vertu du fédéralisme, il décide le de demeurer dans un premier temps à Bonn (au Bundeshaus), tandis que la Diète fédérale(Bundestag) rejoint l'ancien Palais du Reichstag.
Cinq ans plus tard, le , la décision finale sur le siège du Bundesrat doit être adoptée. Finalement, le Bundesrat revient sur sa décision initiale. De fait, il suit donc la Diète, la chancellerie fédérale et la Présidence fédérale à Berlin.
Avant de tenir sa séance inaugurale dans la capitale, en l'an 2000, une commission du Bundesrat lança un concours d'architecture, remporté par le cabinet Schweger + Partner de Hambourg, et ce en vue de restaurer l'ancien Herrenhaus et de reconstruire la salle plénière qui avait été détruite lors du conflit mondial.