会贤堂始建于1875年，原来是清光绪年间礼部侍郎斌儒的私邸，清光绪十六年（1890年），时任军机大臣、体仁阁大学士张之洞的家厨王承武相中此地，将原来在白米斜街11号院的饭馆搬至此外，起名为“会贤堂饭庄”。主营鲁菜，兼营风味小吃。其占地面积约3000平方米，建筑面积约1800平方米。前部邻海为十二开间大玻璃窗青砖对缝的木结构两层小楼，雕梁画栋，磨砖刻花，古朴典雅，门辟其间。原门口马头墙上原挂有“会贤堂饭庄”铜牌，并有“包办满汉全席”和“供应应时小卖”的条幅。门楣上有“会贤堂”的牌匾，院门外墙有对联，大门门簪上镌刻“群贤毕至”四字。
进到大门影壁前，原有一个硕大的石雕鱼缸。店门内是前面两层院落，每个院子都建有高大的铁罩栅。后院分东西两路，西跨院设有一座小型戏台，院子的前、左、右是客房，院中间可容数百人一同观看演出。东西两跨院间原有一座三层小楼，因唐山地震时震塌了一层，目前只保留了两层。
此外，19号在北京解放时就为北京卫戍区占用，原建筑已经拆除，现改建为两栋不大的居民楼。整个院落内有各种建筑百余间，各房间摆放着榆木擦漆桌椅，白灰墙上挂着不同时代的名人书画，布置得雅而得当。整个建筑群以中式四合院为主，略带西洋风格。
旧京的饭庄以“堂”字号的规模为最大，最著名的有八家，这便是“会贤堂、聚贤堂、福寿堂、天福堂、惠丰堂、福庆堂、同和堂、庆和堂”，人们称之为“八大堂”。它位列“北京‘八大堂’之首”，也接待过无数的王公名流。
要说老北京的饭馆，还有“八大楼”，“八大楼”太有名了，不过“楼”对应得是“饭馆”，而“堂”对应得则是“饭庄”。饭庄的建筑都是高档四合院，摆设餐具都十分讲究，而且设有戏台。饭馆呢建筑则是普通四合院了，摆设餐具的档次也都要低一档，更没有大戏台了。饭庄讲究得是气派和排场，而饭馆则以菜肴的质量、适合顾客的口味为重。
