在景山公园南门，有一座三楹五间的歇山重檐楼阁，依山脚而立，坐北朝南，那便是绮望楼，它始建于清乾隆十五年（1750年），与故宫的神武门隔街相对。

绮望楼为五大开间，分上下两层，高15米，宽20米，进深12米，黄琉璃筒瓦歇山顶，重楼重檐，彩绘架梁，四周围有汉白玉栏杆。

其实，绮望楼和景山南大门两侧的平房是一组建筑，西侧的五十楹长庑原来是内务府子弟读书的地方，而绮望楼是学生们祭拜先师孔子的地方，内供奉着孔子牌位，此举是为了表示崇尚儒教，以学生们敬仰师祖，勤奋学业。