柔远楼为三层三檐歇山顶式结构，楼高17米。其样式内城东门之上的光化楼完全一致。楼下即为内城西门，门额刻“柔远”二字，意思是明王朝对边陲（关外）各游牧民族实行“怀柔”政策，安抚边远地区，以实现长治久安的治国方略。
