文昌阁始建于明代，重建于清道光二年（公元1822年）。楼阁为两层两檐歇山顶式建筑，底层两边为单间铺房，四周立红漆明柱18根，形成回廊。内为面宽三间、进深二间的官厅。四面装有花格门窗，上部绘制山水人物彩画80余幅。此阁在明清时为文人墨客会友、吟诗作画、读书的场所。到了清代末年成为文官办公的地方。
