太白楼始建于唐元和年间(806~820年),原名“谪仙楼”,宋元时期均有修葺。明正统五年(1440年),工部右侍郎周忱巡视江南时重建。清顺治十四年(1657年),知府胡季瀛重建,改名为太白楼,又称“唐李公青莲祠”。后毁于兵燹。清光绪三年(1877年),兵部尚书彭玉麟捐资重建。
太白楼位于翠螺山南麓,依山而临江。楼高18米,三层两进,前楼后阁,左右回廊;歇山屋顶,筒瓦滴水,鳌鱼走兽,飞檐翘角,蔚为壮观。尤其是祠堂正厅供奉的一尊楠木雕李白站像,背负双手,昂首挺胸,神态潇洒飘逸,十分传神地再现了诗仙风韵。游人士子,登楼远眺,长江如练,绿洲溢翠,百舸争流,鸥鸟翱翔,素有“风月江天贮一楼”的美誉,它与湖南岳阳楼、湖北黄鹤楼、江西滕王阁并称为长江著名的“三楼一阁”。