唐李庵名称的由来，众说不一。传有唐李二仙曾在此修炼，故名。实际上这是一座小型佛教寺院，现存主体建筑有大殿、东西偏殿各三间，另有跨院僧房、藏经楼和寺南接待香客的客房、寺东的姑子庵草房等，总计有房屋32间，建筑面积为820平方米。唐李庵兴建年代已不可考。
    据碑记记载，其最早的一次重修是在明隆庆年间，距今已有400余年。