白玉堂始建于清嘉庆十三年（1808），是曾国藩祖父曾星冈所营的住宅。坐南朝北，砖木结构，沿中轴线对称的典型明清湘中建筑风格。分两正四横，另有私塾利见斋及粮仓。占地面积10000多平方米，建筑面积3000多平方米。门前池塘两侧有槽门，门楣上有“芳迈群妍”四字。白玉堂位于湖南双峰荷叶镇天坪村白杨坪，是曾国藩的第一故居，1811年农历11月11日，曾国藩就出生在这里。
白玉堂三进四横，共有48间房子，6个天井，2个花圃，整个建筑为砖木结构，青瓦白墙，双层飞檐，山字墙垛，雕梁画栋，颇为壮观。
白玉堂刚建时比较简单，后来进行过两次改建，才达到三进四横的规模。经过一百多年的风吹雨打，白玉堂的模样变了许多，宅院四周的石砌围墙被拆除，石槽门和右边房屋被拆掉，惟有左槽门和左边横房仍保持原貌，曾国藩父亲曾麟书所写的“芳迈群妍”四个大字仍清晰可辨。
在白玉堂的右前方，有一株古老的皂荚树，老树上有一根像巨蟒一样的紫藤，当地百姓称之为“蟒蛇藤”，并有曾国藩系“蟒蛇投胎”的传说。关于这棵皂荚树和紫藤，当地还流传这样一个故事：道光十八年，曾国藩中进士时，老树紫藤忽然枝繁叶茂，青翠欲滴；咸丰年间，曾国藩与太平军作战屡次失败，老树紫藤就几度落叶；当曾国藩的湘军攻破南京后、官至极品时，老树紫藤发新枝又放奇葩，迎风摇曳，洋洋得意，曾国藩死后，这老树紫藤也就枯萎而死。
白玉堂与“曾氏祖坟”、“天子坪地下军事工程”相邻，是构成“富厚堂（富托村）—秋瑾故居（神冲村）—唐群英故居（当先村）—葛健豪故居（星球村）（注葛健豪墓在永丰镇金田村石板冲）—曾氏祖坟（泥鱼村）—白玉堂（天坪村）—天子坪地下军事工程（天坪村）—大夫第：敦德堂、奖善堂、竹亭公祠（天坪村）—万宜堂（硖石村）—华祝堂（硖石村）—修善堂（良江村）—黄金堂（良江村）—有恒堂（新建村）—九峰山省级森林公园—罗泽南故居（石牛湾洲村）”旅游线的不可或缺的重要部分。
