世太史第南面建有642平方米的花岗石铺地广场。该建筑分东路四进，西路三进，共七进。除西三为三开间外，各进均为五开间，面阔约20米，沿南北走向两条中轴线规整排列，每进两侧由厢房或回廊贯通。该宅西北部建有面积近1000平方米的后花园，配以小桥、瀑布、六角亭、古树、荷花池，生趣盎然。园内西侧建有31.9米长碑廊，镶嵌11块赵朴初先生书法作品碑刻。

 

东一进为门厅，外墙磨砖对缝，嵌大型“五蝠捧寿”图案砖雕。门楣上镶阳刻楷书横匾“世太史第”，两侧楹联“江山如画”、“物我同春”。东二进与东一进以东西侧回廊相连接。前檐柱上方置凤形斜撑，造型优美，柱础亦精雕细琢。东三进，两层，上为阁楼，下层两侧建有厢房，配以雕花格扇门窗。穿过最后一道隔断清水山墙进门即进入东四进。该进为上下两层，两侧边楼与前进隔断相衔接，墙内为一坡水回廊。东西侧与主楼相连为骑楼。主楼明间下层为平棊顶，地面铺青灰色磨面方砖，此进梁柱用材粗大，格扇门窗亦造型别致。西一进与东一进、西二进与东三进建成时间、建筑面积、结构布局、工艺制作、使用功能基本相似。西三进建成时间明显比东四进晚。

 

世太史第风格融北方古建的恢宏、粗犷及南方徽州古建的细腻、精致于一体，有着浓郁的地方特色。七进五院一园一场，布局规整，结构合理，气势恢宏。整体布局为深宅大院，综合性功能齐全。在功能区域处理上，利用东三、东四、西三隔断墙封闭大门，又灵活地使各进自成独立庭院。建筑结构上，七进主体建筑有三进采用了望板直接铺在桁条上，取代原有椽子中间环节，合理地减少了制作安装工序和结构衔接点，形成皖西南地域古建筑的一大特色。2006年被国务院公布为第六批全国重点文物保护单位。