余氏迁潜十六世祖文章，天性孝友，法善齐家，事亲至孝，教子有方，谊敦睦族，七叶而五世同居，百人共炊而庭无间言。乐善好施，克己助人，节支以捐桥路，省食以润饥馑。善行德广，里闾称颂，官府褒扬。地方官员或录事迹于邑志，或题匾以表彰。义声远柿，望重彤庭。清王朝乾隆帝分别于五十五年和五十七年御赐“五世同堂”、“七叶衍祥”圣匾。人瑞声起，享誉四方。余文章为表示对皇恩的感激、尊崇，也为了教育子孙永振义门家风，决定建家庙，供奉圣匾，弘扬圣恩。遂于乾隆五十七年(公元1792年)建起了这座家庙。即五世堂支祠。

       因谪祖鉴公(六世)祠近在咫尺，并侧面相对，五世堂家庙未冠“宗祠”、“支祠”头衔(门头“余氏宗祠”是此次整修加装的)。原大门前建有六尺高花墙遮之(解放后花墙拆除)。有人说为避门前直下之水，有人说这避与祖祠对峙抢风之嫌，留下了不解之迷。家庙建成九十三年后，光绪十一年才由五世堂七房首事牵头，整修宗庙，筑起神坛，供上了含文章在内的祖宗牌位。至此，才算完备了支祠的应有功能。

       祠堂格局为“四水归堂”式徽派建筑风格。正堂两侧分设东西厢房，占地500平方米。规模不大，但庄重典雅，气势恢宏。正厅中央高悬“恩旨”“五世同堂”、“七叶衍祥”圣匾。下设神坛为先祖之灵位。文章家训“天下无不是的父母”“世间最难得者兄弟”。以竖匾对联式分挂在正厅主柱上。前后厅照坊上展示多块古匾：“傲雪松筠”、“洛社风高”、“望重彤庭”、“五福三多”、“媲美郑张"等，皆为褒扬文章母暨文章夫妇，忠、孝、节、义仁受之美德义举，以及五世堂的义门之风。题匾人上至太子太保，兵部佐侍郎，下至州县太守、县令。每一块匾背后都有一段感人肺腑的故事，每一块匾都传递着炎黄传统文化精神。这不仅是五世堂支祠的一大特色，也反映了五世堂底蕴深厚的文化内涵。十分珍贵。

       五世堂支祠不仅是有较高的历史文物价值，人文景观也有深厚底蕴。

       支祠创建人余文章一生践行炎帝和文化之传统，励行忠、孝、节、义仁爱之风，不仅受到当时平民百姓的景仰，也受到封建王朝的肯定。近年，国家编辑出版的《清史·孝义传》也将其孝善行立传载入，名扬丹青；文章四子必联，学问渊博，御侮解纷，宗族咸赖，邻里笃信，邑宪宋公题匾赞日：“天俯储材”；其曾孙宗焰，因有功于社稷，与曾祖父同时《传》载民国九年潜山县志；五世堂后裔人才辈出，文章四世孙至六世孙就有余受之光绪癸巳亚元；余际春恩科进士；余谊密安徽省代省长；余协中著名学者，国军少将；余大化中共潜山特支首任书记；余敦兆中华民国政府财政部视察；余英时台湾中央研究院院士、新亚书院院长兼中文大学副校长，曾任美国多所大学教授。2006年获美国国会图书馆颁发的“克鲁格人文与社会科学终身成就奖"成为第一位获此殊荣的华人。

       迄今古祠己历仓桑两百余年。解放前每年有一至两次族务活动。解放后被视为国有资产使用，做过学堂、供销社、食品组、公社企业、个体厂(坊)。由于历史原因，文物损毁严重。直到2008年第三次文物普查发现其文物价值，始由五世堂族裔筹款整修。现已基本恢复原貌。亦提高了金紫山旅游风景区的历史文化品位，成为一道靓丽的风景线。经官庄镇人民政府申报，业经县、市、省人民政府考察批准：余氏五世堂支祠定为县、市、省重点文物保护单位。