祠堂是父系氏族社会的产物，是血缘权力的外化。“祠堂”这个名称较好早出现于汉代，当时祠堂均建于墓所，曰墓祠；南宋朱熹《家礼》立祠堂之制，从此称家庙为祠堂。当时修建祠堂有等级之限，民间不得立祠。到明代嘉靖“许民间皆联宗立庙”。
祠堂除了用来供奉和祭祀祖先，还有多种功能。祠堂是父权、夫权、族权和神权的体现，凡族人违反族规，则在这里受到处理，直至逐出宗祠，它是道德的法庭；祠堂也可以作为家族的社交场所；有的宗祠附设学校，族人子弟在这里上学。正因如此，祠堂建筑一般都比民宅规模大、质量好，越有权势和财势的家族，他们的祠堂往往越讲究。祠堂多数都有堂号，堂号由族人或书法高手所书，制成金字匾挂于正厅，旁边另挂有姓氏渊源、族人荣耀、妇女贞洁等匾额，讲究的还配有联对。如果是皇帝御封，可制“直笃牌匾”。祠堂内的匾额之规格和数量都是族人显耀的资本。有的祠堂前置有旗杆石，表明族人得过功名。一般来说，祠堂一姓一祠，旧时族规甚严，外姓、族内妇女或未成年儿童，平时都不许擅自入内，否则要受到重罚。
祠堂是男权社会施展自己权威的场所，只有男人才能进入祠堂，进行各种家族的活动。
女人出入祠堂，除非是是犯了宗族的禁忌，进祠堂接受家族人的惩罚，比如一些有了丈夫的女人，和其他男人发生了不好的关系，被人抓住，就得进祠堂接受家族长辈的惩罚，严重的绑在笼子里，和男人一起沉在水里淹死，也就是俗话说的“浸猪笼”。
命一人处守之，兼责以司香烛，时洒扫，供祀事役使焉。”
由此可见，按照家规，芝英祠堂大都有“守祠人”。例如，大宗祠堂、用大公祠等。江苏宜兴任氏大宗祠，“立宗子以主稞献，宗长以定名分，宗正以秉权衡，宗相以揆礼义，宗直以资风议，宗史以掌薄版，宗课以管钱名，宗干以充干办。还有一些职员以及‘守祠人等杂役，分掌族内事。”
宜兴任氏大宗祠提出“守祠人”这一名称，并将其明确归为杂役一类。