霍山县位于皖西边陲、地处江淮之间，有着悠久的文明史，从发现的文物考证，早在新石器时期就留下劳动人民的足迹。据旧志记载春秋时期就是楚国的一个小城，名“潜”，土地革命和解放战争期间，又是大别山老根据地之一，地上地下蕴藏的文物极为丰富，1958年就成立了霍山县博物馆，由于历史原因，1961年被撤，为适应文物工作发展的需要，1980年成立了霍山县文物工作组，1982年《中华人民共和国文物保护法》颁布以后，文物工作组于1986年依法改称为文物管理所，1993年县人民政府恢复了霍山县博物馆，2000年经安徽省文物局批准，恢复霍山县博物馆，与县文物管理所合署办公，实行“两块鼻牌子，一套班子”的文博机构。

霍山县文管所、博物馆设立在衡山镇文盛街38号古老的文庙内，文庙占地面积4027m2，建筑面积为2052m2。现有活动性展厅3个、文物库房1个、博物馆、文管所现有干部职工8人，具有大专学历6人，中级职称3人，党员7人，领导班子为一正一副，内设办公室、保卫股、业务股，工作职能明确，岗位责任落实，各司其职，竭尽所能，工作运转有序。它担负着全县范围内的文物调查、管理、保护、发掘、考古、征集、保管、整理、鉴定、展览、宣传等工作。

博物馆充分发挥文物为三个文明建设服务。为社会主义建设服务，为培养下一代爱党、爱国、爱科学服务，我馆已成功举办《霍山县文物精品展》、《海洋生物展》、霍山县黄芽茶文化节历界书画展、禁毒展、改革开放二十周年成果展、六安市文物精品图片展、大别山区红安县、霍山县等11个县市大型书法联展，霍山、寿县两县书画联展。2002年、2004年为纪念5•18国际博物馆日分别举办王良善个人书法展、李从新个人书画展等，通过展览，提高了文化品味，丰富了群众精神生活，宣传了博物馆了阵地，博物馆已成为我县爱国主义教育的重要基地和窗口，为我县经济文化上台阶服务。