唐永泰二年(766)改昌门县置，属歙州。治所在今安徽祁门县西石山坞。《元和志》卷28祁门县：“以县东北一里有祁山”，因名。大历五年(770)移治今祁门县。北宋宣和三年(1121)属徽州。元属徽州路。明属徽州府。民国初属安徽芜湖道。1928年直属安徽省。

在安徽省南部。属黄山市。面积 2257 平方千米。人口18.6万。辖7镇、18乡。县人民政府驻祁山镇。汉为黟县地，以有巨石夹流水，相对似门，称为阊门。唐永泰元年(765年)方清起义，置阊门县，以为守备，次年被镇压。唐以县北有祁山，改名祁门县，治祁山，属歙州。《文献通考》记载：以其县东北有祁山，西南有阊门，乃合名祁门。北宋末属徽州。元属徽州路。明、清属徽州府。1914年属芜湖道，1928年直属安徽省，1949年属皖南行署区徽州专区。1952年属安徽省徽州专区。1956年属芜湖专区。1959年黟县并入，1961年黟县析出复置，属徽州专区。1971年属徽州地区。1987年为黄山市辖县。地处皖南山地西南部、阊江上游。属北亚热带湿润气候。主产稻、玉米、油菜籽、小麦、大豆。林产以松、杉、毛竹、茶叶为主，祁门红茶有名，为安徽省林业基地之一。产瓷土有名，唐代以来即为景德镇瓷器主要原料基地。工业有陶瓷、制茶、竹木加工、建材、电子、机械、化工等。皖赣铁路斜贯东南，慈张公路横穿中部，大青公路纵贯北部。名胜古迹有太平军题字、阊江双桥、文峰塔和牯牛自然保护区。