西汉置，属南阳郡。治所即今河南鲁山县。《水经·滍水注》： “鲁山，县居其阳，故因名焉。” 西晋属南阳国。十六国后赵属南阳郡。北魏太和十一年 (487) 改为山北县。

本战国魏鲁阳邑，汉置县，治今河南省鲁山县。“有鲁山，县居其阳，故因名焉”(《水经注·滍水》)。两汉、三国魏属南阳郡，西晋属南阳国。十六国前燕为荆州治。北魏太和十一年(487年)改名山北县。北周又改为鲁山县。