秦始皇二十五年(前222年)灭赵后置，治巨鹿县(今河北平乡县西南)。辖境相当今河北省白洋淀、文安洼以南，南运河以西，高阳、宁晋、任县以东，平乡、威县以北及山东省德州、高唐，河北省馆陶之间地。西汉以后辖区有所缩小。东汉移治廮陶县(今河北宁晋县西南)。属冀州。西晋改置为巨鹿国，北魏复为郡。永安二年(529年)郡分为二：一属殷州，治廮遥县(今宁晋县西)，北齐废;一属定州，治曲阳县(今晋州市西)，隋初废。唐天宝、至德间又曾改邢州为巨鹿郡。