隋大业三年(607)改胜州置。治榆林县(今内蒙古准格尔旗东北十二连城)。辖境相当今内蒙古准格尔旗及黄河东岸托克托、和林格尔一带。唐初改为胜州，天宝、至德间又一度改为榆林郡。