西汉元鼎六年(前111)分武威郡置，治所在得县(西晋改名永平县，今甘肃张掖市西北四十里)。《汉书·地理志》 注：“应劭曰， ‘张国臂掖，故曰张掖’。”辖境相当今甘肃永昌县以西，高台县以东地区。北魏太武帝平凉，改置张掖军，太和十一年(487)复改军为郡，属凉州。隋开皇三年(583)废，大业三年(607)复置，治张掖县(今张掖市)。唐初改为甘州，天宝元年(742)，又改为张掖郡，乾元元年(758)复为甘州。

汉武帝分武威郡置，治得县(今甘肃张掖市西北，晋改名永平县，隋又改名张掖县，移治今张掖市)。取“张国臂掖”(应劭语)为名。辖境约当今甘肃省高台县以东弱水上游和内蒙古自治区额济纳旗地。一说分酒泉郡置，辖区包括后置的武威郡地。东汉属凉州，辖区缩小。十六国北凉沮渠蒙逊曾建都于此。西魏为西凉州治，旋为甘州治。隋开皇初废。大业初和唐天宝、至德时又曾建甘州为张掖郡。地当通经西域及漠北道路冲要;水草丰美，有畜牧之饶。隋时与西域商人互市于此。