卫伯玉,具有体力,幼时习武,天宝(742)年间驻守安西,凭多次战功升为员外诸卫将军。肃宗即位,举兵平定国难,伯玉满怀激愤,一心想立功求名,从安西回到长安。开始任神策军兵马使出征。乾元二年(759)十月,叛贼史思明派将领李归仁率三千名铁骑进犯,伯玉以数百名骑兵在疆子坂将其打败,尸横遍野,获得战马六百匹,归仁和其残部向东逃走。以战功升为右羽林军大将军,熟知军事。转为四镇、北庭行营节度使。向京城贡献俘虏一百多人,皇上诏令解缚赦免他们,伯玉升任神策军节度。上元二年(761)二月,史思明率领众兵西下图谋长安,史朝义率领其军夜袭陕州。伯玉领兵抗击,在永宁大破敌军。贼军退走,晋位特进,封为东郡公。
广德元年(763)冬天,吐蕃进犯京师,皇上幸驾陕州。认为伯玉有才略,可当重任,于是升为江陵尹,兼任御史大夫,充当荆南节度观察等使。不久加授检校工部尚书,封为城阳郡王。大历初年(766),遇上母亲丧事,朝廷以王昂替代其职,伯玉暗中劝将吏不接受诏令,不久又起用本官任荆南节度等使,受到当时人们的憎恶,大历十一年(776)二月觐见皇上,病死于京师。