刘知俊,字希贤,徐州沛县人。身材高大相貌英俊,潇洒无拘胸有大志。开始时事奉徐州统帅时溥,担任列校,时溥很器重他,后来因为勇敢和才略而被嫉妒。唐朝大顺二年(891)冬天,率领部下两千人投降梁太祖,即暂任军校。刘知俊披上铠甲跨上战马,抡起刀剑杀敌陷阵,勇敢胆略比其他将领都强。太祖命令左义胜军和右义胜军都归隶刘知俊指挥,不久又任用他为左开道指挥使,所以当时人都叫他“刘开道”。跟随太祖讨伐秦宗权以及进攻徐州都立有战功,接着补任徐州马步军都指挥使。刘知俊进攻海州并夺取了它,太祖奏请皇上授刘知俊为海州刺史。天复初年,历任怀州、郑州主管,跟从太祖平定青州,因为战功奏请皇上授以同州节度使。天..三年冬天,率领五千士兵在美原击败岐下六万士兵。从此接连攻克..、延等五州,于是加封为检校太傅、平章事。开平二年(908)春三月,任命为潞州行营招讨使。刘知俊还没有到达潞州时,两边的营寨已经陷落,晋人领着军队正在进攻泽州,听说刘知俊来了,才撤退。不久就改任西路招讨使。六月,在幕谷大破岐下军队,被俘和被杀的敌军数以千计,李茂贞仅仅只身一人逃脱。三年五月,加封为检校太尉,兼任侍中,被封为大彭郡王。
这时刘知俊的威望日益高涨,太祖的猜疑之心也日益强烈,恰遇上佑国军节度使王重师无罪而被太祖诛杀,刘知俊坐卧不安,于是凭据同州反叛太祖,并对李茂贞表达诚意。刘知俊又分兵进攻雍州、华州,雍州节度使刘捍被擒获,送到凤翔李茂贞处被杀害了,华州蔡敬思受伤而得免于一死。太祖听到刘知俊反叛,派遣身边的亲信告诉他说:“我对待你非常优厚,为什么要背叛我呢?”刘知俊回话说:“我并不是背叛你对我的恩德,我只是怕死罢了!王重师没有对不起陛下的地方,然而招致了灭族的灾祸。”太祖又派遣使者对刘知俊说“:我没有料到你会这样做。以前王重师获罪被诛,是因为刘捍说他私下勾结..州、凤州,终将不被国家所用。我现在虽然已经知道是冤枉滥杀,但是后悔已经来不及了,致使你变成这样,我内心非常遗憾悔恨,是因为刘捍误了我的大事呀,刘捍一死仍然不能解脱他的罪责。”刘知俊不做回答,而是分兵据守潼关。太祖命令刘寻阝领兵进攻讨伐,攻击潼关,占领了它。当时刘知俊的弟弟刘知浣是太祖亲卫指挥使,听到刘知俊反叛,从洛阳奔到潼关,被刘寻阝抓获,杀死了他。不久皇室大军接着开来,刘知俊于是带着全家逃奔到凤翔府,李茂贞优厚地接待他,任为伪检校太尉、兼任中书令,因为李茂贞盘踞的疆土不广,没有藩镇可用来安置他,因此只是供给他优厚的俸禄而已。接着命令他领兵攻击围困灵武,想得到牧圉一带地方。灵武节度使韩逊派使者来向太祖告急,太祖命令康怀英带领军队救援他,部队驻扎在..州长城岭,被刘知俊半路拦截袭击,康怀英被打败逃回。李茂贞大喜,命刘知俊暂任泾州节度使。又命令他带领部队攻打兴元府,进军围住蜀国西县,恰逢蜀军援兵来到,刘知俊才撤退。
不久刘知俊被李茂贞身边的人如石简..等人挑拨离间,李茂贞罢免了他的军政大权。刘知俊寓居于岐下,闭门不出有好几年。李茂贞的侄子李继崇镇守秦州,趁来问候拜见李茂贞的机会,诉说刘知俊的困顿,说不该因谗言嫉妒而被怀疑,李茂贞于是诛杀石简..等人来抚慰刘知俊的心。李继崇又请求让刘知俊携带家眷住到秦州,以接受丰厚的俸给,李茂贞答应了他。不久,..州动乱,李茂贞命令刘知俊讨伐..州。这时..州都校李保衡效忠于朝廷,梁末帝派遣霍彦威率领部队先进入..城,刘知俊于是围住..城,半年都不能攻下。逢上李继崇将秦州投降了蜀国,刘知俊的妻子儿女都被带去了成都,于是刘知俊解除..州的围兵回到岐阳。因为自己的一家人都去了蜀地,到底担心被猜疑顾忌,因而与亲信一百多人夜晚杀出城门投奔蜀国。
蜀主王建对待刘知俊非常优厚周到,马上授予他伪武信军节度使。接着命令他领兵攻伐岐下,不能攻下,回师,顺便包围了陇州,俘虏了陇州统帅桑弘志归来。很久以后,又任命他为都统,再次领兵攻伐岐下。这时部下将领都是王建旧日手下人,多次违抗刘知俊的调度指挥,所以没有成功就回来了,蜀国人因此诋毁他。在这以前,王建虽然宠爱厚待他,但也有所疑忌,曾经对身旁侍臣说“:我渐渐衰弱羸老了,经常考虑身后的事情。刘知俊不是你们这班人能驾驭得了的,不如早点给他一个处置。”又有嫉妒他声誉的人在街头巷尾传播谣言说“:黑牛出圈棕绳断。”刘知俊颜色黑而且生在属牛的丑年,所谓棕绳,王建的子孙都以“宗”、“承”作为名字,所以把这些牵合在一起而构成谣言。伪蜀国天汉元年(917)冬天十二月,王建派人逮捕了刘知俊,杀死在成都府的炭市。