刘遂清,字得一,青州北海人,后梁开封尹刘寻阝的侄子。父亲刘琪,以鸿胪卿身份退休。刘遂清小时聪颖仁惠,开始时,事奉后梁担任保銮军使,历任内廷各司使,唐庄宗进入汴州,没有改任他的职务。明宗继承皇位,加封检校尚书仆射,任为西都监守。过了一年,因中山王都有谋反的迹象,任命刘遂清为易州刺史,使他阻扼敌人攻击的要道,到了州郡之后,很有抵御侵犯的谋略,境内百姓依赖他。平定王都叛乱,加封检校司空,调任棣州刺史。天成、长光年间,历次主管淄、兴、登三个州郡,都有好的政绩。
晋高祖即位的第二年,任命他为凤州防御史,加封检校司徒,碰上母亲去世守丧,丧期满后起用,任内客省使、右监门卫大将军。天福六年(941),高祖幸临邺都,调任宣徽北院使兼判三司,加封检校太保。七年,少帝即位,任右领军卫上将军,赐与竭诚翊戴保节功臣名号。八年,出镇郑州,加检校太傅。开运二年(945),调任安州防御使。不久,上表称说有病,下诏准允随其自便,他回到上蔡,在驿馆去世,当时是开运三年四月。
刘遂清生性特别孝顺,任淄川郡守时,从北海迎接他的母亲到淄川来,他母亲到了郡境之后,刘遂清驰马上前,拉着马缰陪着母亲走了几十里,乡亲父老观看的人像墙一样站立两旁,当时的人为有这样的儿子感到荣耀。刘遂清一向不曾读过诗书,但多计策谋略,主管三司时,每次发给百官俸禄,都与判官说“:这些人不一定都有才能,很多是世袭俸禄的人家,应该汰除那些没用的废物,留下那些有能力的人才。”有人回答说“:从前唐朝浑、郭、颜、段四家,每一次赦免令下来,都以一个儿子任官,已成为常制;并且继续奖赏施与恩泽,成为国人的美谈,没有因按月领取俸禄而想淘汰他们的,这恐怕不妥当。”舆论因此责怪他。