马怀素,润州丹徒人。家住江都,年少时从师于李善。家境贫穷点不起灯,白天采集柴草,夜晚点燃用来看书,博览经史,擅长写文章。考取进士,又应考制举,荣登文字优赡科,提为..尉,四次升迁为左台监察御史。
长安年中(701),御史大夫魏元忠被张易之诬陷,发配至岭表,太子仆崔贞慎、东宫率独孤..之在郊外为之饯行。易之生气,派人诬告贞慎等人与元忠同谋,则天命令怀素审讯,并派遣中使催促,暗示使其构成罪,怀素刚正不受命。则天生气,诏见怀素亲自质问,怀素上奏说“:元忠犯罪流放,贞慎等人以朋友亲情相送,确实可以责备,如果认为他们是谋反,我不就在欺骗神明吗?当年彭越由于谋反被杀,栾布在其尸首旁上奏陈事,汉朝对他不定罪,况且元忠的罪和彭越不同,陛下怎么能追加罪状呢。陛下手握生死权力,若想追加其罪,这取决于圣上的心愿就可以了。如果托付给我审讯,我能敢不遵守陛下的法律吗?”则天明白其意,贞慎等人由此获免。当时夏官侍郎李迥秀倚仗张易之的权势,接受贿赂,怀素上奏请求将其弹劾,迥秀于是被罢免官职。怀素多次升为礼部员外郎,与源乾曜、卢怀慎、李杰等人充任十道黜陟使。怀素处事公平宽待,为当时人所称道。使令完成归来,升为考功员外郎。当时达官贵戚恣情放纵,互相推诿职责公然进行,怀素无所阿谀逢迎,处事公平得当,提升为中书舍人。开元初年(713),为户部侍郎,加银青光禄大夫,多次封为常山县公,多次提升为秘书监,兼昭文馆学士。
怀素虽然身居吏职,却非常喜爱学习,手不释卷,谦恭谨慎,极为玄宗所尊敬,令其与左散常侍褚无量一起作为侍读。每次从旁门进来,都要他们坐着大轿。皇上居住在别馆,由于路远,则令可在宫中乘马,有时候亲自送迎,以表尊师之礼。这时秘书省的典籍散落,条目无法叙述,怀素上疏说:“南齐以前的典籍已埋入土里,王俭编的《七志》很陈旧。以后的著述,数量很多,也未必详悉。近来发行的有些书,以前史志缺乏的又没有编入,有些是近人相传,浮词浅鄙却还记载。如果不编录,则难辩淄、渑。希望括减近来书籍的篇目,增入以前史志所遗缺的,续编王俭的《七志》,将其珍藏在秘府。”皇上于是诏令研究此方面的学者国子博士尹知章等人,分部撰写,并且刊正经史,粗创首尾。此时怀素病死,年龄六十岁,皇上特意为他举哀,停止上朝一天,赠予润州刺史,谥号文。