元至元二十八年 (1291) 置，治所在汴梁路 (今河南开封市)。辖境约当今河南省黄河以南，江苏、安徽、湖北三省长江以北地区。元至正后其地分属江南、湖广、河南等行省。

蒙古至元五年(1268年)置河南等路行省，元至元十年废。二十八年又置，全称河南江北等处行中书省，简称河南行省。因辖地主要在黄河(相当今废黄河一线)以南、长江以北，故名。治汴梁路(治今河南开封市)。辖境相当今河南、湖北两省大部及安徽、江苏两省长江以北地区。后辖境缩小。明洪武初惟称河南行省。