清光绪三十四年 (1908) 置，属黑龙江省。治所在六卡 (今黑龙江省呼玛县北金山乡)。1913年降为县。

清初为黑龙江副都统辖地。光绪三十四年(1908年)置呼玛直隶厅，治六卡(今黑龙江呼玛河入黑龙江口)。1912年改呼玛设治局。