军镇制度盛行于北魏太武帝至孝文帝前期的60年间(约公元422—484年)，此后由于孝文帝迁都洛阳，加速汉化，军镇逐渐废除，镇废为州，或废为郡，戍废为县。后来北方的六镇起义更加快了这一进程，所以北魏后期已经近乎纯粹的州郡制，只是边境还保留着少量纯粹军事性质的镇戍。
本来镇戍制是普遍设于北魏全境的军事制度，但设在东南郡县地区的镇与州同一治所，镇将只治军，不管民，而在西北不设郡县地区，镇以及镇以下的戍就代替州郡县的作用，成为军区形式的行政区划，镇将和戍主就相当于刺史、太守和县令。所以北魏前期的高层政区是州镇并称。
西北军镇所管理的镇民主要是拓跋族的成员，这些人不愿改变原有的生活方式，不愿随王室迁到黄河中下游地域，仍旧实行部落统治的行政制度。还有一部分镇民是被迫迁徙的汉族或其他少数民族，包括豪门大族与部落首领，第三类人则是被发配的罪犯。对于这些人采用军事管制的办法最为适宜，所以所有镇民都隶属于军镇，称为府户，不再另设民政机构予以管理，而用镇这一驻防军区的组织形式进行统治。
北魏鲜卑人拓跋部族所建立的中原王朝，在统一北方以后，采用不同的地方行政制度来统治不同地区的居民，亦即在东南汉人聚集地域仍保留郡县制，而在西北鲜卑和其他少数民族生息地区则利用镇戍制进行管理。两大地区的分界大致由和龙镇(今辽宁朝阳)向西南，经平城(今山西大同)、太原、龙门(今山西河津)，横过渭北，经上邽(今甘肃天水)至仇池(今甘肃西和县南)为止。
