关于郡的最早资料，可以追溯至晋赵鞅誓辞“上大夫受县，下大夫受郡”，说明在公元前493年之前，晋国已经有了郡的设置，但郡的地位较县为低。战国时期，不少诸侯国中都设立有郡，如魏国“魏筑长城，自郑滨洛以北，有上郡”[49]，楚国也设立有郡，“越国乱，故楚南塞厉门而郡江东”[50]。到战国后期，郡的设置越来越多，诸如赵国云中、雁门、代郡等，燕国上谷、渔阳、辽西等。
至公元前221年秦始皇灭六国，建立了统一的中央集权的封建王朝，郡县制作为一种制度被固定下来。秦始皇二十六年，有人曾提议分封，例如丞相王绾等言：“诸侯初破，燕、齐、荆地远，不为置王，毋以填之。请立诸子，唯上幸许。”针对此种观点，廷尉李斯曰：“周文武所封子弟同姓甚众，然后属疏远，相攻击如仇雠，诸侯更相诛伐，周天子弗能禁止。今海内赖陛下神灵一统，皆为郡县，诸子功臣以公赋税重赏赐之，甚足易制。天下无异意，则安宁之术也。置诸侯不便。”李斯认为建立在血缘基础之上的封建制，当血缘关系逐渐疏远后，政治利害关系超越了血缘关系，封建制就无法有效运作了。秦始皇听从了李斯的建议，认为：“天下共苦战斗不休，以有侯王。赖宗庙，天下初定，又复立国，是树兵也，而求其宁息，岂不难哉！”[51]将全国分为三十六郡（后增至四十九郡），郡置守、尉、监。建立起了一整套从中央到地方的政治制度和行政制度来维持国家机器的运行。秦国的郡县制维系了大一统局面，开二千多年封建王朝地方行政制度的先河。