卫尉是九卿之一统领守卫未央宫宫门的南军，相当于皇家保卫团团长。他头上还有三公丞相、大司马大将军、御史大夫。
汉朝长安城防卫有四层，第一层郎中令统领的郎卫，属于宫内站岗防卫，是皇帝的贴身警卫团；第二层就是南军卫尉，属于宫门口的守卫，是皇宫的安保团；第三层驻守在长安城外北门的北军，负责长安城的守卫，同时也负责对外征伐，是汉朝最精锐的中央军；第四层是中尉统领的三辅郡县兵，负责三辅治安。
汉书百官公卿表里将军和御史大夫是上卿，将军金印紫绶，御史大夫银印青绶，比九卿地位高。两公丞相、太尉（大司马）下来是上卿将军和御史大夫，然后才是九卿太常、廷尉、大农令、卫尉、郎中令、中尉、太仆、宗正、少府这些人。
因为皇家宫殿有多个，如未央宫、长乐宫、建章宫、甘泉宫等，分为未央宫卫尉、长乐宫卫尉、建章宫卫尉、甘泉宫卫尉等，并不是一家独大，而是互不统领，他们的统领是大将军、车骑将军、卫将军。比如汉武帝登基后李广是未央宫卫尉、窦太后的侄子窦甫和程不识是长乐宫卫尉，直到窦太后去世后的元光元年未央宫卫尉李广才成为百官公卿表里的卫尉；汉宣帝设立建章卫尉金安上就是建章卫尉，并且成为百官公卿表里里卫尉。
大将军、车骑将军、卫将军这些人是统领南北军的，而南军统帅就是卫尉。诸吕时上将军吕禄统领南北军，后来文帝时任命卫将军宋昌统领南北军，汉宣帝时任命大司马卫将军张安世统领南北军。汉武帝和汉宣帝时候的南北军由大司马大将军卫青和霍光统领。李广的卫尉头上有大将军卫青统领他，所以他每次出征就只能在大将军卫青麾下做个裨将。
