河东雁门关外，代北朔州马邑。
马邑城在朔州州治善阳城向东北五十里，在先秦时期，秦始皇的大将蒙恬在雁门关外此地北逐匈奴，围城养马，因之有马邑之名。还有一个传说，则说当时蒙恬在武周塞内筑城，用来防备匈奴，结果城快筑城了，崩塌的地方却有数处，这时有匹马飞快的奔跑，来回不断，管事之人觉得奇怪，就按照马跑的脚印来筑城，城筑好之后就不再崩塌了，于是最后将这城命名为马邑。
三月之初，大隋尚书左仆射，百官之首的相国高颎，同时担任此次北伐大军行军长史的高颎踏入了马邑城。
高颎对于马邑并不陌生，他虽是文官，可多年来却屡次统兵出战。马邑虽偏在一隅，实为边陲要害。这座雁门要塞的北面屏障，以石为基，高约四丈，女墙高七尺，周长五里。有角楼四座，敌台二十四个，东西二门外各有月城，这是一座功能十分完备的城堡。
在马邑城中，并有一车骑一骠骑一军镇共三千驻军。
对于立国之后就一直面临着北方突厥巨大压力的隋朝而言，外长城一线鞭长莫及坚守无力，但内长●城一线却是绝不能放弃的。雁门关、楼烦关、泰戏关、飞狐关、五阮关、军都关、卢龙关、渝关，这是必守之地，退无可退。
马邑的重要，使得朝廷在这里驻扎了三千兵马，而且还煞费苦心的将之分属于三部，一车骑一骠骑两府府兵。再加一镇边军，他们互不统属。镇军驻于城内，两府则分驻城南城北。两府府兵每年轮换一次。城中的镇军也两年一轮，严防马邑守军被敌人收买，从内部攻破堡垒。
此刻，马邑城已经远远不止三千兵马。
北伐中路元帅贺若弼早已经将中路军行辕迁入马邑，在马邑城内城外，一路路的隋军开到，此时已经汇集了十万兵马。大军把个马邑包围起来，让这里变成了一个巨大的营地。
贺若弼带着十万大军的将领们齐聚马邑正南门前，迎接高颎。高颎是首相。同时也是此次北伐的长史，北伐军二把手，实际上的元帅只是挂帅，高颎是北伐的真正指挥决策者。三天前，赵仲卿率三千兵马往北支援云内，在清凉山被突厥人伏击歼灭，当时刚赶到马邑的贺若弼正要率军北上，却突然收到高颎的紧急命令。高颎急令，全军暂停前进。就地等待命令，无令敢越过马邑一步北上者，斩无赦。