太行山脉的的地质基底是复式单斜褶皱。东侧为断层构造，相对高差达1500~2000米，山前发育典型的洪积扇以及冲洪积平原。从北向南有小五台山（海拔2882米）、太白山、白石山、狼牙山、南坨山、阳曲山、王莽岭等山峰。山西高原东部河流多切过太行山进入河北平原，汇入海河水系。只有西南部的沁河水系向南汇入黄河。
太行山是中国东部的一条重要地理界线。东部的华北平原是落叶阔叶林地带，西侧的黄土高原是森林草原地带和干草原地带，两侧的植被、土壤垂直带特征也存在明显差异。
太行山脉多东西向横谷，自古就是交通要道，商旅通衢。太行山山势东陡西缓，山西高原东部河流多切过太行山进入河北平原，汇入海河水系。只有西南部的沁河水系向南汇入黄河。山中多雄关，著名的有位于河北的紫荆关，山西的娘子关、虹梯关、壶关、天井关等。
山西高原的河流经太行山流入华北平原，流曲深澈，峡谷毗连，多瀑布湍流。河谷及山前地带多泉水，以娘子关泉为最大。河谷两崖有多层溶洞，著名的有陵川的黄围洞、晋城的黄龙油、黎城的黄崖洞和北京房山的云水洞等。
太行山形势险峻，历来被视为兵要之地。从春秋战国直到明、清，两千多年间烽火不息。公元前650年，齐伐晋，入孟门、登太行。齐桓公曾悬车束马窬太行。公元前263年，秦国攻伐韩国，在太行山“决羊肠之险”，一举夺韩荥阳。公元前204年，刘邦被困于荥阳、成皋之间，他采纳郦食其的建议，北扼飞狐之口，南守白马（今河南滑县东北）之津，终于转危为安。
东汉元初元年（公元114年），汉安帝为防外敌侵犯洛阳，下诏在太行南端36处要冲屯兵。曹操围临漳，袁尚轻易率军东出太行，结