令狐子直日常要随侍父亲参与公务，每日的备考时间已经不多，李义山与他交换了对于孔孟、五经等经典的理解，两个人都觉得获益良多。
李义山对经学的领悟，一是来自父亲和处士叔的传道授业，二是来自田间劳作、抄书贩舂、陪护病人、修道放利和行卷干谒中获得的个人感受。令狐子直的学问，则是既来自于令狐壳士亲授的道德文章，又形成于父亲宦海浮沉带来的正道沧桑。
令狐壳士罢相那一年，令狐子直刚好十八岁，只比此时的李义山大一岁。令狐壳士先是被贬为宣歙池（安徽宣城等地）观察使，再贬衡州（湖南衡阳）刺史，次年夏又迁职郢州（湖北钟祥）刺史，年底迁太子宾客、分司东都，在洛阳盘桓二年有余。大概说来，穆宗在位四年，令狐壳士贬谪两年，赋闲两年，终穆宗一朝，令狐壳士不得重用，且屡遭打击。
在这期间，令狐子直陪着父亲宣州制纸、衡阳观雁、郢州挖葛、洛阳种菊，没有参加科考。他也没有必要参加科考，谪臣之子，不作无谓的努力。敬宗和当今圣人复用令狐壳士后，令狐子直才能有所谋划，但是事情不尽如人意，去年父亲在户部尚书任上，他要回避，又没有应试。今年三月，平章宅里一栏花，临到开时不在家，令狐壳士又从中枢调到地方，出京任东都留守，好在令狐子直又可以应试了。光阴荏苒，他已经二十七岁了，明年春，他要一击即中。
令狐子直一直在物色一位伴读者，令狐纶喜欢舞刀弄剑，读兵书和传奇，跟他不是一个生长方向，他想找一位有学问的，与他互有参差的，最重要的是谈得来的年轻人，寻常的仕子见到令狐父子，慑于权势，只会讲恭维的话，不敢直抒真知灼见，令狐子直一直没有找到合适的人，直到那一日，李义山自称“白乐天之友”登门拜谒。
二人共读越久，越是互相佩服。令狐子直原以为李义山只是少年才情，能诗善文，但李义山对经典原文记忆之准确，对历史典故了解之全面，大大出乎他的意料，他偶尔叹息说，比义山弟痴长了十岁。李义山说，低头抄了几年书，没想到居然记下了。另一边，令狐子直的态度也让李义山折服，他待人谦逊，喜怒不形于色；处事智慧，不为惊人之事；思想深沉，不作惊人之语。他的一言一行，对多才急智的义山是一种提示和引导，除此之外，义山感佩更多的还是令狐子直兄长般的包容、赏识，以及自由。
洛阳秋试，令狐子直榜上题名，李义山很是为兄长高兴，令狐壳士准他们在洛阳城内外游玩两日。令狐子直带着李义山，驱车载酒，去履道坊拜访白乐天。
到了白宅门口，只见白宅门户大开，大肚子门人正在门口翘首迎候。