还未到出发之日，令狐壳士病情加重，已经不堪行旅，暴露于野了。
十一月七日，令狐壳士离世前五日，寄诗书于洛阳刘梦得，书信后附文说，见（白）乐天君，为（吾）伸（申述）千万之诚也。
十一月八日，令狐壳士离世前四日，召集令狐三兄弟，交代后事。他说，吾死以后，你们三兄弟于私要家室和睦，为公要竭尽所能。至于归葬之事，不得向朝廷请赐谥号，不接受军府奠仪，入葬时布车一乘，不得加以装饰，也不请鼓乐吹奏。务必俭约，不得缓慢，莫因丧葬之事而破财伤身。
十一月九日，令狐壳士离世前三日，他唤来李义山，一起赋诗，令狐壳士情有不及，诗未作成，于是李义山按编年吟诵令狐壳士昔日诗歌，令狐壳士听得脸皮泛红，不时说，这是老夫作的么？
十一月十一日，李义山吟狐壳士诗《坐中闻思帝乡有感》，诗云：
年年不见帝乡春，白日寻思夜梦频。
上酒忽闻吹此曲，坐中惆怅更何人。
令狐壳士听完后，召齐令狐三兄弟，然后对李义山说，吾的气力已用尽，吾的情思也不存，但还是有话想说，吾要亲自给圣人写遗表，又担心辞语不当，义山，请助吾写成。
说完，令狐三兄弟扶令狐壳士起而更衣，坐而汤浴，跪而执笔。令狐壳士自书遗表，李义山为之润色。是为《代彭阳公遗表》，表中有句如下：
臣某言：臣闻达士格言，以生为逆旅（客舍）；古者垂训，谓死为归人。苟得其终，何怛（惧）于化？……宪宗皇帝以臣行多馀力，忠绝它肠，进无所因，静以有立，过蒙顾问，深降褒称，乃于同列之中，独许非常之拜。……方伏奏于凤扆（朝廷）之前，忽庀徒（工匠聚集）于鸟耘（皇陵）之次（客舍）。小吏抵罪（犯罪），邪臣结谋，指之有名，嘿不得诉，空甘罪戾（罪责），仰托圣明，粗（粗略）得生还，几临死所。……伏惟皇帝陛下道超覆载（天地），仁极照临，既委盐铁，又分端揆（相位），逮今控压（控制），亦在重镇。……而江山之气候难常，蒲柳之萧衰易见，自夏则膝胫无力，入冬则肠胃不调，对冠冕而始讶傥来（意外得来），指墓坟而已知息处。
今月（十一月）八日，臣已召男国子博士绪（令狐子初）、左补阙（令狐子直）、左武卫兵曹参军（令狐）纶等，示以殁期，遗之理命。使内则雍和（和睦）私室，外则竭尽公家，兼约其送终，务遵俭约，勿为从容（缓慢），以致虑居（毁家）。……臣之年亦极矣，臣之荣亦足矣。以祖以父，皆蒙褒宠，有弟（令狐定）有子，并列班行。……
但以将掩泉扃（墓门），不得重辞云陛，更陈尸谏，犹进瞽言（盲言），虽叫呼而不能，岂诚明之敢忘。……然自前年夏秋以来，贬谴者至多，诛僇（杀戮）者不少。伏望普加鸿造（鸿恩），稍霁皇威。殁者昭雪以云雷，存者沾濡（沾湿）以雨露，使五稼嘉熟，兆人乐康。用臣将尽之苦言，慰臣永蛰之幽魄。臣某云云。
臣当道兵马，已差监军使窦千乘勾当（主管）；其节度留务，差行军司马赵柷；观察留务，差节度判官杜胜讫。有旧规模（规范），无新革易。悉当辑睦（和睦），决无喧惊。
臣心虽澄定，气已危促，辞多逾切，鸣急更哀……回望昭代（圣明时代），无任（不胜）攀恋（眷恋）永诀之至……
在李义山的相助下，令狐壳士拟完遗表，又召集监军使窦千乘、行军司马赵柷、节度判官杜胜，以及李潘、刘蕡等人，由李义山当众宣读遗表，众人皆无异议。
令狐壳士将遗表用了印，交予监军使，监军使和众僚属退去，只留下令狐三兄弟和李义山，令狐壳士还有话要对李义山说。
令狐壳士说，义山，今日诀别，吾有一言：如今你的文章雅达，显著有文宗之象；你的诗歌华美，隐约有旷世之才。你要善加护持自己的才情，无论今生遇到多少波折，经受何等非议，也要永葆此时之素心。
李义山哭泣道，令狐公，义山十岁丧父，十七岁丧叔，那一年，义山在洛阳谒见公，便蒙受公之恩遇，绵延至今，公教义山文章，教义山公事，资义山行装，赠义山袍服，今年更是不畏清议，荐义山登第……公名为恩师，实同严父。苍天啊，义山愿以性命，换公不去。
令狐三兄弟劝住义山。令狐壳士说，义山不必伤心，生老病死，也是平常。——韩退之说，千里马常有，而伯乐不常有。吾今日要说，千里马与伯乐皆不常有，吾赏识义山，只因为义山是不常有的千里马。吾还要说，此生，吾赏识义山，天下人因知有令狐楚，而知有李义山；他世，天下人因知有李义山，而知有令狐楚。故伯乐为千里马之千里马，千里马亦为伯乐之伯乐。这便是大唐，这便是大唐的赏识。
听闻此言，李义山更是泣不能言。令狐壳士的话也是说给令狐三兄弟的，他希望自己过世之后，三兄弟继续提携李义山。令狐三兄弟说，谨遵父亲训示。
第二日，开成二年十一月十二日，令狐壳士在兴元府官舍平静离世，享年七十二岁。
十二月，令狐三兄弟与李义山等人护送令狐楚灵柩归葬长安万年县焦村凤栖原。今上派中使到令狐私第祭奠。朝廷赠令狐壳士大司空，赐谥号“文”。