在九月十七日的黄海战役中，广甲舰触礁搁浅以致未能行驶。为躲避日军的追捕，黎元洪跳海得以逃生。及此，黎元洪结束了为期十二年的海军生涯，告别了曾尽心效力的北洋水师。
光绪二十二年（一八九六年），张之洞回任湖广总督。黎元洪应张之洞之召随同回到湖北家乡，在湖北枪炮厂负责监制快炮，从此结束二十余年的北漂生活。
张之洞到湖北后继续编练新军，加强军事建设。湖北新军的营制仿德国军制，张之洞任黎元洪为护军后营帮带，五品顶戴尽先补用千总；后又以黎擅骑术，任为马队管带。
在湖北护军编练取法上，随着形势的变化，张之洞认为日本与中国同种、同教、同文、同俗，而且军事变革已经初见成效，所以中国想要学习欧美各国的军事制度，应该先以日本为阶梯。
遂从学习德国转而师法日本，光绪二十四年（一八九八年）、二十五年（一八九九年）、二十七年（一九零一年），在湖北当差的黎元洪受张之洞委派，先后三次到日本留学考察军事教育和观摩仙台大操。内容涉及各个方面，黎元洪逐步充当了清末军事现代化风潮的地方军制改革的先锋。
黎元洪每次考察回国后都写下日本军事考察报告送呈张之洞检阅，引起了张之洞的极大兴趣。学习考察后归来的黎元洪颇得张之洞赏识和倚重，被提拔为各营教练官，又兼训新兵，成为编练湖北新军的高级将官。
二十世纪初，清**又开始推行清末新政，湖北开各省风气之先，加紧施行。黎元洪奉命协助办理将绿营、防营结束后，又增招新兵，扩充武备学堂设备。在日本所学的西式教育的洗礼下，黎元洪的军事思想开始进入了湖北最高军事决策层的视野，并付诸实践。
张之洞先后多次采纳黎元洪的军事改革建议：一是规定水陆各营所辖兵勇凡遇有重大过犯者，均交执法官审讯，不得擅杀；
二是将武备学堂及防营将弃学堂合并改为武高等学堂，另设武普通中学堂。前者为张之洞军事学堂体系中的高等军事教育机构，后者为中等军事教育机构。武高等学堂程度与日本陆军士官学校相等，为武普通中学堂毕业学生升学之地，为湖北乃至全国培养了大量军事近代化所需的人才。
三是湖北省会开办警察，从各营选拔优秀士兵进行训练后充任。因在军事实践中表现突出，黎元洪的仕途平步青云。