1881年，李鸿章调林履中到北洋水师，任"威远"练船教练大副。次年夏，赴德国协驾"定远"等铁甲舰，并资练习。林履中到德国后，参加验收新购铁甲舰的鱼雷、炮位器械等，颇为尽力。随后，又派往英国研究驾驶、枪炮、数学、电学等。1884年，由英国返回德国，沿途林履中注意留意考察了英、德两国军港的风潮沙线，阅历大增。返抵德国，仍回"定远"舰。1885年，林履中从刘步蟾协带"定远"回国后，派充大副，奏奖蓝翎千总。是年冬，升调副管驾。1887年，又调任"扬威"快船管带，荐保花翎守备。1888年，北洋水师正式成军，林履中继续管带"扬威"。1889年，海军衙门成立，设右翼右营参将，由履中升任。1891年，李鸿章到威海巡阅水师，奖励创办海军的有功人员，林履中以功实授右翼后营参将，加副将衔。