中华人民共和国成立后，张江霖将军开始了他的军事生涯，担任了陆军第6军17师49团团长的职务。1951年1月，他进入了军事学院，成为基本系的一名学员，继续深造和学习军事知识。1954年8月，他的职务进一步提升，成为了西北军区司令部作战处的副处长，负责军事策略和计划的制定与执行。1955年5月，他转任兰州军区司令部军训处处长，专注于军队的训练和军事教育工作。1962年10月，张江霖将军担任了兰州军区司令部军训部部长，继续在军事训练领域发挥重要作用。随后，他在1964年9月至1977年6月间，担任了青海省军区司令员，全面负责青海地区的军事管理和军事行动。在政治上，1967年8月至1977年6月，他同时担任了青海省革委会副主任和中共青海省核心小组副组长，以及青海省委第2书记。在此期间，他在中国共产党的中央候补委员中占有席位。他的贡献得到了国家的认可，被授予了包括3级81勋章、3级独立自由勋章、3级解放勋章在内的多项荣誉。1988年7月，他又获得了2级红星功勋荣誉章，以表彰他的杰出贡献。遗憾的是，张江霖将军于1999年10月26日在兰州离世，他的功绩将永远铭记。
