1954年8月，松、黑两省合并后，由黑龙江省直辖。1956年3月，将原海林县兴隆区的江南、乜河、下乜河、兴隆、海浪和柴河区的桦林、工农、互利、铁岭等9个村划归牡丹江市管辖。全市管辖范围恢复到1945年10月的原状。1956年9月，根据国务院关于人口在20万以下的市一般不设市辖区的规定，撤销了4个市辖区，改设6个街道办事处。1958年1月，全市总人口已超过20万人，经省人民委员会批准，撤销6个街道办事处，设立爱民、东安、西安3个市区和1个郊区。
同年8月，将牡丹江市划归牡丹江专区管辖;10月，将宁安县温春公社划归牡丹江市管辖，全市总面积达到1400平方公里，总人口达到23.8万人。1960年4月5日，将牡丹江专区的宁安县划归牡丹江市领导，1962年9月22日又将宁安县划回牡丹江专区管辖。1966年2月8日，将牡丹江市改由省直辖，1968年2月又改由牡丹江地区管辖。1970年10月，设置阳明区。1983年9月3日，经国务院批准，进行市带县试点，撤销牡丹江地区，实行地市合并，将原牡丹江地区的宁安、海林、密山、林口、穆棱、东宁、虎林7县划归牡丹江市领导。
同年10月18日，省政府决定，绥芬河市由牡丹江市代管。1988年后，密山、海林两县先后撤县设市，改由牡丹江市代管。1992年10月，省政府决定，密山市改由鸡西市代管。1993年6月14日，国务院批准将牡丹江市的虎林县划归鸡西市管辖。
1993年2月12日，民政部批复(民行批[1993]9号)撤销宁安县，设立宁安市。1995年3月7日，民政部批复(民行批[1995]18号)撤销穆棱县，设立穆棱市。1997年9月30日，国务院批准(国函[1997]90号)，撤销牡丹江市郊区。将原郊区的兴隆镇、东村乡划归东安区管辖;将原郊区的温春镇、沿江乡划归西安区管辖;将原郊区的铁岭镇、桦林镇划归阳明区管辖;将原郊区的北安乡、三道乡划归爱民区管辖。