玄武湖古时与长江相通，到六朝时，在湖的北侧筑了一条长堤，由于江流的不断冲击，随之与长江隔绝，构成独立的湖泊。这天玄武湖水仍靠引长江之水蓄贮。
玄武湖是燕山造山运动构成的构造湖，古名桑泊湖，之后因位于钟山之阴，就被称为“后湖”。东吴迁都建康后，在后湖南侧建有宫苑，并引后湖之水注入宫苑内，因湖在台城之北，所以称为“北湖”。历史上传说孙吴末年，丹阳县官宣赛的母亲，80高龄在后湖游水，突然化鼋而去，千年不死，所以人们又称后湖为“练湖”。
至于玄武湖这一称谓始见于448年，传说在湖中出现黑龙，便改称为“玄武湖”。湖中有龙当然是不可能的，但有人推测二所谓黑龙可能是长江中的鳄鱼，因为那时的玄武湖仍与长江相连，鳄鱼便可乘江潮游人湖中，在夏天雷阵雨来临前，因天气闷热，钻出水面，被人们误认为黑龙。