鼓楼始建于明朝洪武十七年，原址在广济街口。万历九年迁址到对象南北四条大街的交汇处，成为一做绾毂对象、呼应南北的轴心构筑。万积年间，关中地动羽士高承之断言，有万年鳌鱼在地下捣蛋，于是知府将钟楼迁到现址震住妖孽作祟的穴口，以后西安全国平静，万民乐业。钟楼正面的楹联就回响了这段传说。
明王朝定都南京后，其间尚有一次迁都之议。有大臣主张迁都西安，朱元璋曾有些心动，专门派太子朱标赴西安实地勘测，选择宫室基址，并绘制陕西舆图进献。太子朱标从陕西回到南京后，呈献了陕西舆图给父皇朱元璋，并具体先容了西安的地理上风，以为：“举全国莫关中若也，全国山水惟秦地号为险固”，发起迁都西安。但不久太子朱标英年早逝，此时朱元璋已经年老，这位暮年丧子的老民实力干瘪，迁都之事不了了之，陕西导游词，但西安钟楼已凭证皇家构筑级别建成。
鼓楼建成198年后，经验了一场整体迁居。这次东迁是与西安都市成长的东扩有关，钟楼二楼西墙上，嵌有一方《钟楼东迁歌》碑，记述了这座庞大构筑整体迁徙的进程。
鼓楼初建时的位置在西大街以北广济街口的迎样观，与南北城门正对，是都市的中心。这一位置正在唐长安城的中轴线上，也是五代、宋、元时长安城的中心。然而，在厥后的二百年间，西安城不绝扩建，在原本的基本上，向东、向北各扩建了近四分之一的面积，跟着都市中心东移，城门改建，新的东、南、西、北四条大街形成，位于迎祥观的钟楼便日益显得偏离都市中心。明神宗万历十年(1582年)，由巡抚御使龚懋贤主持，将钟楼整体迁徙于本日的地点，成为一座绾毂对象、呼应南北的轴心构筑。