Gümüşhane, adını yakınlarındaki zengin gümüş madenlerinden alan, Türkçe "gümüş" ile Farsça "hane" (ev) kelimelerinin birleşiminden oluşmuştur. Bizans döneminde bölge Haldia olarak bilinirken, 1850'lerde eğitimli Rumlar tarafından Yunanca "gümüş kenti" anlamına gelen Argyropolis adı verilmiştir. Şehrin ilk yerleşimi, günümüzdeki Canca Mahallesi'nde kurulmuş olup, tarih boyunca Kimmer, Pontus, Roma ve Bizans gibi pek çok medeniyetin egemenliğine girmiştir. 1071 Malazgirt Zaferi sonrasında Emir Mengücek tarafından Türk idaresine alınan şehir, 1473 Otlukbeli Muharebesi'nden sonra kesin olarak Osmanlı topraklarına katılmıştır. Osmanlı döneminde madenciliğin gelişmesiyle nüfusu hızla artan yerleşim, 17. yüzyılda kaza merkezi haline gelmiş; 1554 tarihli kayıtlarda hem Müslüman hem de Hristiyan nüfusun bir arada yaşadığı görülmüştür. Günümüzde Yunanistan'da da aynı isimli (Argyropolis) kentler bulunması, bu tarihi bağın bir yansımasıdır.