張孝祥雕像公元1127年，北宋為女真金朝所滅，徽、欽二帝被俘，同年宋高宗趙構(gòu)在商丘稱帝，建立了南宋政權(quán)。在南宋小朝廷與金朝常年對峙的風(fēng)雨之中，發(fā)生了百姓大規(guī)模南遷避難的情況。張孝祥之父張祁亦率母領(lǐng)弟避難移居至明州鄞縣（今浙江鄞縣）。1132年，張孝祥出生在鄞縣的方廣寺的僧房中，并在鄞縣生活到十三歲。

由于孝祥伯父張邵因不肯屈膝金朝而被拘禁在彼，而父張祁僅任小官，張家在鄞縣又無田產(chǎn)，因此較之于陸游，朱熹，張?jiān)傻瘸錾頃汩T第，家境富足的同時(shí)代文人境況不同，張孝祥是在貧苦中成長，如王質(zhì)在《于湖集序》中所云 “故宋中書舍人奮起荒涼寂寞之鄉(xiāng)”。

公元1144年，張祁舉家返鄉(xiāng)，然而并沒有回故鄉(xiāng)歷陽，而是居于蕪湖，蕪湖位于長江之南，金人威脅較少。蕪湖、于湖二縣名字唐后混淆，因此張孝祥自號“于湖居士”，指代實(shí)際是蕪湖，亦足見他對蕪湖這一第二故鄉(xiāng)的深厚感情。

張孝祥自幼資質(zhì)過人，被視為天才兒童，《宋史》稱他“讀書一過目不忘”，《宣城張氏信譜傳》說他“幼敏悟，書再閱成誦，文章俊逸，頃刻千言，出人意表”。公元1147年，張孝祥十六歲，通過了鄉(xiāng)試，走出了邁向仕途的第一步。十八歲，孝祥在建康從蔡清宇學(xué)，二十二歲時(shí)，“再舉冠里選” （張孝伯《張于湖先生集序》）。到二十三歲中狀元前，事跡大致如此。作為一個(gè)出身”荒涼寂寞“的年青人，能在同時(shí)代文人中脫穎而出，必有不凡之處，歸納起來，一是才華卓絕，如時(shí)人對他的評價(jià)“天上張公子，少年觀國光”（王十朋），其次也有英邁的性格，“談笑翰墨，如風(fēng)無蹤”（張拭），“當(dāng)其得意，詩酒淋漓，醉墨縱橫，思飄月外”（楊萬里）。從這些時(shí)人對他的評價(jià)中，可見他自少年時(shí)代起，便具瀟灑倜儻的氣質(zhì)，英偉不羈性格。