蒯祥因參與建築皇宮,受到朱棣褒獎。他仍然腳踏實地干好本職工作,不貪戀權色名利,始終追求著更加精湛的建築工藝。憑藉過人的本領,與踏實的工匠態度,蒯祥一路晉升,蒯祥退居之前,曾坐到工部左侍郎的位置,官職一品,受朝廷重用。
然而皇宮之中,是非風波不斷,名利場上,到處有著勾心鬥角、爾虞我詐,哪怕是沉浸工匠技藝的蒯祥,也躲不掉小人的妒忌。蒯祥挑選了個時機,上書皇帝,乞求告老還鄉。就這樣,蒯祥急流勇退,回到了自己的故鄉——吳縣。
回到故鄉後,蒯祥仍沒有丟棄手中的匠藝。他對工匠技藝的追求已經與自身融為一體。晚年的蒯祥致力於吳縣香山的建築發展。有不少工匠聽說朝廷歸來個工部侍郎,紛紛趕來請教工匠方面的問題。不論什麼人來請教問題,蒯祥都會毫不吝嗇的為他答疑解惑。香山附近工匠手藝越發精進起來。