石敬瑭死後,養子石重貴稱帝,與遼國爆發了一場戰爭。趙弘殷作為禁軍將領,自然要上前線參戰,於是便將妻子杜氏、「香孩兒」趙匡胤,以及剛出生不久的趙光義離在家中,自己則上了前線。
趙光義是趙家遷居開封后的第三年出生的, 據傳趙光義誕生時,也像十二年前的趙匡胤一樣,「赤光上騰如火,閭巷聞有異香。」
開運四年正月,遼太宗耶律德光滅掉後晉,占領了開封。遼兵趁機在開封擄掠婦女,搶奪百姓財物,開封的老百姓紛紛出逃。
由於趙弘殷不在家中,所以家裡的下人們見遼兵縱兵搶掠,一個個都爭相逃命。有些心術不正的家丁,更是在逃走時將趙家的金銀細軟一卷而空,根本沒有人管杜氏和兩個兒子。
由於遼兵十分兇殘,杜氏無奈之下,也只得獨自帶著兩個孩子,加入了逃難的大軍。
由於兩個孩子,特別是趙光義年齡很小,沒有長途跋涉的能力,杜氏只得將兩個孩子裝在籮筐里,自己則挑著籮筐,一邊逃難一邊打聽丈夫趙弘殷的下落。