楊顯儀出身低賤，庶出之子，生母在他幼時就得病死了，因為是妾室，連埋入祖墳的資格都沒有，被草席一卷葬在荒坡中。
他還沒成年時父親就去世了，接著被嫡子大哥趕出家門，流落在外衣食無著。不得已十幾歲就投入軍中，好在生的高大，又習得一身武藝，得以進入禁軍。
楊顯儀經(jīng)歷過太宗北伐，平北漢，又跟隨真宗御駕親征，抵抗契丹。幾十年來，一路靠苦戰(zhàn)，從兵卒到獲得官身，然后又一步步高升。澶淵之盟后，楊顯儀隨屯駐禁軍駐扎益州路。晉升益州刺史，益州衿轄，從五品的官職，在大宋可以說是高級武官了（九品為小，七品為中，五品以上。）。
后來楊武文的父親楊朝岳帶著全家包括剛出生的楊武文將家遷來蜀中，算是在蜀中安了家。后來吐蕃犯邊，楊顯儀平亂中戰(zhàn)歿，當時楊武文才兩歲。
因為自己出身不高，所以楊顯儀漠視出身等級，待人溫和體恤下人。楊武文的母親雖然只是婢女，但楊顯儀卻待之極好。楊武文父親生了四個兒子，兩個女兒，除楊武文外，還有正室生的兩個兒子，兩個女兒，另外一個兒子是妾室所出。
四個孫兒中，自小就生的胖大，排行為一的楊武文反而最討祖父喜歡。
楊武文的記憶中，有一幕場景特別深刻，那是他周歲時。
當時舉行抓周儀式，滿周歲的楊武文被放在地上，他剛剛能坐穩(wěn)，在一堆五顏六色的東西中攪亂一番后，一手抓了一本論語書（宋及以前論語只是用來啟蒙，還沒有明及以后的崇高地位），一手抓了一柄木頭做的小號銅錘。
在場所有人都愣住了，楊顯儀先是一怔，接著哈哈大笑，聲震屋瓦。
那正是楊顯儀所使的武器，這讓他激動不已，抱起楊武文開懷大笑道：“此子可承吾志?！彼烊∶麠钗湮?，寓意文武雙全。但武又在文前，雖然整個大宋官場甚至社會風氣都崇尚文事，貶低武人，但他一生戎馬，功名但自馬上取，平生以武人為傲?？上И氉訔畛离m蒙父蔭，走的也是武人的路，但兵法武略都平平庸庸，更別說習成他一身武藝了。反倒事事學文人的勾當，自詡儒將，與幾個文藝不精的幕僚詩酒唱和，附庸風雅，不當值時每每一身酒氣，對這個獨子他已經(jīng)徹底失望了。
而通過抓周，楊顯儀發(fā)現(xiàn)長孫可以接他的衣缽，繼承祖志，光大他這一支將門。這讓他如何不喜，望向楊武文的目光滿是疼愛，至于楊武文是庶出，那又如何？他同樣是庶子。今日一切，還不是靠他一雙銅錘拼殺而來？
楊武文的父親楊朝岳淡定的坐在椅子上，看了一眼楊武文手中的書，目光變得溫和，但看到那柄被他胡亂揮舞的木錘，連他父親都砸到了，可后者卻毫不在意，反而大笑道“砸的好，有一把子力氣，類我”時，眉頭微皺，面露不喜，武事有甚出息？但顧忌父親，沒有多說，目光又回到手中的書冊上。
周圍管家仆人使女都紛紛附和，恭喜道賀聲不斷，楊顯儀暢快無比，滿面紅光。楊武文的母親是個溫順的小婦人，姿色姣好，她眼中只有楊武文，目露慈愛。卻沒注意到主母雖強顏歡笑，卻目光陰郁，袖中的雙手緊緊絞在一起，心中暗恨：“這個賤婢，勾引了喝醉的夫君，生下這個庶孽子?！?。
終于，她從侍女手中一把奪過才十個月的兒子，放在地上，強笑道：“大郎這般壯實，是個武人的好苗子。二郎也快周歲了，父親與夫君不妨看看二郎會抓什么？說不定楊家能出一位狀元郎，廣大門楣呢！”
這句話果然吸引了所有人的注意力，都將目光投射在二郎身上，這也難怪，依文治國的大宋，上上下下都以文事為榮，傳說當今官家也是琴棋書畫無所不精，一手字體堪當大家，要不是因為皇帝的身份，著作不能流落民間，加上數(shù)量較少，這才埋沒，不然傳到后世又是一位書法大家（藝術才華方面，雖以宋徽宗最著名，但兩宋十八帝代代都才華出眾。）。在主母和大多數(shù)人的意識中，也只有文人狀元才是最有前途的。韓琦雖然還沒當上宰相，也沒說出那句徹底壓到武人脊梁的“東華門唱名才是好兒”的話，但此風氣已成為共識。
但她沒有注意到，抱著楊武文的楊顯儀因為他話語中對武人的輕視，笑容變淡了許多，武人就不能光大門楣？但并沒有說話，靜靜的望著次孫。
搖搖晃晃還坐不穩(wěn)的二郎，在一堆花花綠綠的東西中，眼睛四處轉動，最終選了一個散發(fā)香氣的----一盒胭脂。這讓她母親臉色唰的一下變得鐵青，朝楊武文的母親狠狠瞪去，憤恨的目光再也掩飾不住。后者不知做錯了什么，身子顫抖了一下，低下了頭，顯得非常的溫順膽怯。
楊顯儀將一切都望在眼里，他眉頭一皺，但終是沒有說話。轉過頭去，看到楊武文，才綻放笑容：“類我，類我?！?p> 武人出身的楊顯儀身高八尺有余，魁梧強壯，而楊武文剛出生時就有八斤，當時還一度難產(chǎn)，如今剛一歲就生的比僅小他兩月的異母弟弟大了一圈，身子看起來極為強壯，無怪乎楊顯儀對楊武文如此喜愛，時常暢快大笑道“類我”。
通過楊武文的記憶，楊漢將這些都看在眼里，他面色復雜：楊府中祖父楊顯儀是一家之主，有著軍人直爽的性子，顯然不喜歡婦人間的爭斗，自然也不會過多理會。因為母憑子貴，他對楊武文的母親關照有加，但常在軍營中的他，哪里曉得婦人間的爭斗有多厲害？
再說他能庇護楊武文的母親一時，能庇護一世嗎？
楊武文的父親性子迂腐，一心只讀圣賢書，對妻妾間的事情更漠不關心。他甚至不如父親楊顯儀心思通透，或許從來都沒有察覺過。
楊武文的母親骨子里是個小婦人，或許因為婢女的身份卑微慣了，即使生下楊家的長孫，后者更獲得一家之主的喜愛，但并沒有覺得自己就該趾高氣昂，反而依然謹小慎微，從她面對主母的情形來看，顯然畏懼異常。這個性格溫順，心思單純的小婦人啊，即使生下楊武文，她也才十七歲。她以為自己不爭不搶，默默的撫養(yǎng)著兒子長大就能安然無事，可是她不知道自己雖然微不足道，但她的兒子卻讓主母感受到了威脅。
更因為一家之主楊顯儀不自覺的側重對待，加重了這種情勢。
主母不用說了，她才是正室夫人，她生下的兒子才是嫡子。丈夫雖早在與她成親前就與婢女有染，那個低賤的女人雖然生下了楊家長子，可那又怎么樣？不過是庶子而已。古往今來，庶子何時受過待見，又如何與嫡子相爭？可是讓她憤恨的是，公公卻一反常態(tài)，對那個庶子的喜歡反而多過了嫡孫，連那個低賤的女人在楊府中地位也水漲船高，雖然依然馴服，但她如何忍得下這口氣？
楊漢看到這里，一切都明白了。
楊武文的母親雖然是個婢女，地位卑微，但因為有一家之主撐腰，地位隨之水漲船高，哪怕她從來不在乎這些，心思單純的她眼里只有兒子?？墒撬齾s削弱了主母的威嚴，她的兒子以庶長子的身份反而壓過了主母嫡生的兩個兒子，更得到祖父喜歡，這讓主母愈發(fā)不快。
楊顯儀在世時，主母忍而不發(fā)，可是等楊顯儀去世，楊武文母親沒了人撐腰，地位一落千丈，備受主母打壓。