酒桌之上，張作霖也撂下話：“你們誰要是喪良心，和官兵一個鼻孔出氣，那就別怪我的子彈不長眼睛了。再說，我起事造反的槍支彈藥，都是你們幾家出錢買的，捅漏了誰也別想好！將來我幹好了，就加倍還你們！”

末了，他問道：“你們甘不甘心？”

大夥唯有打掉牙往肚裡咽，回答：“甘心！甘心！”

“同不同意？”

“同意！同意！”

“好！”張作霖一揮手，“把你們的合同都拿回來，咱們重新簽字！”

大家只好依言取來原合同，由張作霖毀掉，再重新簽約。當晚，張作霖把這些人全部灌醉，然後挎上槍，離開了家。他首先找到當年在大車店給他做過“啟蒙教育”的馮麟閣，由馮麟閣介紹，加入了洪輔臣幫派。

遼河下游本就是“鬍子”集中的地區，經歷甲午戰爭後，社會的動盪不安更使盜匪蜂起，一個遼河西岸竟然聚集著一百多股“鬍子”，每當青紗帳起時，幾乎路斷行人，所以有人稱之為“土匪窩子”。在這其中，最大的三股分別是馮麟閣、杜立三、洪輔臣，呈三足鼎立之勢。

張作霖實際加入的是洪輔臣下面的一個小幫。在“鬍子”裡面，小嘍囉叫作“崽子”。“崽子”必須絕對服從大小頭目的命令，打仗（或者打劫）時勇於衝鋒陷陣，下來時甘於站崗放哨，到年終或休息時，再和其他“崽子”一道分點酬勞。張作霖自然不想老做一個“崽子”，但要按部就班地從“崽子”升到頭目，又沒這個耐心。於是過了不久，他就拉上二十九個志同道合的兄弟，離開小幫，在外面拉起了自己的隊伍。

由於根基較淺，沒有固定的勢力範圍，最初他們只能跑東跑西地到處流竄。一次，張作霖帶著人想進入姜家屯歇息，但遭到了洪輔臣的一個頭目“二谷癟子”的阻攔。即便在洪輔臣幫派內，分了爐灶的各小派之間也是各吃各飯，姜家屯屬於“二谷癟子”的勢力範圍，他自然有充足的理由不讓張作霖進來與之爭利。

就在張作霖進退兩難之際，姜家屯一個當鋪的鐘掌櫃幫忙，他藉口要請張作霖為他醫馬，將他們接入了姜家屯。歇息完畢，張作霖一夥人準備離開，恰好與一群做馬匹生意的馬販子不期而遇，後者擁有剛剛從蒙古販運來的大批好馬。

對於“鬍子”來說，好槍好馬都是稀缺資源。張作霖等人一見眼就紅了，他們一擁而上，從中劫奪了五十多匹好馬。這樣張作霖及其手下人就一人有了兩匹馬，可以一坐一換，他們也因此由“步鬍子”變成了“馬鬍子”，不僅可以在遼西平原上縱橫馳騁，而且也不再為別的幫派所小覷了。

在很長一段時間裡，張作霖一直困厄潦倒，坎坷多難，很多次還差點命赴黃泉。他發跡後，就有人把他死裡逃生的遭遇歸結為有福，認為有福之人當大官掌大權乃是命中註定的事。

一般認為，張作霖的祖籍是山東，但也有資料顯示是河北省大城縣的馮莊，包括張作霖及其家人都這麼認為。據說張作霖還曾專門回馮莊祭祖，其間就有遺老指著村頭子牙河邊的兩棵老槐樹，對他說：“你老人家高官得做，是有家鄉老神樹保佑啊！”

原來村裡傳說，清咸豐年間，忠親王（即僧格林沁）曾和太平軍激戰於子牙河邊，當時太平軍數十人圍住僧格林沁，拿箭射他。僧格林沁藉著兩棵老槐樹的庇護，得以安然無恙，從此這兩棵樹也就成了當地的“老神樹”。

張作霖聽後只是一笑了之。在他的心目中，如果有什麼能夠保佑自己，姜家屯也許比“老神樹”更有代表性。因為正是從在姜家屯劫馬起，他的命運才開始發生真正的轉變，彷彿是一夜之間，所有的事情都變得順利起來了。