冯玉祥的父亲冯有茂早年在淮军当差,冯玉祥就是在父亲驻地出生。冯有茂虽然当兵多年,但是却始终职位不高,只是在底层厮混,后来因病被裁撤。冯玉祥15岁时就在军中挂名,1902年时离开淮军,改投了武卫右军。
冯玉祥刚投军时只是一个小兵,不过他比较刻苦,在训练中表现出色。而且冯玉祥还识字,自学了《操法》、《阵法》等兵书。在清末识字的人本来就不多,还懂点兵书的就更少了,因此冯玉祥在军中逐步高升,后来当上了排长。
更重要的是冯玉祥的虚心好学和刻苦训练引起了上司的注意,协统(旅长)陆建章和标统(团长)王化东都对他非常赏识。特别是陆建章,更是提出要把自己的内侄女刘德贞许配给冯玉祥。王化东亲自做媒,促成了这桩婚事。
陆建章是袁世凯的心腹,和陆建章搭上关系以后,冯玉祥也是一路高升,1910年时已经是管带(营长)之职。民国成立以后,冯玉祥在陆建章的扶持下更是一路升到了第16混成旅的旅长,有了自己的基本部队。
陆建章在陕西督军任上被击败失势以后,冯玉祥一度在旅长的位子上徘徊了很久。不过他部队把握的捞,又擅长训练部队。第16混成旅成了北洋军中的一支劲旅,这也成为冯玉祥此后周旋在各大势力中的本钱。
在直皖大战以后,冯玉祥依附胜利的直系军阀曹锟,部队也从一个旅扩编到了1个师。第一次直奉大战时,冯玉祥帮助曹锟击败河南督军赵倜,立下了大功,部队也扩编到了1个师3个旅,成为曹锟集团中一个大势力。
第二次直奉大战时,冯玉祥因为和曹锟亲信吴佩孚的矛盾激化,选择了和张作霖合作。直系大败,冯玉祥收编溃散的直系部队,势力又得到了很大的增长。此后冯玉祥得到了甘肃、绥远等地盘,势力逐步扩大,成为国内举足轻重的一支军事力量,直到中原大战以后才瓦解。
所以冯玉祥能从一个小兵崛起为拥兵数十万的大军阀,机遇和自身的努力缺一不可。