1914年，袁世凯采取了一个重大举措——创立培养军官的陆军混成模范团。他自己以总统身份亲任团长。此举显然是为了培养私人实力，长期控制军队。模范团的军官，从北洋各师和保定陆军军官学校第一批毕业生中精选，均降级使用。士兵则精选忠诚可靠、身强力壮、当过正职军官、有过战争经验者。
张伯驹这年刚刚16岁，显然不符合模范团的选材标准。但在张镇芳的安排下，他破格进入模范团的骑科。
不过张伯驹并没有按照父亲安排的道路走下去。模范团毕业后，他先后到安徽督军倪嗣冲、川闽两湖经略使曹锟、陕西督军张镇华等处为幕僚。以父亲的人脉关系，在军界混下去，不会没有前程。但那些年军阀混战，国事日坏，与他建功立业的理想相去甚远。在军界，看多了上层人物在权贵面前奴颜婢膝，对百姓敲骨吸髓，彼此之间争权夺利，张伯驹遂“将热心肠冷了下去”，大有“秦关百二，悔觅封侯”之叹，认为“内战军人身份，殊非光荣”，于是不顾父母反对，退出军界，回到家中。
面对父母的责怪，张伯驹从不顶撞，却也没有听从之意。但母亲的絮叨，也令他十分困惑、苦闷，终日不言，唯一的乐趣就是读书，古代的经典，给了他一方天地，浸润其中，足以远离喧嚣。3000多卷的《二十四史》，他二十多岁时便已读了两遍；354卷的《资治通鉴》，他可以从头讲到尾，如数家珍；唐诗宋词，更是脱口而出。最使他感兴趣的古代典籍是《老子》、《庄子》等。读着老庄，回想父亲的沉浮起落以及清朝的瓦解、袁家王朝的崩溃，超然物外的意绪逐渐深入骨髓，眼前天高地阔，很多原本以为重要的事情变得微不足道。
于是，在别人的眼中，他的言谈举动不循常规，十分“怪异”。一些朋友送给他一个绰号——“张大怪”。
