张作霖在1917年进入奉天之前，谈不上用人之道，他统治绿林出身的兄弟，靠的是所谓的江湖义气。众人与他患难相交，又都是绿林兄弟，其中较有名的就有张景惠，汤玉麟，张作相等，这些人出生入死，为张作霖卖命，立下了汗马功劳。

进入奉天后，张作霖极力寻求文武人才。一批受过高等教育和军事训练的文武人才投到他的门下。这些人后来成为张作霖的得力武将，或为张出谋划策，是张作霖的左膀右臂。

张作霖出身草莽，常常骂人，但他对重用并有所依赖的杨宇霆、王永江却从来不说一句粗话，杨宇霆是东北军的重要人物。他早年赴日本士官学校留学，回国后步入军界，由于他足智多谋，很快受到张作霖的重用，并在军中获得“小诸葛”的称号。在杨宇霆的辅佐下，张作霖实力大增，使日本人在东北不敢轻举妄动，正因为如此，张作霖才能对日本人保持强硬态度。

有一次张作霖出席日本人酒会，酒过三巡，日本人想让张作霖出丑，便让他写字。于是他提笔写接下“虎”字，随后在落款处写了“张作霖手黑”，看的这里几个日本人笑出声来，他的随从也在旁边提醒道，大帅“黑”字下边少了个土字，谁知张作霖，大骂“妈了个巴子的！，我还不知道墨字怎样写，对付小日本手不黑行吗？我这叫寸土不让”。在场中国人这才恍然大悟，会心地笑了。与此同时，那些日本人却目瞪口呆，不知所措。

张作霖当年任用王永江，遭到了手下汤玉麟的反对，后来汤玉麟密谋举兵作乱，但张作霖稳住了几个主要干将，兵变没有发生，与此同时张作霖让王永江全权做警政的改革。后来张作霖几次叫汤玉麟回去，汤总是不肯。有一天张作霖过生日，其中有一出关羽和张飞的《古城相会》，张作霖看了说“人家兄弟散了还能相会，咱兄弟一去就回不来了！”。话传到了汤玉麟口中，他大为感动，就自己跑回来，张作霖以宽容之心接纳了汤玉麟，张任命汤为东三省巡阅使署中将顾问。

时隔多年后，1934年2月11日，胡适听说这个故事，还在日记中谓然叹曰：“老张宁让自己的老弟兄造反，而不可以减轻他对王永江的信任，这是他最不可及之处。