据《天宝故事》记载，当年武则天实在是太喜爱张易之了，于是女皇命人在张家建了一座空中楼阁，张易之回家后只能在楼上睡觉，只要他一上楼，就有专人把楼梯撤掉，以防张易之有机会接触到别的女人。
要知道，武则天平时基本不给张易之回家的机会，即便偶尔给他放两天假，还要束之高阁，这在张妈妈看来就是有心让老张家断子绝孙，所以她买通了守卫秘密安排自己的婢女蠙珠上楼与儿子幽会。最终皇天不负有心人，蠙珠生下了一个儿子，这个私生子就是后来的杨国忠。
这个说法的真实性有多大，时至今日很难断言，但是从杨国忠年轻时风流倜傥的性格来看，确实很有昔日张易之的风范。而且杨国忠很会讨女人的欢心，一来二去之下，居然同杨玉环的二姐在一起了。因此当天宝四年（745），李隆基正式下诏册封杨玉环为贵妃时，杨国忠趁势崛起，先是被委任为金吾兵曹参军，后来很快升任闲厩判官，直至监察御史。
有皇帝最爱的杨贵妃作为后台，自身又是底层一步步混上来的，因而深谙结交奉承之道，所以杨国忠命中注定将成为李林甫最强劲的对手。