玉环父亲杨玄琰的官阶虽然不高,仅是七品不到,但追溯他的远祖世系,门第名望却是较高。
玉环的高祖父是隋朝名臣杨汪,弘农华阴人氏(今陕西省华阴县),为北周隋朝以来的著名望族。杨汪因与隋文帝杨坚同为弘农人,所以受到重用,赐爵平方县伯,官至尚书左丞。隋炀帝即位后,杨汪任大理卿,一年之后,又转国子祭酒,都是高贵而又清要的官职。隋炀帝大业9年(公元613年),杨坚起兵反隋,杨汪受到怀疑,降为梁郡(今河南商丘)通守。隋炀帝被杀之后,杨汪又依附东都王世充集团。唐代初年,秦王李世民平定王世充,攻克洛阳,将杨汪杀死。
杨汪被杀之后,杨氏家族中落,后世均不显贵。玉环的曾祖父杨令本为金州(今陕西安康)刺史。祖父杨志谦,名不见经传。到父亲这一辈,情况才稍微好了一些。
玉环父亲玄琰,在开元初年任蜀州司户,司户虽是个小官,但因为蜀州很大,排为上州,所以司户的地位也较为可观,品级相当于一般的县令。职责是主管一州的户籍、钱粮统计、道路交通、住宿迎送、婚姻土地等事务,实际权力还是不小的。玄琰还有两个弟弟,一个叫杨玄珪,未见任何官职。一个叫杨玄璬,任河南府士曹参军,也是七品以下的小吏。主要掌管河道桥梁、车船运输、宅舍修建及百工众艺等事。