玉环父亲杨玄琰的官阶虽然不高，仅是七品不到，但追溯他的远祖世系，门第名望却是较高。
玉环的高祖父是隋朝名臣杨汪，弘农华阴人氏(今陕西省华阴县)，为北周隋朝以来的著名望族。杨汪因与隋文帝杨坚同为弘农人，所以受到重用，赐爵平方县伯，官至尚书左丞。隋炀帝即位后，杨汪任大理卿，一年之后，又转国子祭酒，都是高贵而又清要的官职。隋炀帝大业9年(公元613年)，杨坚起兵反隋，杨汪受到怀疑，降为梁郡(今河南商丘)通守。隋炀帝被杀之后，杨汪又依附东都王世充集团。唐代初年，秦王李世民平定王世充，攻克洛阳，将杨汪杀死。
杨汪被杀之后，杨氏家族中落，后世均不显贵。玉环的曾祖父杨令本为金州(今陕西安康)刺史。祖父杨志谦，名不见经传。到父亲这一辈，情况才稍微好了一些。
玉环父亲玄琰，在开元初年任蜀州司户，司户虽是个小官，但因为蜀州很大，排为上州，所以司户的地位也较为可观，品级相当于一般的县令。职责是主管一州的户籍、钱粮统计、道路交通、住宿迎送、婚姻土地等事务，实际权力还是不小的。玄琰还有两个弟弟，一个叫杨玄珪，未见任何官职。一个叫杨玄璬，任河南府士曹参军，也是七品以下的小吏。主要掌管河道桥梁、车船运输、宅舍修建及百工众艺等事。