杨绾少年丧父，家里很穷，但侍奉自己的母亲十分孝顺。最终，参加科举考试，杨绾以进士入仕，调补太子正字。
天宝十三年（754年），玄宗皇帝李隆基亲御勤政楼，主持朝廷选拔人才的考试，测试博通坟典、洞晓玄经、辞藻宏丽、军谋出众等举人。
考试命题，除取辞藻宏丽外，还测试了诗赋各一首，命有司供食，既暮而罢。
大唐朝廷制举试诗赋的制度，自此时开始。
当时，杨绾的表现非常优异，一同登科者总共有三人，杨绾为之首位。
玄宗皇帝对杨绾十分欣赏，遂下旨，提拔杨绾为右拾遗。杨绾自此以清廉节俭的品德，而著称于世。
天宝十四年（755年），范阳、平卢、河东三镇安禄山，反叛朝廷，不久，李亨（肃宗）在灵武即位。
杨绾自贼中逃脱，冒着千难万险，披榛求食，以赴行在，脱身拜见李亨（肃宗）。
那时，李亨灵武朝廷草创，朝廷正急需贤才，及杨绾至，大家心里都非常喜悦。
李亨（肃宗）遂拜杨绾为起居舍人、知制诰，专门负责为皇帝起草文书等。
杨绾历官司勋员外郎、职方郎中，掌诰如故，后迁中书舍人，兼修国史。
按照大唐朝廷惯例，做中书舍人时间长的人，谓之“阁老”。其中公署的公廨杂料，应该归阁老的，要占到五分之四。