当初，赵思绾年少时，请求成为左骁卫上将军退休的李肃的仆人，李肃不接受，说：“这个人眼睛乱看而言语荒诞，他日必定成为叛臣。”李肃的妻子张氏，是张全义的女儿，说：“你今天拒绝他，以后就是麻烦。”于是多送给赵思绾金帛。到了赵思绾占据长安，李肃闲居在城中，赵思绾多次前去拜访，跪拜如同以前一样。李肃说：“这个人总来，就是玷污了我。”想要自杀。妻子说：“为什么不劝他归顺朝廷！”之后赵思绾问保全自己的计策，李肃于是与判官程让能劝赵思绾说：“你本来与朝廷没有矛盾，只是怕被治罪而已。现在朝廷三路出兵，都没有成功，如果你这个时候翻然改图，朝廷必然高兴，你自然不会失去富贵。这不比坐以待毙强吗！”赵思绾听从了，派人前往朝廷请求投降。乙丑，朝廷任命赵思绾为华州留后，都指挥使常彦卿为虢州刺史，让顺路去上任。