夏，四月丙子，立皇子刘钦为淮阳王。皇太子年纪十二，精通《论语》、《孝经》。太傅疏广对少傅疏受说：“我听说‘知足不辱，知止不殆’。现在我们当官当到二千石，官位名声都有了，这个时候不离开，恐怕以后要后悔了。”当天，父子俩都请病假，上书请求退休。汉宣帝刘询都同意了，赏赐黄金二十斤，皇太子赠送五十斤。公卿故人为他俩在东都门外送行，送行人的车有几百辆。路旁观看的人都说：“明智的两个人！”有的叹息，为他们哭泣。
疏广、疏受返回家乡，每天让家人卖金子买酒菜，请族人、朋友、宾客，一起娱乐。有人劝疏广用金子给子孙买产业，疏广说：“我难道老糊涂到不挂念子孙吗！考虑到我原来的田地房屋，如果子孙勤劳，足够供应衣食，与普通人一样。现在如果再增加家产让他们有富余，只会教子孙们懒散堕落。聪明而多财，就会毁掉志气；愚蠢而多财，就会加重错误。况且富人是众人怨恨的目标，我既然不能教育好子孙，也不想加重他们的错误而招来怨恨。”