李廣有三個兒子：李當戶、李椒、李敢，均擔任郎官。

某日漢武帝與寵臣韓嫣嬉戲，韓嫣舉止輕佻失禮，李當戶挺身擊打韓嫣，韓嫣逃竄。漢武帝因此賞識李當戶的勇猛。

李當戶早逝，其弟李椒被任命為代郡太守，兩人皆先于李廣去世。

李當戶留有一遺腹子，名李陵。

李廣自刎時，李敢正跟随骠騎将軍霍去病征戰。

李廣死後次年，丞相李蔡因侵占漢景帝陵園牆外空地獲罪，本應交由司法審判，但他選擇自殺拒審，封國被廢除。

李敢因随霍去病攻打匈奴左賢王時骁勇作戰，奪取敵軍戰鼓軍旗，斬首衆多，被封為關内侯，食邑二百戶，并接替父親李廣擔任郎中令。

不久，李敢怨恨大将軍衛青排擠其父，将其擊傷，衛青隐瞞了此事。後來，李敢随漢武帝至雍城甘泉宮狩獵，霍去病為替舅父複仇，射殺李敢。

當時霍去病正得寵，漢武帝對外宣稱李敢是被鹿撞死。

一年多後，霍去病病亡。

李敢之女為太子侍妾，頗受寵愛；其子李禹也得太子寵信，但貪圖私利，李氏家族從此逐漸衰敗。

李陵成年後，被選拔為建章宮騎兵統領，管理皇家騎兵。他善射箭、愛士卒，漢武帝念及李氏世代為将，命他率領八百騎兵。

李陵曾深入匈奴境内二千餘裡，越過居延海勘察地形，未遇敵軍而返。後被任命為騎都尉，統率五千丹陽楚地士兵，在酒泉、張掖一帶訓練騎射，屯兵防備匈奴。