兩年後（公元前119年，元狩四年），大将軍衛青、骠騎将軍霍去病率軍大舉北擊匈奴。李廣屢次主動請戰，漢武帝以他年邁為由拒絕，後經多次懇求才勉強同意，任命他為前将軍（先鋒統帥）随軍出征。

李廣跟随大将軍衛青出征匈奴，出塞後，衛青從俘虜口中得知單于駐地，便親率精銳奔襲，卻命令李廣與右将軍趙食其的部隊合并，改從東路進軍。東路迂回繞遠，且沿途水草稀少，不利于大軍駐紮行進。

李廣向衛青請命：“我本是前将軍，如今大将軍卻臨時調我走東路。我自少年起便與匈奴交戰，如今好不容易有機會正面迎擊單于，願為先鋒，拼死與單于決戰！”

原來，衛青暗中受漢武帝叮囑，認為李廣年老、命數不佳（“數奇”），不可讓其直面單于，以免贻誤戰機。

同時，公孫敖剛失去侯爵，此次以中将軍身份随行，衛青有意讓公孫敖與自己一同對戰單于立功，故而調離李廣。

李廣得知内情後，堅決向衛青請辭改道，但衛青拒不接受，命長史将調令文書送至李廣幕府，嚴令：“即刻按命令前往右将軍部！”

李廣未向衛青辭行便憤然率軍出發，與趙食其合兵東行。

因缺乏向導，部隊迷路，未能按時與主力會師。衛青與單于交戰後，單于逃脫，漢軍無功而返。回師南歸途中，衛青才在沙漠南緣遇到李廣、趙食其的部隊。

李廣面見衛青後返回軍營，衛青派長史送來幹糧酒水，并質問李廣、趙食其迷路詳情，聲稱要上奏武帝禀明戰事經過。

李廣尚未回應，衛青又令長史催促其幕府官員接受審訊。

李廣挺身而出：“衆校尉無罪，迷路責任在我。我自會向朝廷呈送文書擔責！”

回到軍營後，李廣對部下慨歎道：“我自少年從軍，與匈奴交戰七十餘次，此番有幸随大将軍迎戰單于，卻遭調遣迂回繞路，又因迷路贻誤軍機，豈非天意！如今我已六十餘歲，豈能再受那些刀筆小吏的羞辱？”

說罷拔刀自刎。

全軍将士無不痛哭。百姓聽聞李廣死訊，無論是否相識，不分老幼皆為之落淚。而右将軍趙食其被交付司法審判，按罪當斬，後贖身為平民。