安徽合肥人。字少荃（一云号少荃）、子黻、渐甫，号仪叟。1847年中进士，选庶吉士，散馆授编修。曾在京从曾国藩讲求义理经世之学，颇得曾氏赞赏。1853年，应安徽团练大臣吕贤基邀，回籍组织团练对抗太平军。以裕溪口之捷，授六品官。次年初，入安徽巡抚福济幕，以攻占含山、巢县二城功，授道员衔。1858年，赴江西建昌曾国藩幕，年余以异见而辞去。1861年，湘军攻下安庆后，应邀返曾氏幕。曾氏曾以“李某才大心细，可独当一面”荐之。适太平军横扫江浙，上海官绅向曾氏求救，遂受命募淮勇往援之。1862年春，奉命率原庐州团练头领刘铭传、周盛波、张树声、吴长庆，湘军将领程学启、郭松林等，领13营6500人，租乘8艘轮船赴上海。营制悉遵湘军。4月，命署江苏巡抚，旋实授，得以独领一方军事。所部遂自然脱离湘军系统。以其组建时期统领及成员主要为江淮间人，而被称之为淮军。出师上海后，淮军迅速改用洋枪炮，日益西化。是年冬创办上海洋炮局（次年迁往苏州），以自供军需。1863年，在上海设立广方言馆，培养科技外语人才。所部历20余月大小数十战，将太平军逼出江苏。1864年，太平天国败亡，以功封一等肃毅伯。次年，署两江总督，主持创建江南机器制造局、金陵机器制造局等，是为中国第一批近代军用企业。1866年，代曾国藩为钦差大臣，主持剿捻。1868年，捻军败亡，以功赏骑都尉世职，加太子太保衔，兼协办大学士。在江南机器制造局附设翻译馆，系统介绍西方科技知识。1869年春，接任湖广总督。曾奉命处理四川酉阳、贵州遵义教案等。

1870年，继曾氏任直隶总督兼北洋通商事务大臣，接办天津教案。自此任直督达25年之久，始终参与掌管清廷外交、军事、经济事务。1871年，代表清政府谈判签署《中日修好通商条规》，是为第一次涉足外交事务。1872年，主持选派30名幼童赴美留学，开官派留学之先声。又奏准创办上海轮船招商局，是为中国第一家大型近代交通运输企业。1873年至1874年间奉命参与谈判签订《中秘查办华工专条》、《中秘友好通商条约》。1874年，协助恭亲王谈判并签订《中日北京专条》，将琉球人误称为“日本国属民”，将日军侵台称作“保民义举”，给日本后来吞并琉球以口实。是年底，上《筹议海防折》，吁请筹办“三洋”防务，得到清廷首肯，次年即颁命创建南北洋海军。1876年，奉命签订《中英烟台条约》。又参与交涉购回上海吴淞铁路一案。同年，派遣卞长胜等7人赴德学习陆军，又与沈葆桢奏准选派船政局学生留学英、法学习海军。1877年，委派唐廷枢筹办开平矿务局，这是中国近代第一家大型机器采煤企业。又派周世澂试开科尔沁铅矿。1879年，试设成功天津到大沽电报，是为中国自办的第一条电报线。1880年，创办天津水师学堂，设立天津电报总局、天津电报学堂。1881年，明确提出了“外须和戎，内须变法”治国主张。建成唐山至胥各庄铁路，是为中国第一条自建铁路。1882年，创办上海机器织布局，开中国近代民族纺织工业之先河。1884年，中法战争爆发，力主乘胜求和，次年受命代表清政府签订了《中法会订越南条约十款》。1885年，设立天津武备学堂，这是中国近代最早的陆军学校。是年，奉命与伊藤博文谈判签订《中日天津会议专条》，其中有“朝鲜若有重大变乱事件，彼此出兵之前先行文知照，事定即须撤回，不再留防”一款，等于承认朝鲜成为中日两国共同“保护国”，为中日甲午战争埋下祸根。1887年，设立铁路公司，动工修建津沽铁路。又成立宝津局，使用机器制币。1888年，开办黑龙江漠河金矿，主持筹建的北洋舰队正式成军。1893年，创立天津西医学堂，是为中国自办的第一家西医学校。

1894年，中日甲午战争爆发，奉行避战求和方针，终致失败，被革职留任。1895年，奉命代表清政府谈判签订《马关条约》，承认朝鲜独立，割让辽东半岛、台湾及澎湖列岛，赔偿日军费库平银2亿两，开放沙市等7个通商口岸，并给与日本商人大量特权。同年，维新派成立强学会，捐银2000两（一云3000两）入会，遭拒。1896年，沙皇加冕典礼，被任为正使前往致贺。与沙俄财政部长维特议定一项旨在对付日本的《中俄密约》，允许沙俄修建横跨满洲的中东铁路等，致使沙俄势力伸入东三省。旋从俄国出发开始环球旅行，先后访问了德、法、英、美等国。归国后供职于总理衙门。1898年，维新变法开始后，持观望态度。旋授两广总督。1900年，八国联军侵占北京，被任为全权大臣，参与谈判。次年与庆亲王奕劻代表清政府签订《辛丑条约》。旋病重，连呼“可恨毓贤误国”、“两宫不肯回銮”而卒。谥文忠，封一等侯。著有《李文忠公全书》等。