佐賀藩の武士の長男に生まれました。藩校に入学したものの、武士の道徳を学ぶことや中国の古い書物を覚えるだけの封建的な教えが不満で退学します。
その後は、藩の蘭学寮で西洋の学問を学び、1864年、26歳のときに長崎に出てアメリカ人宣教師フルベッキに英語やアメリカの憲法などを学び、西洋の思想に大きな影響を受けます。
翌年の1865年には長崎に英学塾「致遠館（ちえんかん）」を作り、フルベッキを校長に招きます。

明治新政府では、外国事務局判事として長崎に赴きました。
その後、大蔵省の次官として、新橋・横浜間の鉄道開通を進め、電信（電報）の仕組みを整備するなど、日本の近代化に努めました。
1881年、イギリスの議院内閣制を手本にした憲法の制定と議会の開設を求め、岩倉具視（いわくらともみ）や伊藤博文（いとうひろぶみ）らと対立し、43歳のとき官僚を辞職します。
翌年の1882年には、イギリスの議会政治をモデルに立憲改進党を作ります。1898年に総理大臣となり、日本初の政党内閣を誕生させました。また1914年に再び総理大臣となりました。
優れた人材を育てるための東京専門学校もつくります。東京専門学校は後に早稲田大学と名を改めました。