豊前中津藩（大分県中津市）の下級武士の子として、大阪にある中津藩蔵屋敷で生まれました。
2歳のときに父が亡くなると中津に戻り、下駄作りなどの内職をして、貧しい家計を助けました。
14歳で塾に通い始め、19歳で長崎に出て蘭学と砲術を学び、その後、大阪の蘭学者で医師の緒方洪庵（おがたこうあん）の適塾（てきじゅく）で学ぶようになります。お金がなく、途中からは塾に住み込みで勉強して、塾長にもなりました。

1858年、23歳のときには、江戸の藩邸で蘭学塾を開くことになりました。
その翌年、外国人の多い横浜を訪れたところ、外国人は英語ばかり使っていて、オランダ語が通用しないことを知りショックを受けます。
英語を教えてくれる人が近くにいなかったので、英語とオランダ語を対訳した辞書を基に独学で英語を学び始めます。

1860年、25歳のとき、幕府の遣米使節に志願して、咸臨丸で渡航します。
アメリカでは、身分に関係なく、能力次第で活躍できることに感動を覚えます。諭吉の自伝『福翁自伝』には、そのときのエピソードがいろいろ紹介されています。
例えば、サンフランシスコで、ホテルに敷き詰められていたじゅうたんを見て驚き、さらにアメリカ人がその上を靴で歩くことに驚きます。
また、コップの中の氷が3月や4月の暖かい時期にあることにも驚いています。日本人の中には氷をガリガリかむ者もいたそうです。
アメリカでは、英語の辞書（ウェブスター）を購入し、帰国後は単語集『（増訂）華英通語』を刊行します。塾の教育を英学に切り替えます。
その後も、幕府の使節として欧米を視察します。1866年、31歳のときには、海外で見てきたことを『西洋事情』という本にまとめました。約15万部も売れたといいます。

1868年、33歳の時には、江戸・築地の蘭学塾を芝（港区）に移して、当時の年号にちなみ「慶應義塾」と名付けました。塾生から毎月授業料を取り入れた学校の運営はこれが初めてでした。
戊辰戦争（ぼしんせんそう）で上野が戦場になったときも、大砲の音を聞きながら、講義を続けました。

「天は人の上に人をつくらず、人の下に人をつくらず」で始まる著書『学問のすすめ』は、1872年から刊行が始まりました。
生まれながらに上下の差はないのに、貧富の差や身分の差ができるのは、学問があるかないかが原因と説明しています。
庶民でも買いやすく、17冊に分けて1冊の値段を安くしたり、漢字には読み仮名を振ったりして、たくさんの読者を得、300万部のベストセラーとなりました。