安中藩（群馬県）の武士の子として生まれました。
13歳で蘭学を学び始め、17歳のとき、オランダ船を見てその大きさに驚き、幕府の軍艦操練所（ぐんかんそうれんじょ）で航海術を学びます。
その後、蘭学に代えて英学を学びます。漢語に訳された『聖書』に大きな影響を受けました。
21歳のとき、箱館（函館）から上海を経由して、アメリカのボストンに密航します。
アメリカで英語を学び、キリスト教の洗礼を受け、キリスト教を熱心に勉強します。

1872年、29歳のときに、アメリカを訪れた岩倉使節団（いわくらしせつだん）に通訳として参加し、欧米の教育制度を視察します。
1874年、31歳のときに、日本にキリスト教の学校を設立するため、10年ぶりに帰国します。
翌年には京都府顧問の山本覚馬（やまもとかくま）らと協力して京都に同志社英学校を創設しました。
また、33歳のとき、会津出身の山本八重（やまもとやえ）（覚馬の妹）と結婚し、女学校の設立や同志社大学の設立に尽力しました。