土佐で漁師をしていましたが、漁に出かけたときに暴風雨に遭って漂流し、アメリカの捕鯨船に助けられます。このとき万次郎は13歳でした。以後、10年間アメリカで生活します。
マサチューセッツ州フェアヘイブンの学校を卒業した後は、水夫などをして働きます。
1850年、22歳のときに、日本への帰国を図り、琉球を経て薩摩に上陸し、長崎で取り調べを受けます。
24歳で12年ぶりに土佐に戻ったのち、幕臣となって、日米和親条約（にちべいわしんじょうやく）の締結の手助けをしたり、英会話書を書いたり、翻訳者や通訳として活躍しました。
1860年、32歳のときには、通訳として、咸臨丸（かんりんまる）で再びアメリカを訪れました。咸臨丸では小笠原諸島も視察し、小笠原が日本の領土に決まったことにも貢献しました。
その後は英語教師として暮らしました。