武蔵国多摩郡（東京都調布市）の農家の三男に生まれ、少年のころから剣術を学びました。
その才能を見込まれ、近藤家の養子となり、26歳のとき道場「試衛館」（しえいかん）を継ぐことになりました。
試衛館には、土方歳三（ひじかたとしぞう）、沖田総司（おきたそうじ）など後の新撰組のメンバーがいました。

1863年、29歳の時に、京都へ向かう将軍の警護隊に参加します。
後に京都守護職（きょうとしゅごしょく）松平容保（まつだいらかたもり）の下で新撰組を名のり、京都の治安維持のために、尊王攘夷（そんのうじょうい）派の志士を取り締まるようになります。
1864年には京都河原町の旅館池田屋で尊王攘夷派の志士を襲撃し、手柄を挙げます。
近藤は局長として、多いときには150人以上いた新撰組をまとめました。
しかし、1868年、34歳のとき、戊辰戦争（ぼしんせんそう）で敗走し、下総国（しもうさのくに）で捕えられ、処刑されます。