这年年终，一批人数有限的学生被选送到日本去学习军事，蒋介石是其中之一。他懂得日本语，在选拔中派上用场。1907年春，他注册进入东京振武学堂。
这段时间，他的同学们觉得他对人虽然彬彬有礼，但很冷淡，他对同学间的友谊并不大在意，常常对别人的友好表示无动于衷。这使他不大受欢迎。他的同学们认为他傲慢。不过他对一个人是例外的，那就是张群——他是蒋介石当时的同学，并赢得了蒋介石的终生信赖，除了蒋夫人和蒋经国外，张群要算蒋介石最亲密的的知己了。
当时的学习生活比他所能想象的还要艰苦，甚至超过他在母亲寡居时所受的困苦。一日三餐很简单：每顿一碗米饭，加上几小片鱼和一小盘萝卜。由此他渐渐养成了节俭的习惯。
每到漫长的暑假，蒋介石总要千里迢迢赶回家去看望母亲。不过每次他总要在上海停留去看望那里的革命者，并帮助他们征募人员和筹集资金。他这时尚未加入任何革命组织，尽管他的卫生课老师曾对他产生过模糊的怀疑。
后来在东京，陈其美介绍他参加了同盟会。蒋介石第一次参加同盟会的大会时，孙逸仙在会上发表了讲话，会后陈其美向孙逸仙引见了蒋介石。