在桓温十五岁那年，他的父亲桓彝被苏峻的手下将领韩晃所害。桓温虽然只是一个少不更事的孩子，但他是家里的老大，父亲死后，他必须要坚强地挑起家庭的重担。有一次，他的母亲病得非常厉害，需要吃羊肉治疗。可是，他家里非常贫困，连温饱问题都难以解决，根本就买不起羊肉。为了给母亲治病，桓温只能忍受着巨大的痛苦，用最小的弟弟从卖羊肉的人那里换回一点儿羊肉。这件事给年幼的桓温留下了非常深刻的印象，让他懂得了生活的艰辛，也使他更加憎恨杀死父亲的仇人。为了尽早给父亲报仇，桓温白天拼命地赚钱养活家人，晚上一个人跑到园子里练武。无论多累，无论天气是好是坏，他都会坚持练武，从不间断。就这样三年过去了，桓温的武艺大有长进，可是他却听说杀害父亲的凶手韩晃已经死去。他想到，既然无法杀死仇人，那就去杀仇人的亲人好了。于是，他假装吊丧的宾客，跑到韩晃家里，将韩晃的两个儿子和一个弟弟杀死。这件事很快就传开了，晋成帝也听说了桓温这个人，他亲自召见桓温，对桓温委以重任。此后，桓温的仕途非常顺利，被封为驸马都尉、琅琊太守，后来又被封为徐州刺史、荆州刺史，掌握了长江上游的兵权。
第二年，简文帝去世。他在遗诏中指定自己的儿子、太子司马曜继承皇位。听到简文帝去世的消息，桓温非常高兴。他认为自己终于可以坐上梦寐以求的皇位了。可是，当他听说简文帝并没有指定他当皇帝后，他非常失望，也非常气愤，决定使用武力来实现他的皇帝梦。他率领穿着全副盔甲，手里拿着武器的士兵，来到建康。去路边迎接桓温的官员们看到桓温手下的士兵带着武器，脸上露出杀气，全都被吓得面如死灰。桓温把王坦之和谢安两个人请到自己的府里，打算杀掉他们二人。王坦之和谢安已经提前知道了这件事，王坦之来到桓温的家里后，因为害怕而不停地冒冷汗，可是谢安却非常沉着冷静。他们走进堂厅坐下后，谢安对桓温说：“把兵将安排在边境，防止外族入侵才是讲道义的大将应该做的事情。桓公把士兵安排在墙壁后面，想要做什么呢？”桓温听后非常羞愧地说：“我这样做，只是防止意外发生。”之后，他就悄悄地命人把安排在墙壁后面的士兵给撤走了。
东晋政权建立后，先后经历了王敦和苏峻两次叛乱。虽然这两次叛乱都被镇压下去，但是东晋王朝的统治者被吓得胆战心惊，害怕掌握军权的将领会再次发动叛乱。就在这个时候，掌握着长江上游兵权的荆州刺史桓温因为势力过大引起了东晋统治者的戒备。
公元345年十一月，桓温派袁乔率二千人为前锋，自己亲领大军为后队出兵伐蜀。朝廷并不同意他这样做，但是他上表之后就自行出发了，朝廷想要阻止，却已经来不及了。成汉皇帝李势得到桓温率领大军前来攻打成汉的消息后，神情非常轻松。他以为蜀道险阻就可以让桓温的军队吃尽苦头，最后不战而败。可他没有想到，桓温率领大军长驱直入，到公元347年二月已经来到了距离成都不远的平原地区了。李势这时才意识到了事势的严重，急忙派叔叔李福、堂兄李权和将军昝坚兵分三路，迎战桓温的军队。昝坚竟然莫名其妙地领兵到了犍为（今四川彭山东），没有与桓温的军队相遇。桓温领兵到了离成都只有二百里的彭模（今四川彭山东北）。昝坚不知道晋军在哪里，所以一直在犍为傻等。袁乔对桓温说：“现在我们出师远征，身处敌人的腹地之中，如果获得了胜利，那就立了一件大功，如果失败，势必会全军覆没。因此，必须集中兵力，向敌人发动猛攻。如果分两路攻击，那么我们的实力就会大受到很大的削弱。”此外，他还提出应该破釜沉舟，只带三天的粮草，激励将士们全力争胜。桓温觉得袁乔的话很有道理，就亲自领兵向成都攻去。桓温遇到了李权的部队，经过三次大战后，李权的兵马被打得溃不成军，仓皇地逃回成都去了。桓温步步紧逼，率领部队来到成都近郊。这个时候，身在犍为的昝坚急忙领兵来救成都。但是当看到晋军已经快要攻入成都城后，昝坚手下的兵将心慌意乱，在尚未与晋军交战前就已经溃不成军了。李势看到形势危急，便亲自率领兵马出城到笮桥（今四川成都西南）迎战桓温的部队。李势率领手下拼命抵抗，竟然逼得晋军难以前进一步。就在这个关键时刻，突然响起了战鼓声，袁乔拔出佩剑指挥，将士们拼死与敌军交战，最后终于取得了一场大胜。随后，桓温领兵攻到成都城门下，放火将城门烧掉。李势趁天黑逃到了附近城里。他认为如果继续与桓温交战，只有死路一条。于是，为求自保，他选择了向桓温投降，成汉就此灭亡。桓温完成了平定巴蜀的艰巨任务。
后来，为了扩大自己的势力，桓温先后发动了三次北伐。这三次北伐使得他的名声更加响亮，他在军中的势力越来越大。随着势力逐渐强大，他的政治野心也不断膨胀起来。有一次，他摸着枕头感慨道：“既然不能流芳百世，那么遗臭万年又何妨呢？”
桓温本打算靠武力夺取皇位，但是当他看到还有很多士族反对他后，就改变了主意，决定先按兵不动。没过多久，企图篡位的桓温便得病死掉了。
公元371年，桓温在枋头吃了败仗，威望受到很大影响。为了重树威望，他带兵进入建康，把晋废帝司马奕废掉，立司马昱为新皇帝，即简文帝。桓温把自己封为大司马，领兵到姑孰（今安徽当涂）驻扎，摇控指挥朝政大权。
