王霸，字元伯，西汉颍川郡颍阳县（治所在今登封市东金店）人。年轻时承祖业任狱卒，曾到京城长安求过学。

    汉初始元年（公元8年）底，王莽篡权称帝，不久，建立“新”朝。因“新”朝统治腐败，各地纷纷爆发农民起义。起义军将领刘秀路过颍阳时，王霸闻讯前去拜谒，因谈得投机，王霸就随刘秀从军。“新”朝地皇四年（公元23年），王莽派大军围困起义军所在的昆阳城。为了解围，王霸等十三骑勇闯敌营，最终突破重围并搬来救兵，为昆阳之战的胜利立下大功，在昆阳之战中大伤元气的新朝很快即被推翻。不久，起义军内部斗争激烈，劳苦功高的刘秀、王霸等将领被解除兵权，王霸一气之下解甲归故里。

    后来，刘秀遇重用，被任命为司隶校尉。再次路过颍阳时，刘秀力邀王霸从军，王霸就带领几十个同乡随刘秀前行。不久，刘秀被任命为大司马，前往河北征战。因前景凶多吉少，当初和王霸一起从军的同乡纷纷离去，唯有王霸始终跟随刘秀。刘秀不禁感慨道：“颍川从我者皆逝，而子独留。努力！疾风知劲草（成语“疾风知劲草”即源于此）。”后来，刘秀率大军攻破邯郸，王霸奋勇作战，亲手斩杀曾一度称帝的王郎，获得其印绶。因立下首功，王霸被封为王乡侯。

    建武元年（公元25年），刘秀称帝建立汉朝（史称东汉），年号建武。在大封功臣时，刘秀任命王霸为偏将军，第二年，又改封为富波侯。建武五年春，王霸被任命为讨虏将军，先后在新安、函谷关等地屯田。曾率军攻打荥阳、中牟等地的贼寇，并一举荡平。从而彻底消除了困扰当地多年的匪患，还百姓以安宁。

    建武九年，王霸任上谷（今河北怀来县东南）太守。因匈奴屡犯北部边境，王霸率军多次与敌作战，使匈奴难以进入汉境。第二年，王霸在平城（今山西大同市）大败卢芳的军队，威震匈奴。后来，匈奴和乌桓联手在边境袭扰。王霸率军历大小战近百次，屡败胡虏。

    王霸在与匈奴、乌桓的长期作战中，感受到了战争对双方百姓造成的痛苦。于是，他数次向刘秀上书，大胆提出应与匈奴交好，和则两利的主张。后来，其主张被采纳。于是匈奴、乌桓与汉修好。从此，北疆多年无战事。

    汉明帝永平二年（公元59年），王霸因病去世。为表彰其功绩，汉明帝刘庄令人图画为汉立下不朽功勋的名将时，把王霸列为“云台二十八将”之一。作为一代名将，王霸之事在《后汉书·铫期王霸祭遵列传》中有记载。