奉事世宗。到周世宗即帝位后,补任潘美为供奉官。高平之战,潘美因为战功升迁为西上。。门副使。后出任陕州监军,改任引进使。周世宗准备用兵于陇、蜀二地,命潘美统率永兴的屯兵,管理西部战事。
先前,太祖对潘美待遇很优厚,受禅即位后,命令潘美先去见执政大臣,宣谕圣旨于中外。陕州主将袁彦凶悍,信任奸佞小人,喜欢杀人贪财,而且修理兵器,太祖怕他变乱,派潘美监视他的军队准备处置他。潘美一人骑马前去宣谕,认为天命既定,应当克守臣职,袁彦于是入朝。皇上高兴地说:“潘美不杀袁彦,能让他来晋见,实现了我的愿望啊。”
李重进叛乱,太祖亲自征伐,任命石守信为招讨使,潘美为行营都监做他的助手。扬州平定后,潘美留任为巡检,以行使镇抚之事,因功授为泰州团练使。当时湖南叛将汪端平定后,人心不安,于是任命潘美为潭州防御使。岭南刘钅长几次侵犯桂阳、江华等地,潘美把他们都赶跑了。溪峒蛮獠等少数民族从唐朝开始,时常侵犯内地,成为百姓的一大祸患。潘美追剿到他们的老窝,诛杀俘获了很多人,对其余的人加以慰抚,这些少数民族地区才安定下来。乾德二年(964),潘美又随从兵马都监丁德裕等人率领军队攻克郴州。
开宝三年(970),朝廷下令征伐岭南,任命潘美为行营诸军都部署、朗州团练使,尹崇珂为他的副手。军队进克富州,刘钅长派其将领率领军队一万多人来增援,潘美与他们作战大败敌军,于是攻克贺州。十月,又攻下昭、桂、连三州,西江各州相继投降。潘美因为战功移任南面都部署,进驻韶州。
韶州是广州的北面门户,敌军十余万人聚结在这里。潘美指挥军队乘机进攻,韶州于是被攻下,斩杀俘虏敌军数万人。刘钅长穷愁急迫,派遣他的大臣王王圭到军营来请求和好,又派他的左仆射萧氵崔、中书舍人卓唯休奉表请降。潘美对他们宣谕皇上的意思,认为能战就与他们战,不能战就让他们守,不能守就让他们降,不能降就让他们死,不能让他死就赶走他们,除这五种结果外其他不得接受。潘美就命令殿直冉彦衮指挥押送萧氵崔等人到朝廷。
刘钅长又派他的弟弟刘保兴率领军队抵抗,潘美就率领军队兼程行军赶到栅头,离广州一百二十里远。刘钅长的军队十五万人凭借山谷坚固阵地等待宋军,潘美于是构筑壁垒休整部队,与将领们计议说“:敌军用竹木编为栅栏。如果用火攻,敌军一定溃乱,趁机用精锐部队夹击敌人,是万全之策。”于是分派丁夫几千人,每人拿着两个火把,秘密地行军到达敌军的栅栏。到了晚上,万余火把一齐发攻,正好天气刮着大风,火势很强。刘钅长部队惊动来进犯,潘美指挥军队急忙迎击,刘钅长军队大败,潘美军队斩敌数万人。潘美指挥军队长驱直入攻到广州,刘钅长把他的府库都焚烧了,潘美军队于是攻克广州,擒俘刘钅长押送到京师,并向朝廷报捷。当天,朝廷任命潘美与尹崇珂同知广州兼市舶使。五月,任命潘美为山南东道节度使。五年(972),潘美兼任岭南道转运使。土豪周思琼纠聚民众依仗海域叛乱,潘美讨平他们,岭南于是安定下来。
七年(974),朝廷计划征伐江南。九月,派遣潘美与刘遇等将领率领军队先头到达江陵。十月,任命潘美为升州道行营都监,与曹彬一起出发,进驻秦淮。当时船只没有准备好,潘美下令说:“潘美接受诏令,指挥骁勇善战的军队数万人,期望能够一定获胜,怎能因为一条浅水所限而不敢直接渡过去呢?”于是指挥军队渡江,吴军被打败。到采石矶浮桥做成时,吴人用二十多艘战船敲响战鼓溯水而上乘机来攻。潘美指挥军队奋勇而战,夺取敌军的战舰,擒获敌军将领郑宾等七人,又攻破吴军城南的水营栅栏,分派水师驻守。上奏朝廷,太祖派遣使者赶快迁移战船,以防变故。潘美接到诏令马上迁移部队。这天夜晚,吴人果然来攻水营,未能成功。潘美进军金陵,江南水军、陆军共十万人在城下摆下阵势,潘美率领部队袭击,把吴军打得大败。李煜非常危急,派徐铉来请求迟缓作战,皇上没有答应,仍诏令诸将促令他归附。李煜迁延没有结果,连夜派部队数千人,手持火把击鼓来攻宋方军队。潘美率精锐军队与敌军短兵相接,趁机与大将军曹彬率领军队黎明攻城,分多道一齐进攻。金陵平定后,因为战功潘美被封为宣徽北院使。