司马炎受禅称帝，建立西晋王朝，史称晋武帝。因为羊祜有扶立之功，被进号为中军将军，加散骑常侍，进爵为郡公，食邑三千户。羊祜怕引起贾充等权臣的妒嫉，固让封公，只受侯爵，于是，由本爵钜平子进封为侯，设置郎中令，备设九官之职，并授给他的夫人印绶。

泰始初年，司马炎下诏，现任羊祜作尚书右仆射、卫将军。

司马炎称帝后，素有吞吴之志。便积极筹划消灭孙吴政权的战争，以实现统一全国的大业。任命大将军卫瓘、司马伷（zhòu）分镇临淄、下邳（pī），加强对孙吴的军事布置以外，又特地调任羊祜为荆州诸军都督，假节，并保留他散骑常侍、卫将军原官不变。

…… ……

羊祜到任后，发现荆州的形势并不稳固。不但百姓的生活不够安定，就连戍兵的军粮也不充足。于是，羊祜首先把精力放在开发荆州方面。

羊祜大量开办学校，兴办教育，安抚百姓，怀来远人。并与吴国人开诚相待，凡投降之人，去留可由自己决定。

吴国石城驻军离襄阳七百多里，常常侵扰边境。羊祜深以为患，于是巧用计谋，使吴国撤销了守备。然后羊祜把军队分作两半，一半执行巡逻戍守的军事任务，一半垦田。

当年，全军共垦田八百余顷。羊祜刚来时，军队连一百的粮食都没有，到后来，粮食积蓄可用十年。

羊祜的这些措施迅速地安定了荆州的社会秩序，增强了军队的战斗力。司马炎为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将的职务，负责指挥汉东江夏地区的全部军队。

羊祜在军中，常穿着轻暖的皮裘，系着宽缓的衣带，不穿铠甲。铃阁之下，应命侍卫的士卒也不过十几个人。

不久，羊祜又被加封为车骑将军，并受到开府如三司之仪的特殊待遇。

羊祜表固辞。

但朝廷未同意他的辞让。这一年，羊祜四十九岁。

…… ……

泰始六年(270年)，吴国在荆州的都督换了名将陆抗。

陆抗的到来，引起羊祜的警惕和不安。因此，他一面加紧在荆州进行军事布置；一面向司马炎密呈奏表。密表建议，伐吴战争必须利用长江游的便利条件，在益州(今四川地区)大办水军。

泰始八年(272年)八月，吴主孙皓解除西陵(今湖北宜昌)督步阐的职务。步阐因害怕被杀，拒绝返回建邺，当年九月，献城降晋。

陆抗闻讯，立即派兵围攻西陵。

晋武帝命令羊祜和巴西监军徐胤各率军分别攻打江陵(今湖北江陵)和建平(今四川巫县)，从东西两面分散陆抗的兵力，以实现由荆州刺史杨肇直接去西陵救援步阐的计划。

但陆抗破坏了江陵以北的道路，五万晋军粮秣的运输发生困难，再加江陵城防坚固，不易攻打，羊祜顿兵于城下，不能前进。

杨肇兵少粮悬，被陆抗击败，步阐城陷族诛。

有司奏，“羊祜违背诏命，没有大将节操，应免去官职，保留侯爵回府第闲居。”

结果，羊祜因此被贬为平南将军，杨肇则被贬为平民。

…… ……

西陵救援失利后，羊祜总结教训，采取军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。

鉴于历史孟献子经营武牢而郑人畏惧，晏（yan）弱筑城东阳而莱子降服的经验，羊祜挥兵挺进，占据了荆州以东的战略要地，先后建立五座城池。并以此为依托，占据肥沃土地，夺取吴人资财。

于是，石城以西均晋国占有，吴人来降者源源不绝。

羊祜于是实施怀柔、攻心之计。

吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。

邓香感恩，率其部属归降。

羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。

打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。

羊祜这些作法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。