一説によると、夏侯威が泰山郡に赴任した時、泰山郡の名門の御曹司だった若き日の羊祜を見て、その器量に惚れて兄の夏侯覇を説得し、姪（夏侯覇の娘）を嫁がせたという。後に義父の夏侯覇が司馬懿に反乱を起こし蜀漢に逃亡すると、多くの親族が夏侯覇に絶縁状を叩き付けた。だが、羊祜はかえって義父の身を案じて、憔悴した妻をよく慰め、慈悲と愛情を施した。

初め、曹爽が権勢を揮っていた頃、王沈から仕官を勧められた。しかし、羊祜は「（生死を尽くして）人に仕えるのは容易な事ではない」としてこれを断った。後に曹爽が誅殺されると、王沈も連座して官を剥奪された。王沈が改めて「羊君の言う事が正しかった」と言ったところ、羊祜は「初めに考えてどうこうというものではないのですよ」と答えたという。先見の明に優れた人であった。

 司馬昭が大将軍になると、義弟にあたる羊祜を召し出そうとしたが、羊祜はこれも断った。しかし公車（皇帝が召し出す車）による招聘があったので、ついに仕官することにした。中書侍郎・給事中・黄門郎となった。当時、曹髦（高貴郷公）が文芸を好んでいたため、羊祜は詩賦を多々献じた。和逌などが詩作を批判したが、羊祜はどちらにも積極的に近付かず、中立の態度を取った。識者は彼のこうした姿勢も評価したという。曹奐（元帝）が即位すると関中公に封じられ、鋸平六百戸を賜り、秘書監となった。一時、鍾会に憎まれ疎んぜられたが、鍾会が成都で殺害されると中央に復帰して従事中郎となり、国家機密を預かるまでになった。

司馬炎（武帝）の即位時、王沈・荀勗・裴秀・賈充とともに中心的役割を果たした。晋の成立後、中軍将軍・散騎常侍となり、郡公に昇格。封邑三千戸を賜ったが、これを固辞したため、爵位が侯に進んだ。泰始年間に尚書右僕射・衛将軍となった。当時、王佑や賈充といった顕官が権勢を揮っていたが、羊祜は専ら控えめな態度を取り、彼らと張り合うような事をしなかった。

 呉を滅ぼさんとした司馬炎（武帝）は、羊祜を都督荊州諸軍事に任命した。赴任した羊祜は民を慰撫し、呉の降伏者にも寛大な態度で臨むなどしたため、漢水の畔周辺や江夏において人心を得た。また、八百余頃を開墾して「十年之績」と呼ばれるまでの蓄えを確保するなど、内政・民政に手腕を発揮した。一方で、呉が何度か襄陽へ侵攻したため、計略を巡らせて呉の大将であった石城太守を罷免させるなど、軍略にも余念がなかった。後に車騎将軍まで昇進したが、司令官という立場でありながら、鎧を着けずに軽装で出歩くのを好んだ。ある時、徐胤という者から「閣下の身の安否は、国家の安否でもあるのです。軽々しい行動はお慎み下さい」と諫められたため、以後は控えるようになった。

 272年、呉の西陵督であった歩闡が、城を挙げて降伏してきた。呉の陸抗の討伐が甚だ迅速であったため、羊祜は機を逃すまいと考え西陵へ進軍した。江陵まで進んだ羊祜は、荊州刺史の楊肇を遣わして陸抗と対陣させた。しかし、陸抗の優れた知略用兵の前に撤退を余儀なくされ、歩闡を斬られてしまった。

帰国した羊祜は、責を負って平南将軍に降格された。しかしその他の者たちは特に目立った罰を受けていない。羊祜は以後も漢水周辺の経営にあたり、新しく五城を設けて石城以西を晋の勢力下に置いた。また呉への侵攻は許さず、専ら防衛を重視し、徒に紛争を起こす事を避けた。法規を遵守して徳治政治を行なったため、呉から流入する人々も多かった（呉は地方豪族たちの権限が強く、大土地所有制およびそれに基づく大規模な荘園開発が行われていた。このため、領民はよく過酷な収奪に遭っており、呉の末期は特にそれが深刻化し、国の弱体化に繋がっていた）。羊祜は、呉の武将たちへの対応にも気を払っており、彼らが投降しやすい状況を整えていた。また、来襲してきた呉将を斬った時は、丁重に遺体を送り返すなど礼を尽くしたため、呉の間でも「羊公」と呼ばれ、敬慕されていたという。

 咸寧年間、征南大将軍・儀同三司に任じられ、この頃から本格的に呉征伐に着手した。呉を攻める方法として水戦が有効だと考え、王濬を益州諸軍事に任命して、船の建造にあたらせた。また司馬炎（武帝）に対し呉討伐を上奏したが、朝議において反対に遭い、ついに許可されなかった。羊祜は悲嘆して「ああ、人生とは思うままにならぬものだ。今をおいて、いつ事を実行するというのだ」と言ったという。

その後、病を患って重くなり、後任に杜預を推挙して亡くなった。その日は酷寒であり、哭する人々の涙が氷となって頭髪に散ったという。羊祜が治めていた地域の人々は、市（市場）を畳んで慟哭したため、巷には泣き叫ぶ声が相連なった。晋の人々だけではなく、呉側の国境を守備する将兵たちも、羊公のために泣いたと伝えられる。

羊祜は清廉な人柄で、俸禄は九族や軍士に与え、余財を残さなかった。遺言においても、南城侯印を棺に入れる事を望まず、先祖の墓地に葬るという質素な形を取るように命じていた。しかし、司馬炎（武帝）はこれを許さず、洛陽城外の陵葬地の一画を羊祜の墓所として下賜し、葬列を大司馬門から送り出させた。

羊祜の死後、襄陽の人々が遺徳を偲んで「羊公碑」を建立した時、このような理由で峴山を場所として選んだ。この羊公碑は、その銘文を読めば誰もが羊祜を惜しんで泣いた、という事から、杜預によって「堕涙碑」と呼ばれるようになった。唐代、襄陽出身の詩人孟浩然が何度か詩に詠んでおり、李白も「君見ずや、晋朝羊公が一片の石」と詠じている。

ある時、過労のためか病気がちであった陸抗に対し、羊祜が薬を贈った。呉の武将たちが、敵からの贈り物など信用ならないと反対したが、陸抗は躊躇わずにそれを服用し、何の異常もなく平然としていた。後日、陸抗は薬の返礼として酒を贈り、羊祜もまた、毒見もせずに全て飲んだという。両者が信頼や信義というものを身をもって示す事は、このようであった。

この故事から、いかなる政治的な先入観にも囚われない私的な交誼を表す「羊陸之交」という成語ができた。

一説によると、夏侯威が泰山郡に赴任した時、泰山郡の名門の御曹司だった若き日の羊祜を見て、その器量に惚れて兄の夏侯覇を説得し、姪（夏侯覇の娘）を嫁がせたという。後に義父の夏侯覇が司馬懿に反乱を起こし蜀漢に逃亡すると、多くの親族が夏侯覇に絶縁状を叩き付けた。だが、羊祜はかえって義父の身を案じて、憔悴した妻をよく慰め、慈悲と愛情を施した。

初め、曹爽が権勢を揮っていた頃、王沈から仕官を勧められた。しかし、羊祜は「（生死を尽くして）人に仕えるのは容易な事ではない」としてこれを断った。後に曹爽が誅殺されると、王沈も連座して官を剥奪された。王沈が改めて「羊君の言う事が正しかった」と言ったところ、羊祜は「初めに考えてどうこうというものではないのですよ」と答えたという。先見の明に優れた人であった。

 司馬昭が大将軍になると、義弟にあたる羊祜を召し出そうとしたが、羊祜はこれも断った。しかし公車（皇帝が召し出す車）による招聘があったので、ついに仕官することにした。中書侍郎・給事中・黄門郎となった。当時、曹髦（高貴郷公）が文芸を好んでいたため、羊祜は詩賦を多々献じた。和逌などが詩作を批判したが、羊祜はどちらにも積極的に近付かず、中立の態度を取った。識者は彼のこうした姿勢も評価したという。曹奐（元帝）が即位すると関中公に封じられ、鋸平六百戸を賜り、秘書監となった。一時、鍾会に憎まれ疎んぜられたが、鍾会が成都で殺害されると中央に復帰して従事中郎となり、国家機密を預かるまでになった。

司馬炎（武帝）の即位時、王沈・荀勗・裴秀・賈充とともに中心的役割を果たした。晋の成立後、中軍将軍・散騎常侍となり、郡公に昇格。封邑三千戸を賜ったが、これを固辞したため、爵位が侯に進んだ。泰始年間に尚書右僕射・衛将軍となった。当時、王佑や賈充といった顕官が権勢を揮っていたが、羊祜は専ら控えめな態度を取り、彼らと張り合うような事をしなかった。

 呉を滅ぼさんとした司馬炎（武帝）は、羊祜を都督荊州諸軍事に任命した。赴任した羊祜は民を慰撫し、呉の降伏者にも寛大な態度で臨むなどしたため、漢水の畔周辺や江夏において人心を得た。また、八百余頃を開墾して「十年之績」と呼ばれるまでの蓄えを確保するなど、内政・民政に手腕を発揮した。一方で、呉が何度か襄陽へ侵攻したため、計略を巡らせて呉の大将であった石城太守を罷免させるなど、軍略にも余念がなかった。後に車騎将軍まで昇進したが、司令官という立場でありながら、鎧を着けずに軽装で出歩くのを好んだ。ある時、徐胤という者から「閣下の身の安否は、国家の安否でもあるのです。軽々しい行動はお慎み下さい」と諫められたため、以後は控えるようになった。

 272年、呉の西陵督であった歩闡が、城を挙げて降伏してきた。呉の陸抗の討伐が甚だ迅速であったため、羊祜は機を逃すまいと考え西陵へ進軍した。江陵まで進んだ羊祜は、荊州刺史の楊肇を遣わして陸抗と対陣させた。しかし、陸抗の優れた知略用兵の前に撤退を余儀なくされ、歩闡を斬られてしまった。

帰国した羊祜は、責を負って平南将軍に降格された。しかしその他の者たちは特に目立った罰を受けていない。羊祜は以後も漢水周辺の経営にあたり、新しく五城を設けて石城以西を晋の勢力下に置いた。また呉への侵攻は許さず、専ら防衛を重視し、徒に紛争を起こす事を避けた。法規を遵守して徳治政治を行なったため、呉から流入する人々も多かった（呉は地方豪族たちの権限が強く、大土地所有制およびそれに基づく大規模な荘園開発が行われていた。このため、領民はよく過酷な収奪に遭っており、呉の末期は特にそれが深刻化し、国の弱体化に繋がっていた）。羊祜は、呉の武将たちへの対応にも気を払っており、彼らが投降しやすい状況を整えていた。また、来襲してきた呉将を斬った時は、丁重に遺体を送り返すなど礼を尽くしたため、呉の間でも「羊公」と呼ばれ、敬慕されていたという。

 咸寧年間、征南大将軍・儀同三司に任じられ、この頃から本格的に呉征伐に着手した。呉を攻める方法として水戦が有効だと考え、王濬を益州諸軍事に任命して、船の建造にあたらせた。また司馬炎（武帝）に対し呉討伐を上奏したが、朝議において反対に遭い、ついに許可されなかった。羊祜は悲嘆して「ああ、人生とは思うままにならぬものだ。今をおいて、いつ事を実行するというのだ」と言ったという。

その後、病を患って重くなり、後任に杜預を推挙して亡くなった。その日は酷寒であり、哭する人々の涙が氷となって頭髪に散ったという。羊祜が治めていた地域の人々は、市（市場）を畳んで慟哭したため、巷には泣き叫ぶ声が相連なった。晋の人々だけではなく、呉側の国境を守備する将兵たちも、羊公のために泣いたと伝えられる。

羊祜は清廉な人柄で、俸禄は九族や軍士に与え、余財を残さなかった。遺言においても、南城侯印を棺に入れる事を望まず、先祖の墓地に葬るという質素な形を取るように命じていた。しかし、司馬炎（武帝）はこれを許さず、洛陽城外の陵葬地の一画を羊祜の墓所として下賜し、葬列を大司馬門から送り出させた。

羊祜の死後、襄陽の人々が遺徳を偲んで「羊公碑」を建立した時、このような理由で峴山を場所として選んだ。この羊公碑は、その銘文を読めば誰もが羊祜を惜しんで泣いた、という事から、杜預によって「堕涙碑」と呼ばれるようになった。唐代、襄陽出身の詩人孟浩然が何度か詩に詠んでおり、李白も「君見ずや、晋朝羊公が一片の石」と詠じている。

ある時、過労のためか病気がちであった陸抗に対し、羊祜が薬を贈った。呉の武将たちが、敵からの贈り物など信用ならないと反対したが、陸抗は躊躇わずにそれを服用し、何の異常もなく平然としていた。後日、陸抗は薬の返礼として酒を贈り、羊祜もまた、毒見もせずに全て飲んだという。両者が信頼や信義というものを身をもって示す事は、このようであった。

この故事から、いかなる政治的な先入観にも囚われない私的な交誼を表す「羊陸之交」という成語ができた。