當時張裕是劉璋手下的副手，劉璋因為顧忌曹操，便請劉備入川，張裕帶頭反對。因為張裕知道，劉備是亂世梟雄，一旦和劉備玩，劉璋肯定不是對手。那劉璋只因為想讓劉備出手，與曹操抗衡，哪裡知道其中的厲害，因此拒不接受臣下的直言勸諫。不久劉備順利入川，張裕作為益州別駕從事陪同劉璋到涪城接見劉備，侍坐在一旁。張裕臉上有着濃密的鬍鬚 ，劉備就 嘲笑他說：“昔日我居住在涿縣，特別多姓毛的，東西南北都是毛姓，涿縣縣令稱他們說‘這不是諸毛繞涿居嗎’！”張裕聽後立即反嘲說：“昔日有一位擔任上黨 郡潞縣長，後來被升遷為涿縣縣令的人，辭官還家，當時有人給他寫信，想要署名稱呼他為潞縣縣長，但這樣一來就漏了他涿縣縣令的稱呼；想要署名稱呼他為涿縣 縣令，但這樣一來就漏了他潞縣縣長的稱呼，於是特別稱呼他為‘潞涿君’。”劉備沒有鬍鬚，所以張裕用這來譏諷他。劉備一聽，此人如此狂妄，心裡大怒，但是 因為自己還不是蜀漢的主人，就把怒火往下壓了壓。

   三年後，劉備順利架空了劉璋，自己成了漢中王。此時劉備心情高興，大肆擢用劉璋部下文武官員，讓他們人盡其能，張裕也被任命為州後部司馬。那張裕心裡哪曉得劉備心中撞着個小九九，當時劉備想要跟曹操爭 奪漢中，問周群，周群回答說：“能得到漢中的土地，但是卻得不到漢中的百姓。如果派出偏軍，一定會不利的，您一定要戒備謹慎這件事啊！”張裕也勸諫說： “您不可以去爭奪漢中的，大軍前去一定會遇到不利的。”劉備竟然不聽從張裕的勸諫，果然只得到漢中卻得不到漢中的百姓。派遣去攻打武都的吳蘭、雷銅二位大將也都全軍覆沒，一切都和張裕、周群所說的一樣。但不公平的是，劉備只封賞了周群，舉薦他為茂才，卻一點都不封賞給張裕。