当时张裕是刘璋手下的副手，刘璋因为顾忌曹操，便请刘备入川，张裕带头反对。因为张裕知道，刘备是乱世枭雄，一旦和刘备玩，刘璋肯定不是对手。那刘璋只因为想让刘备出手，与曹操抗衡，哪里知道其中的厉害，因此拒不接受臣下的直言劝谏。不久刘备顺利入川，张裕作为益州别驾从事陪同刘璋到涪城接见刘备，侍坐在一旁。张裕脸上有着浓密的胡须 ，刘备就 嘲笑他说：“昔日我居住在涿县，特别多姓毛的，东西南北都是毛姓，涿县县令称他们说‘这不是诸毛绕涿居吗’！”张裕听后立即反嘲说：“昔日有一位担任上党 郡潞县长，后来被升迁为涿县县令的人，辞官还家，当时有人给他写信，想要署名称呼他为潞县县长，但这样一来就漏了他涿县县令的称呼；想要署名称呼他为涿县 县令，但这样一来就漏了他潞县县长的称呼，于是特别称呼他为‘潞涿君’。”刘备没有胡须，所以张裕用这来讥讽他。刘备一听，此人如此狂妄，心里大怒，但是 因为自己还不是蜀汉的主人，就把怒火往下压了压。

   三年后，刘备顺利架空了刘璋，自己成了汉中王。此时刘备心情高兴，大肆擢用刘璋部下文武官员，让他们人尽其能，张裕也被任命为州后部司马。那张裕心里哪晓得刘备心中撞着个小九九，当时刘备想要跟曹操争 夺汉中，问周群，周群回答说：“能得到汉中的土地，但是却得不到汉中的百姓。如果派出偏军，一定会不利的，您一定要戒备谨慎这件事啊！”张裕也劝谏说： “您不可以去争夺汉中的，大军前去一定会遇到不利的。”刘备竟然不听从张裕的劝谏，果然只得到汉中却得不到汉中的百姓。派遣去攻打武都的吴兰、雷铜二位大将也都全军覆没，一切都和张裕、周群所说的一样。但不公平的是，刘备只封赏了周群，举荐他为茂才，却一点都不封赏给张裕。