唐京兆万年人。

韦述从子。

少警悟，工诗，李白异之，授以古乐府。

去为道士，更为僧，已而还俗。

德宗时累官四门博士。

贞元十二年四月，帝诞日，诏儒臣与佛老并对，质问大趣，渠牟有口辩，虽于三家未究解，然答问锋生，捷口水注，德宗为之意动。

迁秘书郎，进诗七百言。

寻迁右补阙、谏议大夫，恩宠甚厚。

陆贽免相后，德宗倚信裴延龄及渠牟等，时渠牟张恩势以动天下，权侔人主。

官终太常卿。

卒谥忠。

有诗集。