明浙江崇德人，字廷芳。

成化二年进士。

初冒姓钟，至此始复潘姓。

授刑部主事。

弘治中，以右副都御史巡抚四川，兼提督松潘军务，为边民所服。

十四年，以右都御史总督两广。

裁帐下冗吏，镇压海南黎族符南蛇起事，平定广西思恩、田州二岑仇杀事。

正德元年召为南京刑部尚书，致仕归。

而田州岑氏复叛，遂以措置不善为罪，谪戍肃州。

刘瑾诛，以原官致仕。