Franciszek Karpiński w swoich Pamiętnikach go nie oszczędza:
„Oczy jego najdziksze, wzrost i mowa olbrzymia wstręt do niego czyniły. (...) Dotąd stawa w pamięci mojej nadzwyczajna postać jego. Wzrost prawie olbrzymi, twarz rumiana, zawiedła”.
Nie bez wpływu na ten wygląd, na rumianą i zawiedłą jednocześnie twarz miała namiętność starosty kaniowskiego do trunków.
Tego właśnie tyczy się anegdota zanotowana przez Cieszkowskiego.
Będąc więc na trybunale w Lublinie, pan Potocki nie mógł się przed słodkim nałogiem powstrzymać. Podczas salwowania sesji udał się więc do piwnicy z szynkarką, naprzeciwko gmachu trybunalskiego, aby tam w spokoju swoim zwyczajem pociągnąć miodu.
Wyjście jego – pechowo dla jegomościa – zostało zauważone. Oficer warty podpatrzył, jak ów chowa się do lochu i postanowił narobić mu wstydu. Kiedy tylko Potocki z lochu głowę wychylił, próbując cichaczem powrócić na obrady, oficer jak nie krzyknie: „Do broni!” – do żołnierzy, którzy pełnili w pobliżu wartę honorową.
I musiał się schować Potocki. Postanowił przeczekać. Nic to jednak nie dało, bo za każdym wychyleniem głowy, słyszał owe „do broni!” i cofał się w popłochu. Trwało to jakiś czas, aż w końcu zniecierpliwiony starosta wpadł na pomysł niezbyt wymyślny, lecz skuteczny.
Posłał przez szynkarkę panu oficerowi kilkanaście dukatów wraz z prośbą, aby mu pozwolił incognito – bez wstydu i utraty honoru – wydostać się z nieszczęsnej piwnicy.
Tak obdarowany oficer nie robił już przeszkód i mości pan Potocki powrócił na obrady.
Inna opowieść o okrutnym staroście i jego „honorowym” postępku pochodzi spod pióra Niemcewicza: „Gdy zabił w r.1730 sąsiadowi Żyda, a ten się o to skarżył, na duży drabiniasty wóz kazał nawalić Żydów, zawieźć ich przed bramę sąsiada i wóz wywrócić, a w liście były te słowa: »Za jednego pięćdziesiąt. Waszmości brat i sługa«”.
Ten okrutny antysemityzm charakteryzuje nie tylko starostę kaniowskiego, był na ów czas niestety dosyć powszechny.
