есть шутки с соблюдением дистанции, которые воспринимаются как юмор
а есть откровенно пренебрежительно-покуистическое отношение на грани хамства, что и было в данном случае
если нет желания общаться с собеседником, то можно об этом сказать прямо, а не демонстрировать свой плоский юмор на грани деревенского быдла