Лучше так и сказать - "Извините, у нас с вами ничего не получится" - это если он уже приехал.
Но, как правило, такие варианты, когда "не получится" определяются уже по телефону. Главное - поговорить с человеком хотя бы три минуты.