"каждый Ваш шаг без консультации с юристом - это шаг к тюрьме"

ни разу не стебаюсь - могу понять, как ТС, так и его кредитора. но вам однозначно следует приглашать на все переговоры с заимодавцев юриста. это раз. на провокации не поддаваться ни в коем случае. это два. обязательно затребуйте на следующих переговорах с него вашу первую расписку о взятии взаймы. три.
сверьте ее со своими выплатами ему - и если в расписке не указаны проценты за пользованием займом (если есть - то чел еще и должен будет подоходный заплатить - раз и ростовщичество, вообще, вне закона у нас - два - кредитовать могут только кредитные учреждения со специальной лицензией), то, выявив, что вы ему уже de juro ничего не должны, спокойно закрывайте тему и предлагайте все дальнейшие спорные вопросы решать через суд. в случае его отказа от подобной тактики - сами идите в милицию и пишите на него заявление по факту вымогательства и угроз.
отпишитесь, как у вас идут дела - интересно же, чем эпопея закончится.