我是农村的，家里有一块宅基地，上面有两栋房屋，两个月前，有人买其中一栋，当时口头约定，别人付两万八千元预付款，我给别人办房产证，办好房产证，再付清二十六万余款，当时收到预付款后，我给别人打了一张收据，后来，虽然我多方努力,但因政策问题房产证办不下来，我就找到买房人，说房产证办不下来，把预付款退还给他，这时他不收回预付款，并且要我赔偿他一万元损失费，请问我该怎么办？我当时收据上写的是:"今收到房屋预付款两万八千元,还欠二十六万",就只签了我的名字,上面也没有签他的名字,我有没有办法减少损失呢?购房人和我是一个乡镇的,网上说这个协议有效,这个协议是否真的有效