第一，基于您的描述，当时离婚的时候双方达成了离婚协议：房子归他，他给您九万元。基于此，你们才办的离婚。此协议是你们双方的真实意思表示，并且民政局也有备案（协议离婚）。根据《最高人民法院关于适用中华人民共和国婚姻法》若干问题的解释（二）第8条第1款的规定：“离婚协议中关于财产分割的条款或者当事人因离婚就财产分割达成的协议，对男女双方具有法律约束力。”故他既然获得房产，就应当给你九万元。如果他不给，你可以依据此协议去法院起诉。

第二，至于他说的让你还钱的问题。《最高人民法院关于适用中华人民共和国婚姻法》若干问题的解释（二）第9条：“男女双方协议离婚后一年内就财产分割问题反悔，请求变更或者撤销财产分割协议的，人民法院应当受理。人民法院审理后，未发现订立财产分割协议时存在欺诈、胁迫等情形的，应当依法驳回当事人的诉讼请求。”现离婚后，财产均已分割完毕，你前夫并未提起诉讼推翻之前的离婚协议，故此债务与你无管。现在你们已经离婚，其真实性无从考证，可能只是不给你钱的托词。

总之，本律师认为，是否还钱应当以当时达成的离婚协议为准。基于此协议，他应当给你九万元。