איך ניתן לקבוע זכויות בנכס כשבעל הנכס הרשום הוא חמי?

רכשנו קרקע ובנינו בית. חמי, מטעמים שונים רשום כבעל הנכס אבל אנחנו אלו שתיכננו את הבית, הקשר עם בעלי המקצוע, וגם שילמנו את רוב הכסף לבנייה. האבא שלו נתן לנו כספים לבניה - ללא כל תנאי מוקדם. עכשיו אנחנו מתגרשים והאבא רוצה שאחזיר לו את "חלקו"לבניה כי הוא רשום כבעל הנכס. עניין טכני לחלוטין. אנחנו גרים בבית מהיום הראשון - 3 שנים. מה הדין?