Mi padre: rechazo afectivo y sus efectos sobre mi

Tengo casi 25 años. Estoy solo con ella desde la separatismo de mis viejos . intenta pude arreglar la situación judicialmente. Me tiene la guarda y custodia, la patria potestad es compartida. Seria un  régimen de visitas es un fin de semana alterno y la mitad de las vacaciones. El problema es que soy discapacitado  no quiere ir con mi padre,dijo que quiere verlo porque a el intereso amorosamente. 
Ahora estoy  con mi madre, lo llamado un par de veces  al  no buena repuesta me enojo furioso y le dio bajito que quiere volver a vivir ni volver ver.
Que decir a esto, me te rompe el corazón, es como si te pidiese ayuda y no puedes haces nada...
Solo que trata de super educarlo en un momento,me entienden: me siento bien,no grito,come bien, y después de todo eso quiere se  alegre andando,así que cuando llega conmigo ya sabrán que yo me se volver loquito,habla por los codos,quiere  toda la noche jodo con compu,empieza a portarse chiflado y rechaza cuando le doy una orden. Y así que en eso estoy,quiero que empiece una verdadera relación con su padre,pero cuando lo veo vengo con cable pelados y pela con mi vieja hasta enloquecerla 
Bueno, pero por favor si alguien sabe o me puede ayudar al respecto lo agradecería muchísimo.
Gracias a todos,
Rodolfo Perez (Hijo con síndrome de asperger)