我打算单方面的解除这份委托代理合同，这个要怎么做啊？需要交违约金吗？

委托代理合同　　第一条被代理人授权代理人在下列范围内以被代理人的名义从事活动：　　(委托代理的权限和具体内容)　　第二条代理人必须按照被代理人的授权委托的范围和内容，认真履行职责，维护被代理人的合法权益。　　第三条代理人超越代理权实施的民事行为，由代理人自己承担法律责任。
如果是为了被代理人的权益而实施的行为，事后经过被代理人的追认，视为在代理权限内。　　第四条代理人不履行职责或者其它违法行为而给被代理人造成损害的，应当赔偿被代理人的实际损失。
　　第五条被代理人按照(双方约定的条件)，在期限内，支付代理费元。　　第六条本协议自双方签字之日起生效。本协议一式份，当事人各执一份。　　代理人：　　(签字或盖章)　　被代理人：　　(签字或盖章)　　年月日

委托代订合同有如下法律责任：　　第一，代理人和被代理人之间负。委托书授权不明的，代理人应当向第三人承担民事责任，代理人负连带责任。如果代理人知道被委托代理的事项违法仍然进行代理活动的，由被代理人和代理人负连带责任。　　第二，代理人不履行代理职责，损害被代理人利益的责任。如果代理人以被代理人的名义同自己或者同自己所代理的其他人进行民事活动造成损失的，应当承担民事责任。这种情况实际上是代理人独断代理行为。如果代理人和第三人串通，损害被代理人的利益的，由代理人第三人负连带责任。　　第三，无权代理造成损害的责任。如果没有代理权、超越代理权或者代理权终止后的代理行为，只有经过被代理人的追认，被代理人才承担法律责任。未经追认的行为，由行为人承担法律责任。如果本人知道他人以本人的名义实施民事行为而不作否认表示的，视为同意。如果第三人知道行为人没有代理权;超越代理权或者代理权已经终止还与行为人实施民事行为给他人造成损失的，由第三人和行为人负连带责任。　　代理人为了维护被代理人的利益，可以将自己取得的代理权转托他人。转托他人代理的，应当事先取得被代理人的同意。事先没有取得被代理人的同意，应当在事后及时告诉被代理人，如果被代理人不同意，由代理人对自己所转托的人的行为负法律责任。但在紧急情况下，为了保护被代理人的利益而转托他人代理的，不受这个限制。　　属于因无效代理的，包括以下情况：　　
1、无权代理人订立的未经被代理人追认的合同;　　
2、代理人以被代理的人名义同自己签订的合同;　　
3、代理人以被代理人的名义同自己代理的其他人签订的合同;　　
4、代理人与对方通谋签订的损害被代理人利益的合同。

1、你与中介公司之间存在合同关系，中介公司未按照合同约定支付您租金，则属于中介公司违约，中介公司应承担相应违约责任。
2、中介公司违约，您是否当然享有解除合同的权利，则不一定。首先，要看您和中介公司合同约定。即您解除合同权利的条件是否与合同约定情形相符；其次，存在明显使当初订立合同目的无法实现的违约情形，你也有权解除合同，并要求中介公司承担违约责任。
3、您作为房屋所有人，你在任何时候，均有权强行收回房屋。不过，您若自身存在违约行为，或是您无合法解除合同的权利，您若强行收回房屋，可能要承担相应民事赔偿责任。