双方都有家庭，如男女双方自愿同居，属于情人关系是否违法？

法律不会禁止情侣同居的行为，也不会对其同居的行为进行罚款，如果男女双方未在婚姻登记机关进行婚姻登记手续却以夫妻名义共同居住生活的属于非法同居。没有经过结婚登记的双方没有法律上夫妻婚姻关系，不适用有关夫妻之间的法律调整。法律依据：《最高人民法院关于适用婚姻家庭编的解释
（一）》第三条 
当事人提起诉讼仅请求解除同居关系的，人民法院不予受理；已经受理的，裁定驳回起诉。
当事人因同居期间财产分割或者子女抚养纠纷提起诉讼的，人民法院应当受理。
第七条 
未依据民法典第一千零四十九条规定办理结婚登记而以夫妻名义共同生活的男女，提起诉讼要求离婚的，应当区别对待：
（一）1994年2月1日民政部《婚姻登记管理条例》公布实施以前，男女双方已经符合结婚实质要件的，按事实婚姻处理。
（二）1994年2月1日民政部《婚姻登记管理条例》公布实施以后，男女双方符合结婚实质要件的，人民法院应当告知其补办结婚登记。未补办结婚登记的，依据本解释第三条规定处理。

夫妻双方感情破裂一方跟别人同居违法，已经构成婚姻存续关系中的过错行为，离婚诉讼中无过错方基于其过错行为，可以找过错方的配偶索要离婚损害赔偿，法院在分割财产时也会照顾无过错方让其多分得财产。法律依据：《民法典》第一千零九十一条
有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。　　
《最高人民法院关于适用婚姻家庭编的解释
（一）》第八十七条
承担民法典第一千零九十一条规定的损害赔偿责任的主体，为离婚诉讼当事人中无过错方的配偶。
人民法院判决不准离婚的案件，对于当事人基于民法典第一千零九十一条提出的损害赔偿请求，不予支持。
在婚姻关系存续期间，当事人不起诉离婚而单独依据民法典第一千零九十一条提起损害赔偿请求的，人民法院不予受理。

非法同居行为分为无配偶者与他人同居和有配偶者与他人同居两种，双方都是无配偶者的，同居不违法；一方有配偶者与他人同居的，同居违法。未婚同居是指男女双方以非夫妻名义公开或秘密地共同生活在一起的两性关系，目前该种关系在我国不受法律保护，一方或双方都有配偶的同居行为属于违法行为，情节严重的还会构成重婚罪，受到法律的制裁。
未婚同居是否违法，首先要看非法同居的范围。
法律依据：
《刑法》第二百五十八条 重婚罪
有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。