关于房屋退首付款违约金的计算方式，通常需依据具体合同约定来确定。若合同中有明确规定违约金的具体数额或计算比例，那么就按照该约定执行。例如，合同约定若买方退房，需按照首付款的一定比例支付违约金，如5%，则违约金数额为首付款金额乘以5%。若合同未明确约定，根据相关法律规定，一般会综合考量多种因素来判定。可能会参考违约行为给对方造成的实际损失，比如卖方因买方退房而产生的直接经济损失，包括另行寻找买家期间的房屋闲置损失、交易机会损失等。同时，也会考虑合同的履行程度、当事人的过错程度等。法院或仲裁机构在判定时，会秉持公平、合理的原则，以平衡双方利益。总之，房屋退首付款违约金的计算要遵循合同约定及法律规定，在具体案件中通过综合分析来准确确定。

以上是律师的法律建议，如有疑问，欢迎进一步咨询。