设置的文本设置为html代码即可。例如:
String disText='<html><HTML><body style=color:red>Tooltip in <br> Multiline</body></html>';
JLabel lbl=new JLabel(disText);