Предложения такие:
1. Список тем - это именно список тем. По одной-две строчке на тему. По-умолчанию дерево не разворачиваем. Можно сбоку приписать "есть новые сообщения в теме".
2. Открываем тему (в отдельной странице или нажав на "плюсик" слева от темы и подгрузив дерево средствами ajax прямо на главной) и видим в развернутом виде только непрочитанные сообщения и их пути по ветвям до корня. Все остальные ветви - свернуты и могут разворачиваться по нажатию на "+" слева от сообщения. Javascript-кухня всего этого дела вполне себе реализуется на jQuery.
3. Отказаться от использования темы сообщения - использовать только тело. Для того, чтобы сообщение не растягивало дерево слишком сильно, дать возможность ставить спойлер. Если тег спойлера в сообщении отсутствует (т.е. автор сообщения о корректности не позаботился), резать текст, скажем, по 100-200 символам. Также в спойлер принудительно запихивать картинки, видео, iframe и пр.