Кучу раз использовал ВП на разных хостингах, таких проблем не возникало. Делаю вывод - дело в хостинге, поинтересуйтесь у саппорта как обстоят дела с нагрузкой на ваше сервере. (Я так понимаю у страждущих не выделенный, а виртуальный).
Среди прочих вещей - кеширование, Zend Optimizer, написание собственного простенького движка.