桜田五輪相更迭、首相「参院選前でなくてまだ良かった」