而这柳述，人也不错，是杨坚好几个婿中很受恩宠的一个，其曾被封官兵部尚书，但不久因丁父忧去职。
但尽孝期满，又仍然官复原职，可见杨坚搞起任人唯亲来，一点也不含糊。
但是，这柳述却因为一直得到杨坚的宠信，在后来却惹祸上身，原因是他得罪了杨坚的儿子，他的大舅子杨广。
事情的起因是这样的：仁寿四年（公元604年）四月，杨坚养病仁寿宫，太子杨广、柳述、杨素及黄门侍郎（即负责侍从皇帝，在皇帝和大臣们之间传话的官，因掌握机密文字，位置很重要）元岩等大臣，守在边上。
没想到太子杨广，乘这个机会，去非礼陈贵人。
杨坚知道后大怒，命柳述、元岩二人，准备敕书，敕书即任官封爵和告诫臣僚的文书，要诏房陵（今房县，位于湖北省西北部、十堰市南部）王杨勇前来，他是太子杨广的哥哥前，准备废太子杨广。
杨素是杨广的死党，闻讯后，二人谋划制造伪诏，这是杨广的老子也干过，所以干起来，一点惭愧都没有，而杨坚因为大怒，看起来是不行了，所以这道伪诏是赐杨勇死，而把柳述和元岩两位知者，下了大牢。
虽然杨坚是三个月后，即仁寿四年七月，才驾崩的。
但太子杨广，有杨素帮忙，想干什么，无人敢说。
这大舅子成功登位后，妹夫柳述被流贬到惠州（广东省东南部，珠江三角洲东北端），并责令兰陵公主改嫁，嫁给杨广自己的妃子之弟，即他的小舅子萧玚。
这事当初也有点怪杨坚，因为他曾经答应过杨广但后来又改了主意。
