這讓維爾福的處境變得極為艱難，就連原本準備和他聯姻的德圣梅郎侯爵都想打退堂鼓。
如果失去這股勢力的支持，維爾福知道，自己肯定會萬劫不復，顧不得別的，只能把國王的賞識擺出來。
對此，德圣梅郎侯爵深感欣慰，并為女兒和他舉辦了婚禮。
婚后不久，他迫不及待申請調離，想離開馬賽。
然而已經來不及了，波拿巴的軍隊攻入馬賽，維爾福這個保王黨自然不會有什么好下場。
他和妻子以及德圣梅郎侯爵夫婦都被抓入牢中，等貝塔朗大元帥聽聞，他害了之前幫助他們給奴瓦蒂埃傳信的小伙子唐泰斯，就更不待見了，示意直接把人送入伊夫堡監獄，那是關押的地方，正適合他。
然而幸運的是，維爾福夫人竟然被查出懷孕，出于人道主義精神，新法官見了她一面。
趁著這次機會，維爾福讓夫人代為交出那本筆記本，說是幫父親保留下來，一直等待還給皇帝陛下的。
法官知道這是屬于波拿巴的東西，自然不敢擅自決定，把人重新關入牢中，然后帶著筆記本親自去見波拿巴。
對于這筆寶藏，波拿巴自然也是想要的，要不然也不會留給心腹諾瓦蒂埃和凱斯奈爾研究。
現在維爾福口口聲聲為了父親的遺愿，冒險留下來。
看在奴瓦蒂埃的面上，波拿巴決定放了他們一家，流亡到歐洲，不允許回到法國。
這對維爾福一家顯然是好事，雖然產業沒了，也沒錢，但命好歹保下來了。
維爾福和岳父岳母帶著懷孕的妻子，決定去投靠德圣梅郎侯爵的妹妹，嫁到瑞士的辛思奈夫人。
這位是有錢的寡婦，有三個子女，每個都成婚了。
在瑞士，維爾福一家人住在辛思奈夫人的莊園，和她的子女們一起。
不知怎么搞的，維爾福竟然和辛思奈夫人的女兒搞到一起，被捉奸在床。
辛思奈夫人很生氣，把他趕出了莊園，不過德圣梅郎侯爵一家倒是留下了，維爾福夫人已經懷孕五月，不適合顛沛流離。
維爾福身無分文被趕出來，無路可去，差點餓死街頭，日子過的凄慘極了。
唐泰斯派人看著他，不允許死了，也不允許過上好日子，總要償還他在牢中度過的那十四年
也不知道是在監獄里不見天日好，還是在外面受欺負，一次次失去崛起的希望好，反正唐泰斯要讓他窮困潦倒十四年，之后要是能活下來，就是他自己的造化。
“那筆記本又是怎么到你手里的”不是交給了波拿巴陛下了嗎，，