2人の間の障壁となったのは、吉永の父親だった。
「あんな男じゃ、お前が苦労するのは目に見えている」と猛反対。吉永につきまとって、渡を近寄らせなくしたのだった。吉永は渡との結婚を認めてもらおうと再三、両親の説得を試みたものの、抗しきれず。
「吉永にとって『初めての男』と言われた渡との大恋愛は、2年余りで破局を迎えた」（映画関係者）
そんな渡が最後まで希望していたのが、吉永との共演だった。日活黄金期を支えた「恋人」の死に、吉永は直筆の追悼コメントを寄せている。
71年、日活がロマンポルノ路線に舵を切ると、渡は日活の専属を離れ、石原プロモーションに入社する。日活の先輩として尊敬していた石原裕次郎を慕ってのことだった。ところが──。
「これ、皆さんのお茶代に使ってください」
渡は入社の際、経営難に直面していた石原プロのために、当時の全財産である180万円（サラリーマンの年収4年分）を裕次郎に差し出した。裕次郎は「気持ちだけ受け取った」と、のちに明かしている。
「その頃、渡ほどのスターを各社が放っておくはずはなく、松竹や東宝で主演作が次々と公開されました。中でも獲得に熱心だったのが、アウトロー映画の総本山たる『東映』。当時の岡田茂社長以下、あの手この手で渡の引き抜きに奔走しています」（映画関係者）
名物プロデューサーだった日下部五朗氏は、渡の東映移籍第1弾として「仁義なき戦い」（73年）の主役を用意したことも本誌に明かしている。だが岡田社長直々にセッティングした会食の席で口説かれた際、渡は裕次郎への恩を理由に、きっぱりと断ったという。
映画産業の斜陽化に伴い、石原プロは8億円とも言われる負債を背負うことになる。その窮地を救ったのがテレビ界への進出であり、「大都会」「西部警察」などの大ヒットだったのだ。
「その後も石原プロの危機はありました。渡はそこでも私財を注ぎ込んで、会社を存続させるべく奔走。特にここ10年ほどは予算の大きな制作関連の仕事もさほどなく、大所帯の石原軍団を維持していくのはかなり大変だったと聞いています。そこで渡のCM出演料などを事務所の回転資金に充てていたとか。もともと、ドラマなどの制作を請け負って軍団所属俳優を起用するビジネスモデルだっただけに、ジリ貧状態になっていた。ただ、裕次郎さんの『俺の死後は事務所をすぐに解散させろ』という遺言を破り、存続にこだわった。それだけに、裕次郎さんの33回忌までは事務所は畳めない、という渡さんなりのけじめがあったそうです」（芸能関係者）
