だが、輪島の土俵人生に暗い影を落としたのは、本人の不祥事ではなく、身内の借金だった。実妹の相撲茶屋経営のため、親方株を担保にする不祥事を起こし、85年12月に廃業するハメとなる。前代未聞の大スキャンダルだったが、輪島は最後まで、後悔の弁を口にすることはなかった。生前、親しい記者にこう話している。
「ずっと相撲が強くて、ごっつあんですってやってきたでしょう。本を読むのも嫌いだが、数字の計算はもっと嫌なんだよ。ごっつあんですで通じて、それでやってきたのが、気がつけば自分の借金にされちゃったんだ。最初、担保って言葉もよく知らなかった。あとで聞いて、ちょっとまずいなと思っていたんだよ。それが本当にまずくなっちゃった。高い授業料だったよ」
今でも語りぐさになっているものに、断髪式での一幕がある。相撲関係者が声を潜めて言う。
「輪島の引退相撲の時でした。髷に多くの人がハサミを入れるため、各界の有名人が土俵に上がってゆく。すると、コワモテの若い衆が親分を守るように、周りを囲んでいる。土俵に上がっていたのは、任侠の世界で有名な大物親分でした。各界で立場ある人が集まる引退相撲。時代を象徴するような光景でした」
当時、相撲界と任侠の世界は公然と交際していた。なにしろ、相撲の興行には山口組が欠かせず、興行のテントには山菱の代紋が躍っていた。そんな時代だったのである。
だが、天真爛漫ながら世間知らずの元横綱に対して、社会の風は厳しかった。窮地の輪島に手を差し伸べたのはいずれも、出身の日大人脈だった。4億円もの借金を抱えた輪島は翌86年4月、ジャイアント馬場率いる「全日本プロレス」に入門。その際には、日大と花籠部屋で後輩だった石川敬士（現・孝志）が窓口となって奔走。入門後はデビューまで、身の回りの世話を担当した。38歳の「新弟子」に、プロレス流の処世術を伝授したという。
「石川にとって、輪島はいわば天上の人。ところが、その大横綱が定期券を買って練習場まで通っていたことに感激して、デビューまでつきっきりで世話をしていたほど。慣れない『新弟子』の輪島は、横綱時代のクセが抜けきれず、荷物を置いてそのまま移動しようとしたり、料理の際には石川に注文を頼んだりしたが、それをたしなめ、一兵卒から徹底的に仕込んで、デビュー後もタッグパートナーを務めていた。プロレス生活は2年ほどでしたが、引退する際も輪島と石川は同時期にしたほどで、まさに先輩後輩を超えた間柄だった」（プロレス記者）
わずか2年ほどでプロレスを引退後、浪人生活を送っていた輪島に助け舟を出したのも日大相撲部の1年先輩であった田中英寿氏。現在は日大の理事長で、一連の「アメフト部の不祥事」で、その責任を問われつつも最後までマスコミの前に姿を現さなかった「日大のドン」その人である。
「自分はプロに行きます、先輩はアマチュアで頑張ってください」
これは輪島が大相撲入りする際の有名なセリフで、廃業後には、アマチュアスポーツの世界から声がかかっていたが、これも全て田中氏の人脈を頼って実現したものばかりだった。
「学生援護会がアメリカンフットボールチームを創設した91年に総監督に就任したのも、日大アメフト部の監督だった篠竹幹夫氏を田中氏が紹介したのがきっかけ。さらにはアマ相撲のキューバナショナルチームの監督の仕事も、田中氏の紹介で決まったほどでした。プロレス引退後、バラエティー番組などでも活躍したものの、徐々に仕事が減っていた輪島にはありがたかったはずですよ」（スポーツ紙デスク）
破天荒な人生を送った輪島を、あしざまに言う人はあまりいなかった。いや、むしろ天真爛漫なキャラクターは誰からも愛されたのだ。好角家の漫画家、やくみつる氏も言う。
「いろいろ問題を起こしたが、相撲界を離れてからも仕事を紹介したりする人がいたのは、天真爛漫なキャラクターゆえではないか。私も一度対談したことがあるが、魅力ある人でした」
