隋神門の伝説
神無月、全国の神々は出雲に集って神政を行うことになっていたが、ただ備後の吉備津宮のみが参集しなかった。
大国主命は心配し、二度にわたって使者を遣わしたが、その時吉備津宮は大祭のまっただ中であり、二度の使者はいずれも手厚い歓待を受けて役目を果たせず、そのまま吉備津宮に仕えて随神となった。
そのため吉備津宮には随神門が二つあるのである。
桜山四郎入道茲俊挙兵伝説
赤坂城で挙兵した楠正成公に呼応してこの備後宮内の地でも桜山四郎入道茲俊（これとし）公が挙兵。
一時は他国へ押し出そうかという勢いだったが、他に呼応する者なく、形勢が逆転して徐々に追い詰められ、最期は赤坂城落城の報を受けてもはやこれまでと、拠点としていた桜山に火をかけて自刃。
この火が延焼し、社殿は灰燼に帰した
遠藤事件
江戸時代の宝暦四年（1754）、吉備津神社の神宮寺は福山藩の寺社手代・遠藤忠平と癒着して神社の諸事を専断し、抗議した神職はことごとく禁獄、追放し、ついには神職に黒衣（僧衣）を着ることを強要し、吉備津宮は廃れてしまった。
神池の辺りの家から出火して火事になった際、急を告げる神社の鐘を鳴らしたが周囲に響かず大火となり人家がことごとく焼失、人々は明神の怒りであると噂した。
この事は遠藤忠平が上をごまかし下を脅して行ったものであると発覚、その子孫である二つの家はともに不慮のことで断絶したという。
