关羽单刀赴会的故事发生在 湖南省益阳市的大渡口。在《三国演义》中，这个故事被描述为关羽为了荆州之事和东吴将领鲁肃谈判，但最终达成了协议。尽管《三国演义》是一部历史小说，但关羽单刀赴会的情节在历史上确实存在，并且与鲁肃有关。

具体来说，建安二十年（215年），刘备占据益州后，孙权派人向刘备索要荆州。刘备拒绝了这一要求，并派关羽率军镇守荆州。为了解决这一争端，孙权派鲁肃邀请关羽前往吴国赴宴会。关羽明知这是一个圈套，但出于骄傲和勇气，他接受了邀请。在宴会上，鲁肃询问关羽何时归还荆州，但关羽没有回答。突然，关羽身后的周仓问鲁肃东风何时归还，这个意外的问题让鲁肃愣住了。关羽单刀赴会的故事展示了他的勇气和坚定信念，也展现了蜀汉将士们的英勇无畏。

因此，关羽单刀赴会的地点是现在的湖南省益阳市的大渡口。