唐朝时期，临江是渤海国西京鸭绿府所在地，同时也是鸭绿江流域的一个主要的水路码头。那时鸭绿江水运是这一带的主要货运、客运路线。临江至安东沿江设有很多船营、排卧子、货物中转站和指示塔。当时在临江城西近十里的江沿处就设有一个服务于上下航行的船营，起名“望江楼”，这就引出了一段动人的传说。
话说临江既然是一个大码头，当然船舶往来，客商不断，很是繁华热闹，这其中也就自然形成了一支船夫、纤夫、排夫的水上“大军”。他们也有组织(即帮会)，其总部就设在望江楼处，因而多数使船的、放排的就住在这里，这里便成了水上大军的指挥部。
这年渤海国向朝廷进贡，有些贡品要从鸭绿府装船运往安东，再装大船海运至天津进京，贡品在鸭绿府分装了二十只船艚，每只船艚配有十人，共有二百名船夫组成了这支运输队伍。他们选好日子，举行了庆典，二十只船便依次下行，一路顺风，三天后便到达安东。然而这里的海运船夫也不够用，于是，鸭绿府的二百名船夫，除留下二十名看船外，其余全被抓夫。当然这些事家人全不知晓，按常规七天就回，十天不归则有事。可这次七天已过，未见一人回，各家可就有些着急了。等十天还无一人还，就都沉不住气了，纷纷到望江楼眺望亲人。望啊望啊，日复一日，直到三十多天后，留下看船的二十人才好不容易回到临江，这才把消息带回来，各家也才把提到嗓子眼儿的心放下来。然而一个月又一个月过去了，被抓去的那些船夫仍无一人回。各家人望眼欲穿，其中有的到望江楼上哭喊亲人的名字，尤其是夜间，凄惨的声音在山谷中回荡，经久不息，让人心酸。
再说被抓夫的这些人，虽然是船夫，在江中行船可以大显身手，但到海上使船可就笨手笨脚了。却说船在大海中又遇上风浪，数只大船全都葬入海底，幸存者无几。当生还者把消息告知诸家后，各家哭得山崩地裂。从此后这些人家陆续搬走，决心不让自己的亲人再使船，其他各户也都金盆洗手，不再当船夫，此处也就渐渐萧条下来。然而就在众人纷纷搬走时，却有一位新婚的年轻女子说啥也不走，年复一年日复一日地在望江楼上等自己的丈夫回来。头发等白了，仍不见夫回，后来就坐化于望江楼上。又不知过了多少年，这楼和人均化作巨石，成为鸭绿江上一处著名的景观。现在的望江楼村便由此得名。