进退两难

在1847年的旱季，这一地区格外的冷，英国人终于松了口气。但与殖民者保持良好关系的依外加人遭遇了流感，大量死亡。像往常一样，巴基斯人来了，没有定居下来。这是一个进退两难的境地：如果殖民地没有发展，其贸易潜力不足以让渔民将这里作为永久基地，但如果他们没人在这里定居，殖民地就没有机会摆脱作为临时军事营地的身份。1847年12月，英国政府好像在远方看到了这种困境，将北澳大利亚作为殖民地的通告被撤销。

格雷伯爵接替格莱斯顿担任殖民部长时，维多利亚的命运就被注定了。格雷说服范迪门地继续接收罪犯，同时正在酝酿向天鹅河运送罪犯的计划，这里后来成了西澳大利亚。艾辛顿港则被认为不适合，因为那里气候恶劣，而且罪犯有很多机会可以逃跑。

因为疟疾的流行，这个殖民地变得毫无生气。著名自然学家托马斯·赫胥黎于1849年到访了维多利亚，将这里描述为“极其悲惨的地方，气候极不健康，人们的生活极不舒适，房屋腐朽不堪”。这时，英国政府最终决定放弃这一定居地。

印度与澳大利亚蒸汽船公司向英国政府报告，称艾辛顿远离公司所建议的前往澳大利亚的路线，因此排除了将这里作为加煤港的可能性。11月13日，皇家海军米安德号抵达殖民地。这艘战舰带来了遗弃维多利亚的命令。17天之后，这里就被抛弃了。

1869年北澳大利亚最终有了第一个永久性殖民地，它建立在西南部帕麦斯顿（今天的达尔文），但再也没有人来艾辛顿港定居。今天，维多利亚的废墟坐落在加里格·古纳克·巴尔鲁（Garig Gunak Barlu）国家公园中，克服困难到达那里的游客能够一饱眼福。