Eine Auswahl besteht bei einem ListView aus zwei Zuständen: Fokussiert und Markiert. Um die aktuelle Markierung aufzuheben:

ListView1.SelectedItem.Selected = False

Jetzt ist nur noch das Fokusrechteck zu sehen. Dieses heben Sie auf, indem sie die SelectedItem-Eigenschaft auf Nothing setzen:

Set ListView1.SelectedItem = Nothing