En UEFI, il devrait pouvoir démarrer sur Windows, donc j'imagine qu'il n'est pas en UEFI. (il y a une partition spécifique pour le démarrage en UEFI)
Donc dans ton cas, il faut réinstaller le MBR avant de supprimer la partition qui a Grub (Linux)
Depuis un cd-rom de démarrage tu peux utiliser fixmbr ou la commande fdisk /mbr
Sinon une autre solution est de ré-installer un second système d'exploitation (par exemple ton Ubuntu, mais tu peut mettre un autre OS)
Il faut ensuite réinstaller le MBR. Grub ne doit plus démarrer. Après seulement supprimer la partition Linux (c'est elle qui contiens Grub dans /boot/grub )