Consigli sparsi e rapidi, sia per mancanza di tempo, ma soprattutto perchè la mia esperienza con Unity è limitatissima e nemmeno troppo felice.
1) Partirei con una rappresentazione totalmente locale/piatta/rettilinea/ENU, sia grafica che fisica.
Solo l'origine avrebbe un corrispettivo geografico.
Un po' come DW ma in scala più piccola (qualche decina di km?).
Altrimenti hai pure il discorso della precisione numerica dei valori in virgola mobile da affrontare, la precisione del depth buffer stesso se i clipping planes devono coprire vaste distanze, etc.
Oltre allo streaming dei dati in background...
2) Creerei una serie di oggetti terrain, setterei heightmaps, colormaps, etc. da dati reali, tutti dati precaricati, e orchestrerei questi tiles (costituenti una griglia logica) offsetandoli/cambiandone stato visibilità attorno alla posizione della camera.
3) Farei funzionare il tuo plugin di ocean rendering su questo sistema.
Buon weekend,