1
0
forked from cgvr/DeltaVR
Files
DeltaVR3DModelGeneration/3d-generation-pipeline

TODO

  • korralik teleportation minigame'idesse, kasutades TeleportProviderit, nagu button
  • quest marker peaks jätma nähtavad noolekesed enda liikumise teele
  • teha build kus archery range'is spawnitud objektid
  • speech-to-text:
    • kasutada suuremat Whisper mudelit, äkki töötab paremini taustamüraga ka?
    • uurida miks buildis Whisper halvemini töötab
    • proovida suuremat Whisperi mudelit, äkki töötab mürases keskkonnas paremini
  • igal pool, kus mängija peab rääkima, peaks olema:
    • helilained räägitava heli amplituudi põhjal
    • "loading" dünaamiline ikoon kui mängija ootab protsessimise järel
  • shape detection:
    • objektidel ebasobiv layer, kukuvad läbi põranda
    • raadio nupp võiks töötada recording mode'is, mitte streamina - kui lased lahti, siis hakkab processima
    • professor võiks öelda "good job, continue..." pärast esimest successi
    • kui kõik configurationid tehtud, siis midagi juhtub: uks avaneb, quest marker läheb ukse juurde, professor ütleb "thank you"
    • peab mängijale kuidagi selgitama, kuidas scale'ida prinditud objekte
    • prinditud objekti scale'imisele min ja max size limiit
    • PC uus mudel, kus enter key liigub õigesti + õige sound effect enter nupul + tekst ei tohiks clippida läbi ekraani
    • shape scanner mitte lihtsalt ontriggerenter ja -exit, sest kui mitu objekti lähevad samal ajal sisse
    • shape scanneris prinditud objektid mõnikord ei kao ära kui config success
  • archery range:
    • mute/unmute ikooni värv mitte must (muted kollane, roheline)
    • spawn point kaugemale
    • image gen button disable'ida kui pole midagi veel räägitud
    • mikrofon peaks lõpetama protsessimise ka siis kui mängija läheb ära mikri juurest
    • mikril ontriggerenter collider peaks olema väiksem kui ontriggerexit collider
    • võiks jääda kordama viimast instruktsiooni, kui mängija ei progressi edasi
    • kui archery range läbi, võiks npc öelda "good job, try again..."
    • uus Table mudel, kus õiged wire'id
    • kui midagi laeb (wire aktiivne), siis particle'id võiks voolata mööda toru
    • highscore json tühjaks
  • cafe:
    • npc võiks olla keeratud sinu poole juba kaugelt
    • [silence] ei tohiks ilmuda
    • kasutada OnSegmentUpdated, mitte OnSegmentFinished npc'l kui ootab "yes"/"no"
    • spawn point panna
  • npc character:
    • ontriggerenter collider peaks olema väiksem kui ontriggerexit collider
    • klaas on näha temast eespool
    • voicelines: list listidest, mille hulgast saab valida
  • Unity crash after stopping the game - most likely due to FMOD trying to do something with invalid audio instances

Can't/Won't Do:

  • glTF loading: vahetada ära shader Universal render pipeline Lit, mitte panna buildi kaasa glTf oma - ei saa, objekt on siis ilma tekstuurita, lihtsalt hall

Notes

  • Functionalities that were implemented using major help from AI:
    • animating NPC mouth movement based on voice amplitude
    • adjusting spawned gltf objects' scale
    • porting InvokeAI client and TRELLIS client to Unity scripts
    • Getting Whisper stream to work with FMOD instead of Unity default audio
  • TRELLIS: added functionality to specify texture baking optimisation total steps as an argument (texture_opt_total_steps), to replace the hardcoded 2500. But this is not tracked in Git (because modified this https://github.com/IgorAherne/trellis-stable-projectorz/releases/tag/latest)
  • Custom Shader Variant Collection to include glTF-pbrMetallicRoughness shader in build