1
0
forked from cgvr/DeltaVR
Files
DeltaVR3DModelGeneration/3d-generation-pipeline/README.md

55 lines
3.3 KiB
Markdown

### TODO
* korralik teleportation minigame'idesse, kasutades TeleportProviderit, nagu button
* quest marker peaks jätma nähtavad noolekesed enda liikumise teele
* teha build kus archery range'is spawnitud objektid
* speech-to-text:
* kasutada suuremat Whisper mudelit, äkki töötab paremini taustamüraga ka?
* uurida miks buildis Whisper halvemini töötab
* proovida suuremat Whisperi mudelit, äkki töötab mürases keskkonnas paremini
* igal pool, kus mängija peab rääkima, peaks olema:
* helilained räägitava heli amplituudi põhjal
* "loading" dünaamiline ikoon kui mängija ootab protsessimise järel
* shape detection:
* raadio nupp võiks töötada recording mode'is, mitte streamina - kui lased lahti, siis hakkab processima
* professor võiks öelda "good job, continue..." pärast esimest successi
* kui kõik configurationid tehtud, siis midagi juhtub: uks avaneb, quest marker läheb ukse juurde, professor ütleb "thank you"
* peab mängijale kuidagi selgitama, kuidas scale'ida prinditud objekte
* prinditud objekti scale'imisele min ja max size limiit
* PC uus mudel, kus enter key liigub õigesti + õige sound effect enter nupul + tekst ei tohiks clippida läbi ekraani
* shape scanner mitte lihtsalt ontriggerenter ja -exit, sest kui mitu objekti lähevad samal ajal sisse
* shape scanneris prinditud objektid mõnikord ei kao ära kui config success
* archery range:
* mute/unmute ikooni värv mitte must (muted kollane, roheline)
* spawn point kaugemale
* image gen button disable'ida kui pole midagi veel räägitud
* mikrofon peaks lõpetama protsessimise ka siis kui mängija läheb ära mikri juurest
* mikril ontriggerenter collider peaks olema väiksem kui ontriggerexit collider
* võiks jääda kordama viimast instruktsiooni, kui mängija ei progressi edasi
* kui archery range läbi, võiks npc öelda "good job, try again..."
* uus Table mudel, kus õiged wire'id
* kui midagi laeb (wire aktiivne), siis particle'id võiks voolata mööda toru
* highscore json tühjaks
* cafe:
* npc võiks olla keeratud sinu poole juba kaugelt
* [silence] ei tohiks ilmuda
* kasutada OnSegmentUpdated, mitte OnSegmentFinished npc'l kui ootab "yes"/"no"
* spawn point panna
* npc character:
* ontriggerenter collider peaks olema väiksem kui ontriggerexit collider
* klaas on näha temast eespool
* voicelines: list listidest, mille hulgast saab valida
* Unity crash after stopping the game - most likely due to FMOD trying to do something with invalid audio instances
Can't/Won't Do:
* glTF loading: vahetada ära shader Universal render pipeline Lit, mitte panna buildi kaasa glTf oma - **ei saa, objekt on siis ilma tekstuurita, lihtsalt hall**
### Notes
* Functionalities that were implemented using major help from AI:
* animating NPC mouth movement based on voice amplitude
* adjusting spawned gltf objects' scale
* porting InvokeAI client and TRELLIS client to Unity scripts
* Getting Whisper stream to work with FMOD instead of Unity default audio
* TRELLIS: added functionality to specify texture baking optimisation total steps as an argument (`texture_opt_total_steps`), to replace the hardcoded 2500. But this is not tracked in Git (because modified this https://github.com/IgorAherne/trellis-stable-projectorz/releases/tag/latest)
* Custom Shader Variant Collection to include glTF-pbrMetallicRoughness shader in build