Korišćeni model enterijera kupatila preuzet je sa interneta. Za renderovanje modela korišćeni su Sketch-up+V-Ray.
Za AI editovanje rendera korišćen je Stable Diffusion XL inpainting model u okviru ComfyUI. U proces su integrisani dodatni render pass-ovi (Material ID, Z-Depth i Normal), kroz ControlNet/T2I-Adapter čvorove, kako bi se ispitalo u kojoj meri oni doprinose tačnosti i realističnosti izmena.
Za usmeravanje AI izmena korišćeni su pozitivni i negativni promptovi. Pozitivni promptovi definisali su novi materijal obloge zida, dok su negativni promptovi sprečavali generisanje nepotrebnih i neželjenih elemenata. Negativni promptovi pokazali su se jednako važnim kao i pozitivni, jer doprinose čistoći i ujednačenosti rezultata. Bez njih bi generisane izmene često imale greške u perspektivi, geometriji, kao i u detaljima materijala.
Za svrhu ovog istraživanja, korišćeni promptovi su:
Positive: ,,Interior wall replaced with natural oak wood panels, warm tone, visible wood grain texture, matte finish, consistent perspective, realistic lighting, high quality architectural visualization’’
Negative: ,,Cartoon, blurry, low resolution, unrealistic, distorted perspective, wrong shadows, reflections, extra objects, text, watermark’’
Slika je prvo generisana koristeći samo tekstualne promptove, bez upotrebe render pass-ova ili dodatnih inputa i dobijeni su ovakvi rezultati:
Zatim je uploadovan Material ID pass u ComfyUI, i on je bio značajan da bi se odredile granice zida koji sam želela da promenim. Pomoću Node-a ‘’Mask From Color’’, definisala sam tačnu boju zida u Material ID render pass-u.
Korišćenjem samo ovog render pass-a dobijaju se rezultati:
AI je prepoznao šta treba da izmeni i na kom tačno definisanom mestu, međutim fali mu informacija o perspektivi, nagibu zida i dubini prostora i zato generisane promene izgledaju nalepljeno i dvodimenzionalno. Za potrebe dubine izveden je Z-Depth pass i time se dobija gradijent: objekti bliži kameri su svetliji, a udaljeni objekti su tamniji. Dodavanjem ovog pass-a u ComfyUI i kombinovanjem sa Material ID-om, dobijaju se rezultati:
Snaga (strength) MaterialID pass-a postavljena je na 1.00, kako bi AI dao najveći značaj ovoj informaciji. Z-Depth je dodat u ControlNet sa vrednošću strength-a od 0.50. Z-Depth doprinosi osećaju dubine i integraciji novih materijala u prostor, ali bez jasne informacije o orijentaciji površina.
Kako bi AI dobio još veću svest o geometriji i orijentaciji površina uveden je i Normal pass. To je render pass koji beleži orijentaciju površine svakog piksela (normale u XYZ). Obično koristi RGB kanale (R = X osa, G = Y osa, B = Z osa).
Korišćenjem Material ID, Z-Depth i Normal pass-ova, dobijaju se rezultati:
Normal pass donosi informaciju o nagibu i orijentaciji, čime se značajno poboljšava realističnost materijala, naročito kada se menjaju površine koje nisu paralelne sa kamerom. Normal pass je integrisan sa strength vrednošću od 0.7, a kada se koristio samo u kombinaciji sa MaterialID-om, bez Z-Depth-a, dobijeni su ovakvi rezultati:
Zaključak: Najbolji rezultati dobijeni su kada su sva tri pass-a korišćena zajedno, jer se tek tada dobija potpuna informacija o geometriji i strukturi prostora. Međutim razlike između korišćenja MaterialID + Normal pass, bez i sa Z-Depth pass-a, su se pokazale minimalne. Da bi se dalje ispitao doprinos svakog pass-a pojedinačno, potrebno je uprostiti scenu i ponoviti postupak.
*Vrednosti u KSampler čvoru vrednosti su bile postavljene na:
- Steps: 40
- CFG: 8.0
- Denoise strength: 0.40 (za suptilnije promene)
U nastavku istraživanja će biti fokus na analizi pojedinačnih render passova, kako bi se jasno uočio njihov pojedinačni doprinos konačnom izgledu scene. Radi jednostavnije i preglednije analize, scena enterijera treba biti uprošćena.