Uprošćena scena i analiza uticaja render pass-ova
*Za AI editovanje rendera korišćen je Stable Diffusion XL Inpainting model u okviru ComfyUI. U proces su integrisani dodatni render pass-ovi (Material ID, Z-Depth i Normal), kroz ControlNet/T2I-Adapter čvorove, kako bi se ispitalo u kojoj meri oni doprinose tačnosti i realističnosti izmena.
U ovoj fazi istraživanja scena je namerno uprošćena, kako bi se efekti pojedinačnih pass-ova lakše analizirali.
Za usmeravanje AI izmena korišćeni su sledeći pozitivni i negativni promptovi:
Positive:
-vertical wood grain, planks running top to bottom, no horizontal grain, thin planks, dark wood, walnut, mahogany, deep brown tones, realistic texture, natural grain, cozy interior, soft lighting, high detail, high resolution, dark oak:2, espresso wood:1.0, chocolate brown wood:0.5
Negative:
-light wood, pale wood, metal panels, concrete, brick, wallpaper, paint, plastic, cartoonish, low quality, blurry, distorted, unrealistic, fantasy, sci-fi, horizontal panels, thick planks, text, flooring style, blond, golden, horizontal grain, cartoon, artifact
Parametri generisanja:
Za sve iteracije korišćene su iste vrednosti u KSampler čvoru, radi lakše uporedivosti rezultata:
Steps: 40
CFG: 13
Denoise strength: 0.6
Sampler: Heun
Randomized seed: uključen
Vrednosti ControlNet strength-a za pojedinačne pass-ove:
Material ID: 1.00
Z-Depth: 0.50
Normal map: 0.80
Ove vrednosti su izabrane u zavisnosti od važnosti uloge pojedinih render pass-ova. Material ID je najvažniji, jer daje tačnu granicu zida koji želimo da menjamo, zatim Normal map doprinosi percepciji orijentacije i volumena, dok Z-Depth daje osećaj udaljenosti i prostorne dubine.
Rezultati i zapažanja:
- Situacija 0 (bez pass-ova):
- Situacija A (Material ID):
AI je ispravno prepoznao regiju zida za zamenu materijala, ali nije imao dovoljno informacija o nagibu i perspektivi. Rezultat su bili 2D nalepljeni paneli koje deluju samo površno zalepljeni i bez stvarne dubine. Ova pojava potvrđuje da sam ID pass ne pruža dovoljne prostorne informacije da bi materijal bio uverljivo integrisan u scenu.
- Situacija B (Material ID+Normal pass):
Značajno poboljšanje u percepciji orijentacije površine, naročito u delovima gde je zid blago pod uglom u odnosu na kameru. Normal mapa pomaže da razume nagibe i osvetljenje površina, što doprinosi realističnijem senčenju panela.
Međutim, pojavili su se problemi u razumevanju kompleksnijih geometrijskih odnosa, naročito oko lustera. Takođe, AI i dalje nije uspevao da ispravno interpretira traženu orijentaciju šare: iako su promptovi jasno definisali vertikalne panele, rezultati su u više navrata prikazivali horizontalne šare.
Boja drveta takođe nije bila dosledna, bez obzira na visok CFG parametar (13) i naglašavanju tamnih nijansi (dark wood, mahogany, deep brown tones). AI je često generisao svetlije drvo. Ovo pokazuje da, čak i uz kombinaciju dva precizna render pass-a, AI i dalje ima ograničenu kontrolu nad specifičnostima.
- Situacija C (Material ID+Z-Depth):
Donosi blago poboljšanje u percepciji dubine, ali su ivice zamućene, naročito na prelazima između zida i plafona.
- Situacija D (Material ID+Z-Depth+Normal pass):
Kada su korišćeni svi pass-ovi zajedno, rezultati su bili najstabilniji i najrealističniji. AI je bolje razumeo geometriju prostora, senčenje i orijentaciju površina. Ipak, ni tada nije postignuta potpuna kontrola. Teksture su se povremeno deformisane, a nijanse drveta i dalje nisu uvek odgovarale zadatim promptovima. Menjanjem zadatih pozitivnih i negativnig promptova, nije se puno postizalo. Takođe, menjanjem parametara u KSampleru, sa ciljem davanja veće kontrole AI-ju, dovodilo je do nerealističnih rezultata, a ni veći broj iteracija sa višim CFG faktorom nije doneo željeni kvalitet.
- Situacija E (pretpostavka kombinacije Z-Depth+Normal map)
Ova kombinacija nije testirana, ali se može pretpostaviti da bi dovela do gubitka preciznosti granica i prelivanja materijala po okolnim objektima, jer bez Material ID-a, AI nema preciznu informaciju o tačno regiji koju treba da menja.
Zaključak:
Tokom istraživanja uočeno je da AI generisanje stvara visok stepen nepredvidivosti, čak i pri jasno definisanim promptovima i kontrolisanjem parametara. Korišćenjem ComfyUI-ja nisu dobijeni zadovoljavajući rezultati i ne preporučuje se njegova upotreba u ove svrhe, jer nije doprineo uštedi vremena. Ovaj proces je zahtevao različita isprobavanja različitih kombinacija i parametara. Različiti parametri bili bi karakteristični za svaku scenu i u slučaju njene promene, morali bi se menjati, što zahteva dodatno vreme.
Može se zaključiti da render pass-ovi, iako u ovom slučaju nisu doveli do željenih rezultata, imaju veliku ulogu pri pomaganju AI alatima da interpretiraju prostorne odnose i materijale.