Interakcija: hvatanje, puštanje i točke interesa

Tko djeluje i na što

Svaka interakcija ima dvije strane. Na jednoj je ono što djeluje (engl. interactor): ruka, zraka iz kontrolera, pogled, vrh prsta, pokazivač miša. Na drugoj je predmet na koji se djeluje (engl. interactable): kotač koji se može uhvatiti, gumb na panelu, točka interesa na motoru. Razdvajanje tih dviju strana je temelj urednog projekta: kotač ne mora znati kojom ga je rukom korisnik uhvatio, a ruka ne mora znati je li u njoj kotač ili baterija.

U laboratoriju VR-1 koriste se dvije vrste interakcije:

• izravna (engl. direct, near) — predmet u dohvatu ruke, do 0,8 m od korisnika, uzima se rukom kao u stvarnosti;
• daljinska (engl. distance, ray) — zraka iz kontrolera doseže do 3 m; služi za točke interesa, panele i dijelove koji su pali na drugi kraj stola.

Obje vrste koriste iste akcije iz jedinice 3.3 (Uhvati, Odaberi), samo je način pronalaženja predmeta drukčiji: za izravnu se traži preklapanje male sfere na ruci s kolizijskim oblikom predmeta, a za daljinsku presjek zrake s kolizijskim oblikom (engl. line trace, raycast). Bez kolizijskog oblika predmet se ne može ni uhvatiti ni odabrati — to je prva stvar koju treba provjeriti kad „ništa ne reagira".

U okruženju s nacrtima (npr. Unreal Engine) predložak VR projekta obično donosi komponentu za hvatanje koja se dodaje predmetu i logiku u pijunu koja traži najbliži takav predmet. U okruženju s C# skriptama (npr. Unity s paketom za XR interakciju) postoje gotove komponente za obje strane: na ruke se stavljaju komponente za izravnu interakciju i zraku, a na predmet komponenta predmeta koji se može uhvatiti. Nazivi i mogućnosti tih komponenti razlikuju se po inačici.

Tok hvatanja i puštanja

Hvatanje izgleda jednostavno, ali ima nekoliko koraka koji se moraju dogoditi točno ovim redom. Slika 3.4.1 prikazuje tok za jedan dio robota.

1. Otkrivanje. Sfera na ruci (u primjeru VR-1 polumjera 12 cm, kao u vježbi V11) prijavljuje sve predmete s kojima se preklapa. Ako ih je više, bira se najbliži središtu sfere. Dobra praksa je istaknuti predmet koji bi bio uhvaćen, da korisnik zna što će uzeti.
2. Hvatanje. Kad vrijednost hvatišta prijeđe 0,6, predmet se pričvrsti na točku hvata ruke, a njegova se fizika isključi da ga gravitacija i sudari ne otimaju iz ruke. Pritom se bira način: predmet zadrži položaj u kojem je uhvaćen (prirodnije za velike dijelove poput šasije) ili se priljubi na unaprijed zadanu točku hvata (bolje za alate i dijelove s jasnim hvatištem).
3. Držanje. Predmet se svaki okvir kreće s rukom. Kratka vibracija kontrolera pri hvatanju potvrđuje da je predmet uhvaćen.
4. Puštanje. Kad hvatište padne ispod 0,4, predmet se odvoji. Ako je blizu ciljnog mjesta na šasiji, postavlja se na cilj i objavljuje se događaj „Dio postavljen" (jedinica 3.2). Inače se uključi fizika i predmetu se preda brzina ruke, izračunata kao prosjek zadnjih nekoliko okvira, da ga korisnik može i baciti.

Okidač, hvatište i dodirna podloga

Kontroleri imaju slične tipke, ali ne i isti raspored. Zato se funkcije dodjeljuju ulaznim akcijama, a akcije tipkama. Za VR-1 dogovoren je raspored koji prati prirodni pokret ruke:

Kod kontrolera s dodirnom podlogom umjesto palice, podloga se dijeli na područja (npr. gornji dio za teleport, lijevi i desni za okret) ili se razlikuje dodir od pritiska. Takvo vezanje obavlja se u kontekstu mapiranja za taj profil interakcije, a logika hvatanja ostaje nepromijenjena.

Dobra praksa: istu funkciju ne stavljati na dva elementa i ne mijenjati značenje tipke bez vidljivog znaka. Ako okidač u jednom trenutku odabire, a u drugom baca, korisnik će griješiti.

Prebacivanje iz ruke u ruku i postavljanje na cilj

Pri sklapanju robota korisnik često drži šasiju lijevom rukom, a desnom stavlja motor. Ponekad želi i predati dio iz jedne ruke u drugu. Pravilo koje to omogućuje je jednostavno: svaki predmet ima najviše jednog vlasnika. Predmet pamti koja ga ruka drži. Kad ga druga ruka uhvati, predmet najprije obavijesti prvu ruku da ga je izgubila, a zatim se pričvrsti na drugu. Između tih dvaju koraka fizika se ne uključuje, pa predmet ne padne.

Alternativa je dvoručno hvatanje, kod kojeg obje ruke drže isti predmet i zajedno određuju njegov položaj i orijentaciju. Za dijelove robota MR-1 (najveći je šasija 220 × 180 mm) to nije potrebno; za duge predmete poput cijevi ili letve jest.

Postavljanje na cilj (engl. snap, socket) je završni korak sklapanja. Na šasiji su nevidljiva ciljna mjesta za motore, kotače, bateriju i ostale dijelove. Kad korisnik pusti dio unutar tolerancije, dio se glatko privuče na točan položaj, a na mjestu cilja se prije toga može prikazati prozirna „sjena" dijela kao vodilica. Ako je redoslijed važan (npr. poklopac tek nakon pločice), ciljno mjesto poklopca aktivira se tek kad je pločica postavljena.

Točke interesa: jedna logika, više ulaza

Točka interesa (engl. point of interest, POI) je mjesto na modelu koje reagira na pozornost korisnika: kad je pokazivač iznad nje, istakne se i prikaže natpis; kad je odabrana, otvori se panel s objašnjenjem, pusti animacija ili se pošalje naredba. VR-1 ima šest točaka interesa: motor, kotač, bateriju, upravljačku pločicu, senzor udaljenosti i prekidač.

Ključno načelo: točka interesa ne zna ništa o ulazu. Ona je jedna komponenta s tri javne funkcije — HoverEnter (pokazivač je ušao), HoverExit (pokazivač je izašao) i Select (odabir). Miš, pogled, zraka kontrolera, zraka iz ruke i dodir prstom samo su različiti ulazi koji na pogođenoj točki pozivaju te iste tri funkcije.

Nekoliko pravila čini logiku otpornom:

• brojač lebdenja — više ulaza može istodobno biti na istoj točki (obje ruke, zraka i pogled). Točka broji ulaske i izlaske i gasi isticanje tek kad brojač padne na nulu;
• jedan otvoren panel — odabir nove točke zatvara panel prethodne;
• panel okrenut korisniku — natpis i panel svaki se okvir okreću prema kameri, ali samo oko okomite osi, da se tekst ne naginje;
• globalna obavijest — pri odabiru točka objavi događaj sa svojom oznakom (npr. POI_motor) na koji se može prijaviti bilo tko, pa i most prema simulaciji robota.

Oznake točaka interesa dobro je postaviti već u programu za slobodno modeliranje (npr. Blender) kao prazne objekte s jasnim imenima (POI_motor, POI_senzor). Pri izvozu u glTF ili FBX oni dolaze u razvojno okruženje kao prazni objekti na točnim položajima, pa se komponenta točke interesa samo doda na njih, uz kolizijski oblik.

Ulazi: najprije miš, zatim XR

Preporučeni redoslijed rada je: najprije inačica za računalo s mišem, dok logika točaka interesa ne radi besprijekorno, a tek onda XR ulazi. Tako se logika razvija i ispituje bez naočala, više polaznika može raditi istodobno, a kad se doda XR, jedina nova stvar je ulaz — ne i logika. Ulaz mišem je zraka iz kamere kroz položaj pokazivača na zaslonu; ona pogodi kolizijski oblik, a skripta na pogođenom objektu pozove funkcije točke interesa.

Primjer u C# skriptama: jezgra točke interesa i ulaz mišem. Kratki vlastiti primjer za razumijevanje, nije ispitan; provjerite ga u vlastitoj inačici okruženja. Položaj miša ovdje se čita starijim sustavom ulaza; u novijem sustavu ulaza čita se drugačije. Svaka klasa ide u vlastitu datoteku istog imena (TockaInteresa.cs, MisPokazivac.cs).

using UnityEngine;

public class TockaInteresa : MonoBehaviour
{
    public string oznaka = "POI_motor";
    public GameObject natpis, panel;
    public static event System.Action<TockaInteresa> Odabrana;
    int lebdenja = 0;

    public void HoverEnter() { if (++lebdenja == 1 && natpis) natpis.SetActive(true); }
    public void HoverExit()  { lebdenja = Mathf.Max(0, lebdenja - 1);
                               if (lebdenja == 0 && natpis) natpis.SetActive(false); }
    public void Select()     { if (panel) panel.SetActive(!panel.activeSelf); Odabrana?.Invoke(this); }
}

// --- MisPokazivac.cs (također počinje s using UnityEngine;) ---
public class MisPokazivac : MonoBehaviour
{
    public Camera kamera;
    TockaInteresa trenutna;

    void Update()
    {
        TockaInteresa pogodak = null;
        Ray zraka = kamera.ScreenPointToRay(Input.mousePosition);
        if (Physics.Raycast(zraka, out RaycastHit hit, 10f))
            pogodak = hit.collider.GetComponentInParent<TockaInteresa>();
        if (pogodak != trenutna)
        {
            if (trenutna) trenutna.HoverExit();
            trenutna = pogodak;
            if (trenutna) trenutna.HoverEnter();
        }
        if (trenutna && Input.GetMouseButtonDown(0)) trenutna.Select();
    }
}

Za XR se ne mijenja jezgra. U paketu za XR interakciju postoji jednostavan interaktivni objekt koji objavljuje događaje ulaska lebdenja, izlaska lebdenja i početka odabira; oni se u inspektoru ili kratkom skriptom-mostom spoje na HoverEnter, HoverExit i Select. Nakon toga točku okidaju zraka kontrolera s okidačem, zraka iz ruke s prstohvatom, dodir prstom i pogled. Kod pogleda odabir se radi zadržavanjem pogleda (engl. dwell), obično oko jedne sekunde uz vidljiv kružni pokazatelj, ili pogledom uz gestu. Točno trajanje odredite probom s korisnicima.

U okruženju s nacrtima isto se postiže sučeljem (jedinica 3.2), npr. BPI_TockaInteresa s tri funkcije. Svaki ulaz — trag zrake iz kamere za miš, iz poze ciljanja za kontroler, iz sredine kamere za pogled — na pogođenom objektu provjeri ostvaruje li sučelje i pozove njegovu funkciju.

Veza sa simulacijom robota. Kad je točka odabrana, globalni događaj nosi njezinu oznaku. Mala komponenta-most prijavi se na taj događaj i pošalje poruku programu za simulaciju robota (npr. „POI_motor" ili „kreni na točku 3"), a simulator vraća kutove zglobova ili stanje po kojem se model u sceni pomakne. Most se izvodi u jedinici 3.6; ovdje je važno samo da ga točka interesa ne treba poznavati.

Računski prikaz: veličina mete i podrhtavanje zrake

Zraka iz ruke nikad nije potpuno mirna. Mali kutni nemir ruke na većoj udaljenosti postaje velik pomak točke na meti. Kutna veličina mete promjera D na udaljenosti L i pomak točke zrake zbog kutnog podrhtavanja φ računaju se ovako:

α = 2 · arctg(D / 2L)  ·  n_px = α · PPD  ·  s = L · tg φ

Za kolizijski oblik točke interesa promjera 60 mm na granici dosega zrake od 3 m meta zauzima 1,15°, odnosno oko 24 piksela na uređaju A (21 piksel po stupnju). Uz pretpostavljeno podrhtavanje od 0,5° točka zrake se pomiče oko 26 mm — gotovo koliko i polumjer mete od 30 mm, pa korisnik „promašuje" metu koju jasno vidi. Na 1,5 m isti oblik ima dvostruku rezervu, a na 0,8 m više od četverostruke. Zaključak za VR-1: kolizijski oblici točaka interesa smiju biti veći od vidljivog dijela, a za daleke mete zraku treba blago izgladiti ili meti dati „magnetizam". Vrijednost podrhtavanja od 0,5° je pretpostavka za primjer; stvarnu izmjerite na svojim korisnicima.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.

Vježbe uz jedinicu

Gradivo ove jedinice priprema za sljedeće vježbe:

• V11 Hvatanje, puštanje i prebacivanje iz ruke u ruku · 2 sata
• V12 Točke interesa: miš, pogled, kontroler i geste · 2 sata