Nectar course #1


#1

Nectar - Cours Estia 12 - 13 Novembre

Objectif: Créer un guide en Réalité Augmentée Spatiale

À partir d’un objet existant dont vous avez le modèle (2D ou 3D), vous devez créer un guide qui met en valeur différentes parties de l’objet. Vous pourrez au choix:

  • Expliquer des choix de conception.
  • Montrer des fonctionnalités.
  • Expliquer la méthode de fabrication.
  • Présenter l’objet sous un angle favorable.

Celui-ci peut être fabriqué à l’avance, ou sur place avec vos méthodes de fabrications. Il peut être 3D, ou plat (dessin, schéma) et doit se porter à une des consignes énoncée précédemment.

Liens vers la présentation et les schémas.

Déroulement du TD.

Partie 1: Conception augmentée

Tout d’abord vous vous familiarisez avec l’appareil Nectar en créant chargeant une scène Unity3D pour Nectar. Puis vous l’exportez au format Linux et testez sur l’appareil. Puis vous faites de même avec votre modèle à augmenter pour obtenir un mapping basique. Suite à cela vous pouvez commencer votre guide.

Partie 2: Exploration interactive

Le guide sera interactif pour mettre en valeur différentes parties. L’interactive pourra provenir d’entrées clavier, souris, mais également de mouvements de mains ou d’objets physique. Les interactions avec objets physique et la main sont développées directement sur les appareils Nectar.

Installation (anglais)

Requirements (RA)

  • Hardware: Webcam.
  • Operating system: Windows - (similar on OSX and Linux)
  • Language: Unity3D C#
  • Time required: 1,5 hours.
  • Difficulty: medium (C# and basic Unity required)

Required components (Student)

  • A computer with Windows 10.
  • Unity3D, personal edition or higher, with Linux deployment support.
  • Plugin Nectar for Unity3D link.
  • A Nectar device for testing.

Partie 1 Appareil Nectar

1. Installation du plugin Unity3D

Créez une nouvelle scène Unity3D, importez le package et ouvrez le script Assets/scripts/Redis/RedisConnection.cs . Dans ce script vous pouvez entrer l’adresse de l’appareil pour récupérer les données de celui-ci directement.

	public string IpAdress = "127.0.0.1";
	public int Port = 6379;  // ou 6390

(Code d’origine…)

Attention, avant de créer d’archive pour tester il faudra remettre 127.0.0.1:6379.

2. Installation de Redis pour Windows.

Installation de Redis 3.0 : lien. source: https://github.com/MicrosoftArchive/redis/releases

  • Extraire l’archive.
  • Lancez redis-server.exe, acceptez les accès sur le réseaux (pop-up windows). Laissez la fenêtre en fond.
  • Lancez redis-cli.exe.

Vous avez maintenant un serveur Redis sur votre machine.

3. Connection au Wifi.

Vous pouvez vous connecter au hotspot wifi hotspot-Nectar et entrer la clé NectarRealityTech

Votre serveur va répliquer les données présentes sur l’appareil Nectar. Dans redis-cli entrez:

SLAVEOF 10.42.0.1 6389

La console doit retourner OK. La fenêtre avec le serveur affiche les synchronisations.

Une fois la connexion établie, vous devrez voir le flux caméra de l’appareil. Celui-ci est possiblement lent (passe par le wifi) et mis à jour à chaque rafraîchissement de l’éditeur.

4. Découverte du plugin (Vue à travers)

Vous avez à votre disposition plusieurs scènes Unity. Commencez par la scène Minimal SeeThrough

  1. D’où viennent les images ?
  2. D’où proviennent les marqueurs ?
  3. Quelle est l’échelle de la scène ?
  4. Quelles sont les étapes du rendu ?
  5. Chargez la scène SeeThrough. Quelle sont la/les différence(s) ?

5. Plugin avec projection.

  1. Chargez la scène Projection.
  2. Quelles sont les étapes du rendu ?
  3. Chargez la scène Advanced Projection, Quelles sont les différences ?

Pour la suite du TP, nous nous basons sur la scène Advanced Projection.

6. Chargement d’un modèle 3D

  • Prenez un modèle 3D, importez-le dans la scène Unity.
  • Placez le au centre de la table, et exportez le projet pour Linux. Placer l’export sur une clé USB (j’ai un dd USB si besoin).
  • Testez votre projet sur la machine !

Partie 2: Interaction.

Dans cette partie vous allez ajouter de l’interactivité. Deux possibilités:

  1. Créer des interactions au clavier / souris.
  2. Créer des interactions avec des objets. Le suivi d’objet se fait avec une application Processing (exemple fourni) sur l’appareil directement.

Partie 3: Applicatif

Créez une scène en RAS interactive autour d’un objet avec pour but:

  • Expliquer des choix de conception.
  • Montrer des fonctionnalités.
  • Expliquer la méthode de fabrication.
  • Présenter l’objet sous un angle favorable.