얼굴인식을 통한 UI구현

UI & GUI 2009. 4. 5. 03:40 Posted by 보노보노보노
faceAPI : 웹캠으로 얼굴인식을 하여, 얼굴이 화면에 가까이 오면, 3차원 오브젝트와 가까워지고, 얼굴과 멀어지면, 오브젝트도 멀어진다. 또한, 얼굴을 좌우로 이동하면, 오브젝트도 따라서 움직인다.












 닌텐도 wii모콘 끝에 달려있는 적외선 카메라를 모니터에 달고, 기존 TV위에 설치하던 LED 센서를 모자에 달아, 얼굴을 쉽게 추적하게 한 프로토타입... 위의 데모와 거의 유사한 형태이다. 제작은 카네기 멜른의 Johnny Chung Lee... 참고로 위모트는 1024x768 해상도의 적외선 카메라가 달려있고, 100Hz로 4점 트래킹이 가능하며, 100Hz로 동작하는 +/-3g 8비트 3축 가속센서(accelerometer)가 포함되어 있다.




휴대폰이나 PC에는 이미 나를 찍는 카메라가 달려있기 때문에, 향후, 휴대폰이나 PC등에서 위의 3차원 기술등이 적용된 어플리케이션, 게임들을 쉽게 볼 수 있을 것이다.

출처 : 몬스터 디자인그룹
http://monsterdesign.tistory.com/850



근전도센서 (Myoelectric sensor, 근육의 근섬유를 따라 일어나는 전기적 신호를 검출)를 사용하여, 미세한 근육의 움직임을 소리로 바꾸고, 온몸이 바로 악기가 된다.

개발자 : Daito Manabe + Motoi



출처 : 몬스터디자인(http://www.monsterdesign.co.kr/)



사용자 삽입 이미지

                

oblong industries사의 제스처 유저 인터페이스 데모 동영상... 1994년부터 MIT 미디어랩에서 개발되어진 프로젝트이고, 2002년 영화 마이너리티 리포트에서 톰 크루즈가 사용했던 제스처 유저 인터페이스가 바로 이 회사의 프로토타입이었다는 사실...

본 시스템은 현재 구입가능하고, SDK는 리눅스와 MAC OS X에서만 구동됨.

http://www.oblong.com/ (홈페이지 바로가기)

출처 : 몬스터디자인(http://www.monsterdesign.co.kr/)

사용자 삽입 이미지

Mgestyk에서 개발한 PC용 Hand-gesture 유저 인터페이스... 조그만 PC용 3D 카메라 (하이엔드급 웹캠)를 사용하여, 손의 작은 움직임을 캡쳐하고 그것을 유용한 명령어로 해석하여 대부분의 윈도우용 어플리케이션을 콘트롤할 수 있고, 간단한 게임부터 복잡한 플라이트 시뮬레이터까지 어렵지 않게 콘트롤이 가능하다. 플레이스테이션2 아이토이등과 다른점이라면, 3D카메라를 사용하여, 손움직임의 깊이까지 인식한다는 점이다.

http://www.mgestyk.com





http://www.mgestyk.com/videos.html (--> 더 많은 데모 비디오 보기)

출처 : 몬스터디자인(http://www.monsterdesign.co.kr/)

허공에서 연주하는 Air Piano by Omer Yosha

UI & GUI 2008. 12. 6. 17:27 Posted by 보노보노보노

거리감지센서를 활용한 에어 피아노... 손의 높이와 위치를 감지하여, 피아노처럼 연주가 가능한, 새로운 방식의 Musical interface이다... 실제 피아노처럼 다이나믹하고 정교한 연주는 어렵겠지만, 나름 신기한 퍼포먼스를 보여준다. 디자이너는 Omer Yosha (2007)

http://www.airpiano.de/ --> 홈페이지에서는 2곡 연주하는 모습을 모두 볼 수 있다.

The AirPiano is an innovative musical interface which allows playing and controlling software instruments simply by moving hands in the air. Above the AirPiano is a virtual matrix of keys and faders, each assigned with MIDI messages and ready to be triggered. The length of a triggered note is equivalent to the time a hand is placed on the corresponding virtual key. This is also confirmed by LED feedback.The AirPiano Software allows easy setup, loading/saving presets and transposing notes. The AirPiano is still in its prototype phase and its concept of a virtual matrix might eventually be used for other applications and purposes. The AirPiano concept is filled as a Provisional U.S. Patent Application (Number: 60/989,986).

Specifications: Polyphonic, MIDI protocol, Up to 24 keys / 8 faders, USB connectivity

출처 : 몬스터 디자인(http://www.monsterdesign.co.kr/)

사용자 삽입 이미지

T9 입력방식의 개발자인 Cliff Kushler가 새로 선보인 터치 방식의 쿼티 입력... Swipe... 입력하고자 하는 알파벳위에서 스타일러스나 손가락으로 라인을 긋기만 하면 된다. 이제 자판의 위치를 외는게 아니라, 특정 단어를 쿼티키로 연결하는 라인 패턴을 외우게 될수도... 조만간, 애플 App store 에서 구입이 가능할지도 모름...

※ 참고1 : 아래 동영상은 거의 동일한 방식의 구글 안드로이드용 ShapeWriter WritingPad...



※ 참고2 : 아래 동영상은 국내 모비언스라는 회사에서 개발한 Sokey... (한글도 사용가능한 소프트웨어를 여기서 다운로드 할 수 있음.) --> http://www.mobience.com/sokey/download.html



※ 참고3 : 2004년 IBM 연구소의 Shumin Zhai가 개발한 SHARK Shorthand 관련 웹페이지 --> http://domino.watson.ibm.com/comm/research.nsf/pages/r.hci.innovation.html

출처 : 몬스터 디자인. 



토론토대학의 배석형, Ravin Balakrishnan, Karan Singh 3명이 개발중인 3D 커브 스케칭 시스템... 스타일러스로 선을 여러번 그어도, 가장 적절한 라인이 잡히고, 선과 선도 자동으로 연결되며, 대칭되는 라인도 자동으로 생성된다... 아래 링크에 가면 개발자에 대한 설명도 있고, 좀 더 자세한 설명의  논문 PDF도 다운로드 받을수도 있다.

http://www.dgp.toronto.edu/~shbae/ilovesketch.htm (홈페이지)

http://flvs.daum.net/flvPlayer.swf?vid=IuVjZROWRSw$ (동영상 보기)



출처 : 몬스터 디자인.