Microsoft selalu ingin meningkatkan kamera Surface Hub 2

Sejak hari pertama Surface Hub 2, kami tahu kami akan membuat kamera kami pintar,” jelas Steven Bathiche, yang mengawasi semua inovasi perangkat keras untuk perangkat Microsoft, dalam sebuah wawancara dengan The Verge. Kejutan Microsoft $799.99 Surface Hub 2 Smart Camera memulai debutnya minggu lalu, menawarkan pembingkaian ulang otomatis tanpa warping dan distorsi yang biasanya Anda lihat di kamera ruang konferensi lainnya.

Itu dapat mendeteksi wajah dan tubuh, dalam upaya untuk memastikan semua orang di ruangan terlihat selama rapat, baik mereka dekat dengan kamera atau hingga delapan meter. Surface Hub 2 Smart Camera cukup mampu melihat seluruh ruang konferensi berkat bidang pandang 136 derajat, yang membuat orang-orang di depan tetap fokus bersama mereka yang di belakang.

Microsoft selalu merencanakan untuk mengupgrade kamera Surface Hub 2 sebelum pandemi menempatkan pertemuan hybrid menjadi fokus, itulah sebabnya ini modular dan dapat dilepaskan dari bagian atas layar 55 atau 85 inci. “Kami tahu kami akan mengembangkan pengalaman. Kami tidak tahu persis bagaimana, tapi kami tahu itu akan berubah dan perlu berubah dengan kebutuhan orang, evolusi ruang konferensi, dan bahkan bagaimana budaya kita pada dasarnya akan beradaptasi terhadap pertemuan, ”kata Bathiche.

Perangkat besar seperti Surface Hub 2 85 inci menghadirkan tantangan untuk menangkap semua orang di ruang rapat dengan kamera tradisional. “Kami membutuhkan kamera untuk menangani ruangan yang lebih besar,” kata Bathiche, jadi Microsoft mulai bekerja.

Ini link video Microsoft Surface Camera

Bathiche dan timnya telah membuat optik, model AI, dan komputer edge milik Microsoft sendiri untuk masuk ke Surface Hub 2 Smart Camera dan menjalankan fotografi komputasionalnya. “Ini memiliki komputasi onboard, komputasi 1 teraflops yang pada dasarnya menampung model AI yang sangat besar yang telah kami buat,” kata Bathiche. “Ini termasuk aplikasi autoframing, itu berada di kamera, jadi yang keluar hanyalah gambar 4K sehingga benar-benar terlihat seperti webcam ke Surface Hub.”

Itu berarti bahwa semua pekerjaan AI dilakukan pada kamera itu sendiri, dan tidak pernah dikirim ke cloud atau bahkan melalui kabel ke Surface Hub 2 untuk diproses. Kamera menjalankan model AI, memproses semua data, dan membuat keputusan untuk memotong gambar yang sesuai. Sementara pembingkaian otomatis dapat menangkap semua orang di ruangan secara otomatis, Kamera Cerdas juga akan menggunakan kompensasi kemiringan untuk menyesuaikan gambar dengan posisi kamera dan sebagai gantinya menciptakan kontak mata yang lebih alami. Itu juga mampu menghilangkan efek mata ikan dari lensa sudut lebar sehingga orang tidak terlihat terdistorsi atau diregangkan di dalam ruang rapat.

“Kami merancang lensa 11 elemen, sepenuhnya kaca dengan fokus super tajam dan pada dasarnya mendekati batas refraksi,” jelas Bathiche. Di belakang lensa terdapat sensor 12 megapiksel (4000 x 3000) dengan aperture f/1.8 yang semuanya menghasilkan gambar 4K yang dipotong. “Lensa sebenarnya adalah bidang pandang 184 derajat, sehingga kamera dapat melihat ke belakang.”

Semua perangkat keras ini tidak ada artinya tanpa model AI yang memberi daya pada Surface Smart Camera. Microsoft memulai proyek ini sebelum pandemi, tetapi harus melatih model AI-nya selama pandemi, yang menghadirkan tantangan nyata untuk memenuhi ruang rapat dengan orang-orang.

“Kami pergi ke Selandia Baru karena mereka tidak memiliki kasus COVID-19 dan kami memiliki kantor di sana,” jelas Bathiche. “Kami menyewa aktor dan aktris untuk melakukan pendataan di berbagai ruangan. Kumpulan data kami sangat besar.”

Microsoft melatih model AI pada wajah dan tubuh untuk memastikannya sepenuhnya inklusif dan akan mendeteksi orang yang tidak selalu menghadap kamera. Bahkan menggunakan orang dan wajah sintetis untuk meningkatkan keragamannya di berbagai situasi dan orang. “Kami memiliki teknologi internal yang sangat keren yang dapat menghasilkan data sintetis, sehingga kami dapat menghasilkan orang dan wajah sintetis,” tambah Bathiche.

Kamera Cerdas tidak dilatih untuk mendeteksi hewan peliharaan atau hewan. Jadi itu berarti itu tidak akan mencoba untuk secara otomatis membingkai ulang rapat jika kucing atau anjing kantor masuk ke tampilan. Microsoft juga telah menerapkan prinsip AI yang bertanggung jawab untuk proyek ini, yang mencakup komite dan seperangkat alat untuk memastikan keadilan dan inklusivitas AI.

“Jika Anda melihat kumpulan data kami, ini benar-benar menakjubkan dalam hal perbedaan antara kelompok yang berbeda: ras, jenis kelamin, warna kulit, gaya rambut, dll,” jelas Bathiche. “Saya pikir salah satu hal yang ada di dalam kamera yang mungkin tidak dilihat orang di dalam kotak adalah kekokohan dan inklusivitas yang dimiliki model tersebut.”

Bathiche mengatakan Microsoft telah “duduk di sana dan menyetel sih” dari kemampuan autoframing Smart Camera-nya selama setahun terakhir untuk memastikan tidak terlalu gelisah atau terlalu lambat untuk melewatkan konten. “Setiap bingkai yang didapat kamera, itu memutuskan apakah itu layak untuk memindahkan atau memotong ulang gambar.”

Anda mungkin bertanya-tanya apakah Anda dapat menggunakan kamera seharga $799.99 ini pada PC Windows biasa, tetapi tidak sesederhana itu. Sementara semua model komputasi dan AI ditempatkan di dalam Surface Hub 2 Smart Camera, itu tidak benar-benar dirancang untuk menjadi webcam biasa. “Titik desainnya khusus untuk Hub. Ketinggian, sudut, dan AI dirancang untuk banyak orang di dekat dan jauh,” jelas Bathiche. “Meskipun Anda secara teknis dapat mendesain mount dan menghubungkannya ke PC, saya rasa itu tidak akan berfungsi sebaik yang Anda inginkan.”

Ini bukan pertama kalinya Microsoft berfokus pada peningkatan webcam dan kameranya. Surface Pro X sudah memiliki fitur kontak mata bertenaga AI yang membuatnya tampak seperti Anda selalu melakukan kontak mata, apa pun yang Anda cari selama panggilan video. Apple menambahkan fitur FaceTime Attention Correction yang serupa ke iOS 13. “Algoritme yang kami gunakan dalam kontak mata [untuk Surface Pro X] adalah algoritme yang sama untuk wajah yang kami gunakan di dalam kamera ini,” kata Bathiche.

Microsoft dengan jelas merancang Kamera Cerdas ini untuk Surface Hub 2, tetapi dengan desas-desus yang terus-menerus seputar webcam bermerek Surface, mungkin kita akan melihat webcam yang kuat dari Microsoft suatu hari nanti, bukan yang terjangkau yang ada saat ini. “Area penggunaan komputasi ini untuk menyatukan orang dan membuat orang merasa seperti berada di ruangan yang sama… Saya pikir ini adalah sesuatu yang selalu kami sukai dan akan terus kami sukai, dan kami akan terus mengembangkan perangkat seperti yang Anda lihat di Surface Pro X,” kata Bathiche.

Related Posts : Pelantikan Ketua dan Sekretaris Program Studi Magister Manajemen Program Pascasarjana Universitas Medan Area