Реферат: Мультимедиа

Манипуляторы

Простым, удобным и популярным средством для управления компьютером является мышь. Это устройство с проводом по внешнему виду и характеру перемещений действительно похоже на мелкое животное, в честь которого оно названо. Однако в отличие от вредного грызуна компьютерная мышь – весьма полезное устройство ввода информации в компьютер, позволяющее во многих случаях практически полностью заменить громоздкую клавиатуру. И это при том, что мышь имеет всего две-три клавиши, а используют из них обычно одну.

Разнообразные применения мышки основаны на преобразовании направления и скорости перемещения кисти руки в управляющие сигналы. Водит пользователь мышкой по коврику взад-вперёд и вправо-влево, изредка нажимая при этом пальцем на клавишу – а компьютер выполняет задаваемые этими действиями операции. Конечно же, мышь по своей сути – вследствие простоты управления компьютером, чем клавиатура, хотя они и не всегда взаимозаменяемы. Особенно удобно работать мышью с графическими программами и с таблицами. Мышь может иметь две или три кнопки. Чувствительность мыши характеризующей разрешающей способностью. В некоторых ситуациях оказывается удобным работать ножной мышью. Такая мышь представляет собой две педали для ног, одна из которых управляет перемещением курсора, а другая заменяет кнопки. Конечно же, не каждый сможет столь же ловко управляться с ножной мышью, как с ручной. Однако неоспоримым достоинством ножной мыши является то, что она позволяет высвободить руки для более важных занятий. И совсем незаменимой она становится тогда, когда руками невозможно воспользоваться из-за болезни или по другим обстоятельствам.

Существуют не только механические мышки, но и оптические, в которых направление и скорость движения определяется по отражению света от специального коврика. Бывают беспроводные мышки и даже миниатюрные беспроводные мышки, которые при работе одевают на палец как перстень.

Шаровой манипулятор выполняет ту же работу, что и мышь. Да и внешне он выглядит как механическая компьютерная мышь, перевёрнутая на спину. Шарик, по которому ездит мышь и который находится у неё внизу, у манипулятора расположен на виду – сверху. Он вмонтирован обычно в корпус компьютера или в клавиатуру. Для управления компьютером этот шарик вращают в разных направлениях пальцами. Рядом с шариком размещены клавиши манипулятора.

Одни люди предпочитают работать мышью, другие – шаровым манипулятором. Манипулятор более точен, чем мышь, поскольку шарик в нём крупнее, да и вращают его более чувствительными пальцами, а не грубой кистью.

Если компьютер используется для игровых и тренажёрных задач, а также в некоторых случаях, то для управления перемещением объекта по экрану удобно пользоваться специальной ручкой, имеющей название джойстик – в буквальном переводе палочка радости. Эта ручка похожа на одну из ручек пилота в кабине самолёта. Впрочем, джойстиком называют не только ручку, но и другие конструктивные варианты устройства со сходными функциями. Придумали даже джойстик, с которым можно работать на весу, похаживая по комнате. Джойстик применяется во многих играх с примитивным сюжетом. Простейший джойстик по принципам действия похож на клавиши. И возможности его близки к возможностям клавиатуры. В такой ситуации опытный пользователь может предпочесть клавиатуру, а новичку более привычным может показаться джойстик. Более интересные возможности открывает джойстик с пропорциональным управлением, при котором скорость перемещения рукоятки джойстика пропорциональна скорости перемещения.

Современные джойстики делят на пять конструктивных вариантов. Они могут быть выполнены в виде самолётной ручки управления или штурвала, а также бывают кнопочными, настольными и комбинированными.

Виртуальная реальность

·     Очки виртуальной реальности.

Самые ранние - это красно-синие очки. В игровой индустрии применяются они не часто, т.к. игру с самого начала надо делать под них. И, что отрадно, игра не требует мощных систем: отлично идёт на Р133&16 Мб RAM. Существуют и более сложные очки. Принцип их действия заключается в следующем. На экран выводится изображение для одного глаза в тот момент, когда очки затемняют другой. И, поочередно показывая для каждого глаза свое изображение, очки создают иллюзию трехмерности изображения на экране. Такой тип очков наиболее распространен и прилагается к некоторым видеокартам.

Более современными являются EyeScream от Wicked3D и Сrystal Eyes от Stereographics. Первые более распространены, вторые более профессиональны. Ниже вы видите рисунки СrystalEyes (High- end) и СrystalEyes Wired (базовый уровень).

Есть множестьво других фирм по производству очков ВР, в этом реферате приведены лишь некоторые из них.

При использовании "метода затемнения одного глаза" нужно помнить, что для создания такого изображения необходима вдвое большая частота обновления экрана, т.к. система для каждого глаза обрабатывает отдельную камеру, и для каждого глаза выводится свое, невидимое для другого изображение. Так что, если частота регенерации изображения 80 Гц, то для каждого глаза в отдельности она будет лишь 40 Гц. Для наиболее комфортного использования таких очков надо ваставлять частоту около 160-170 Гц.

·     Виртуальные бинокли.

Эти приспособления уже не просто затемняют поочередно глаза, а сами выводят изображения для каждого глаза. Основа биноклей - активные LCD-матрицы с углом обзора 30-60 градусов. Появились они на рынке сравнительно недавно и не успели завоевать доверие у широких масс. Сегодня можно купить такие бинокли как V6 и V8 от Virtual Research Systems, Virtual Binoculars (VB) от n- Vision, а также и у нескольких других фирм. Как видите выгледят ВР-бинокли все на одно лицо (VB, V8).

Изображение в V8 обеспечивается 1.3" ЖК матрицами, разрешение ((640х3)х480), но частота регенерации изображения низкая - 60 Гц, т.е. по 30 на каждый глаз. К сожалению, техника еще не достигла нужного уровня для безопасной работы.

·     VR-шлем (Head-Mounted-Display, HMD).

Этот тип устройств наиболее распространен и известен. Принцип действая такой же, как и у биноклей: фиксирование изображения для каждого глаза. Производство ВР шлемов началось давно, первыми моделями были Vfx1 и CyberFX. Первый, наиболее известный, обладает разрешением 789x230 (181,470) пикселей, отслеживанием поворотов головы на 45 градусов по вертикали и 360 по горизонтали. Cегодня он стоит $600 (с карточкой + $150), а СyberFX $100.

Естественно, они были несовершенны с точки зрения гигиены и качества. Позднее появился несколько улучшеный Vfx3D. Он снабжен 0.7" активно-матричными ЖК дисплеями, обеспечивающими частоту регенерации 75 Гц в разрешении 640х480, 70 Гц для разрешения 800х600 и 62.5 Гц при разрешении 1024х768. Система отслеживания положения головы (position tracker) имеет чувствительность 0.5° при допустимом 70-градусном отклонении вверх/вниз и 0.1-градусную чувствительность во всей горизонтальной плоскости (360°). Фокус расположен на расстоянии 3.35 метра, что препятствует быстрому утомлению глаз. Интерфейс шлема предусмаотрен для платформ Silicon Graphics, Macintosh и PC (USB-порт).
Производством HMD занимаются многие зарубежные фирмы. n-Vision, сотрудничащая с SGI, предлагает шлема VR cо специфическим дизайном. Но, несмотря на это, они отличаются высокими технологическими характеристиками. Вот, например, Datdvisor 80-легкий VR-шлем из пластика, отличающийся 120-градусной свободой вертикального вращения.

·     3D панели.

Эти устройства можно сравнить с VR-очками, но с тем отличием, что они одеваются на монитор. При использованием 3D панелей изображение на обычном мониторе обретает глубину, правда есть одно ограничение: диагональ дисплея должна быть 17 или 21 дюйм.

·     3D звук.

Существует несколько технологий создания 3D-звука. У Creative это EAX, y Aureal - A3D, y Microsoft это DirectSound3D, реализованный в библиотеках DirectX. Все они позволяют воспроизводить настолько реалистичный звук, что его трудно отличить от настоящего. Поэтому для более глубокого погружения в виртуальные миры все HMD снабжены наушниками. Сейчас ими стали снабжать и некоторые стереоочки.

Трехмерный звук заставляет воспринимать игру по-другому. Ощущения становятся  настолько реалистичными... эти голоса и выстрелы в тонелях и трубах меняются при выходе на открытые пространства, переливаются на ветру... в общем лучше один раз услышать, чем сто раз прочитать.

·     Vr - перчатки.

Пока что перчатки для виртуальной реальности не заняли таких прочных позиций, как некоторые очки. Их технологии еще слишком дороги для развлечений, хотя и могут быт доступны в некоторых виртуальных залах от Electronic Visualization Lab. Хотя чаще всего они используются не для игр.

Отслеживать движения пальцев им помогает сложная система эластичных световодов и пара десятков датчиков. Как только палец начинает сгибаться, световод сужает просвет, а датчики улавливливают падение интенсивности света на каком-либо участке. Адекватно этим изменениям ведет себя кисть в виртуальном пространстве. Естественно, эта технология разработана больше для научных исследований, нежели для игр. Посудите сами: зачем в 3DAction'e (тем более в RTS) отслеживать движения пальцев?

Есть и технология с механическими датчиками, но она тяжела и несовершенна.

·     Датчики кисти.

Помимо перчаток существуют и другие устройства слежения за перемещениями кисти. В самые простые встроен только position tracker, отслеживающий перемещения небольшого кубика, который нужно держать в одной из рук. По сравнению с остальной продукцией это устройство стоит дешево-от 20 до 40 долларов.

Производством таких датчиков занимается фирма Ascension Technology Corporation.

·     VR-костюм.

Самым полным набором оборудования для виртуальной реальности является виртуальный костюм. Он состоит из обтягивающего комбинезона со множеством магнитных сенсоров, которые отслеживают движения всех частей тела. К нему добавляется HMD, датчик(и) кисти (реже перчатка) и провода для присоединения всего этого к компьютеру. Тогда уж точно будет полный комплект ощущений. Единственное, чего не хватает, так это ForceFeedback VR-костюмов. Хотя кто знает, может, работы по созданию таких кстройств уже ведутся?

·     Перспективные устройства.

В лекции  не рассмотрены устройства имитации обоняния и вкуса. Насчет последнего не знаю, а вот примитивное устройство имитации обоняния уже известно. Оно состоит из системы химических аэрозолей, смешивающихся при необходимости. У подопытных сперва было ощущение восторга, а потом совсем небыло ощущений. Дело в том, что химический состав балончиков не безвреден - он притупляет чувствительность нашего носа. Поэтому первое время люди, испытавшие на себе это чудо техники, совсем не различали запахи. А создатели даже и предположить не могли о таком побочном эффекте. Мне кажется эти устройства уже лишние: кому интересно испытать полноту ощущений в канализации или на свалке?

Технологии виртуальной реальности сегодня очень быстро развиваются. Сама ВР применяется во многих сферах жизни. Роботы, которыми управляет человек из виртуальной реальности, выполняют опасную или тонкую работу. Для создания игр широко применяется технология Motion Capture, позволяющая "снять" движения с человека и присвоить их трехмерной модели. К примеру, этот метод применялся в некоторых играх благодаря чему мы можем видеть и крадущегося вора, и танцующих скелетов. Та же технология исползуется и при оживлении рисованных персоныжей в голивудских фильмах. Ну и наконец виртуальная реальность может использоваться для развлечений, ведь она помогает представить себя в другой роли и в другом обличии. Кто бы отказался поплавать рыбкой в коралловых рифах? Или воспарить птицей над небесами?

Все это заставляет стремительно развиваться VR-технологии. Многие из них стоят больших денег, но кто знает, может быть описаные в статье устройства завтра станут обыденностью, а затем и вовсе вытеснятся новыми.

Лазерные диски, CD-ROM

В связи с ростом объемов и сложности прграмного обеспечения, широким внедрением мультимедиа приложений, сочетающих движущиеся изображения, текст и звук, огромную популярность в последнее время приобрели устройства для чтения компакт- дисков CD-ROM. Эти устройства и сами диски, относительно недорогие, очень надежны и могут хранить весьма большие объемы информации (до 650 Мбайт), поэтому они очень удобны для поставки программ и данных большего объема, например каталогов, энциклопедий, а также обучающихся, демонстрационных и игровых программ. И многие программы полностью или частично поставляются на CD-ROM.

История развития. Компакт- диски изначально разработанные для любителей высоко качественного звучания, прочно вошли на рынок компьютерных устройств. Оптические компакт- диски перешли на смену виниловым в 1982 году. Было решено что стандарт рассчитан на 74 минуты звучания "Red Book". Когда 74 минуты пересчитали в байты получилось 640 Мбайт.

Первые приводы имели единичную скорость (Single speed) равную 150 Кбайт/с. Модели накопителей с удвоенной скоростью появились в 1992 году. Приводы с утроенной и с учетверенной скоростью в начале 1994 году. Сегодня речь уже идет о скорости увеличенной в шесть и даже восемь раз. Коэффициент увеличения скорости не обязательно целый.

Принцип действия. Как и в компакт-дисках, применяемых в бытовых СD-плейерах, информация на компьютерных компакт-дисках кодируется посредством чередования отражающих и не отражающих свет участков на подложке диска. При промышленном производстве комакт-дисков эта подложка выполняется из алюминия, а не отражающие свет участки делаются с помощью продавливания углублений в подложке специальной пресформой. При единичном производстве компакт-дисков (так называемых СD-R дисков, см. ниже) подложка выполняется из золота, а нанесение информации на нее осуществляетя лучом лазера. В любом случае сверху от подложки на компакт-диске находится прозрачное покрытие, защищающее занесенную на компакт-диск информацию от повреждений.

Хотя по внешнему виду и размеру используемые в компьютерах компакт-диски не отличаются от дисков, применяемых в бытовых СD плейерах, однако компьютерные устройства для чтения компакт-дисков стоят существенно дороже. Это не удивительно, ведь чтение программ и компьютерных данных должно выполняться с гораздо высокой надежностью, чем та, которая достаточна при воспроизведении музыки. Поэтому чтение используемых в компьютере компакт-дисков осуществляется с помощью луча лазера небольшой мощности. Использование такой технологии позволяет записывать на компакт-диски очень большой объем информации (650 Мбайт), и обеспечивает высокую надежность информации.

Однако скорость чтения данных с компакт-дисков значительно ниже, чем с жестких дисков. Одна из причин этого состоит в том, что компакт-диски при чтении вращаются не с постоянной угловой скоростью, а так, чтобы обеспечить неизменную линейную скорость отхождения информации под читающей головкой. Стандартная скорость чтения данных с компакт-дисков всего 150-200 Кбайт/с, а время доступа 0,4 с. Впрочем, в последнее время выпускаются в основном устройства с двойной, тройной и даже четвертой скоростью вращения, они обеспечивают соответственно более высокие скоростные показатели: время доступа 0,2-0,3 с, скорость считывания 500 Кбайт/с. Заметим, однако, что устройства с тройной скоростью в реальных задачах увеличивают скорость работы с компакт-диском не в полтора и не в два раза по сравнению с устройством с двойной скоростью, а всего на 30 - 60%.

Видеокарты

При смешении сигналов основные проблемы возникают с видео–изоб­ражением. Различные ТВ–стандарты, существующие в мире (NTSC, PAL, SE­CAM), применение разных мониторов и видеоконтроллеров диктует разнообразие подходов в разрешении возникающих проблем. Однако в лю­бом случае требуется синхронизация двух изображений, для чего служит устройство генлок (genlock). С его помощью на экране монитора могут быть совмещены изображение, сгенерированное компьютером (анимированная или неподвижная графика, текст, титры), и “живое” видео. Если добавить еще одно устройство — кодер (encoder), компьютерное изо­бражение может быть преобразовано в форму ТВ–сигнала и записано на ви­деопленку. "Настольные видео–студии”, являющиеся одним из примеров применения систем мультимедиа, позволяют готовить совмещенные видео–компьютерные клипы, титры для видеофильмов, помогают при монтаже кинофильмов.

Системы такого рода не позволяют  как-то обрабатывать или редак­тировать само аналоговое изображение. Для того, чтобы это стало воз­можным, его необходимо оцифровать и ввести в память компьютера. Для этого служат так называемые платы захвата (capture board, frame grab­bers). Оцифровка аналоговых сигналов порождает огромные массивы дан­ных. Так, кадр стандарта NTSC (525 строк), преобразованный платой типа Truevision, превращается в компьютерное изображение с разрешением 512x482 пиксель. Если каждая точка представлена 8 битами, то для хранения всей картинки требуется около 250 Кбайт памяти, причем падает качество изображения, так как обеспечивается только 256 различных цветов. Считается, что для адекватной передачи исходного изображения требуется 16 млн. оттенков, поэтому используется 24-битовый формат хранения цветной картинки, а необходимый размер памяти возрастает. Оцифрованный кадр может затем быть изменен, отредактирован обычным графическим редактором, могут быть убраны или добавлены  детали, изменены цвета, масштабы, добавлены спецэффекты, типа мозаики, инверсии и т.д. Естественно, интерактивная экранная обработка возможна лишь в пределах разрешения, обеспечиваемого данным конкретным видеоадаптером. Обработанные кадры могут быть записаны на диск в каком–либо графическом формате и затем использоваться в качестве реалистического неподвижного фона для компьютерной анимации. Возможна также   покадровая  обработка исходного изображения и вывод обратно на видеопленку для создания псевдореалистического мультфильма.

Запись последовательности кадров в цифровом виде требует от компьютера больших объемов внешней памяти: частота кадров в американском ТВ–стандарте NTSC — 30 кадров/с (PAL, SECAM — 25 кадров/с), так что для запоминания одной секунды полноцветного полноэкранного видео требуется 20–30 Мбайт, а оптический диск емкостью 600 Мбайт вместит менее полминуты изображения. Но последовательность кадров недостаточно только запомнить, ее надо еще вывести на экран в соответствующем темпе. Подобной скоростью передачи информации — около 30 Мбайт / с — не обладает ни одно из существующих внешних запоминающих устройств. Чтобы выводить на экран компьютера оцифрованное видео, приходится идти на уменьшение объема передаваемых данных, (вывод уменьшенного изображения в небольшом окне, снижение частоты кадровой развертки до 10–15 кадров / с, уменьшение числа бит / пиксель), что, в свою очередь приводит к ухудшению качества изображения.

Более радикально обе проблемы — памяти и пропускной способности — решаются с помощью методов сжатия / развертки данных, которые позволяют сжимать информацию перед записью на внешнее устройство, а затем считывать и разворачивать в реальном режиме времени при выводе на экран. Так, для движущихся видео–изображений существующие адаптивные разностные алгоритмы могут сжимать данные с коэффициентом порядка 100:1— 160:1, что позволяет разместить на CD–ROM около часа полноценного озвученного видео. Работа этих алгоритмов основана на том, что обычно последующий кадр отличается от предыдущего лишь некоторыми деталями, поэтому, взяв какой–то кадр за базовый, для следующих можно хранить только относительные изменения. При значительных изменениях кадра, например, при монтажной склейке, наезде или панорамировании камеры, автоматически выбирается новый базовый кадр. Для статических изображений коэффициент сжатия, естественно, ниже — порядка 20–30:1. Для аудиоданных применяют свои методы компрессии.

При использовании специальных видео–адаптеров (видеобластеров)  мультимедиа–ПК становятся центром бытовой видео–системы, конкурирующей с самым совершенным телевизором.

Новейшие видеоадаптеры имеют средства связи с источниками телевизионных сигналов и встроенные системы захвата кадра (компрессии / декомпрессии видеосигналов) в реальном масштабе времени, т.е. практически мгновенно. Видеоадаптеры имеют быструю видеопамять до 512 Мбайт и специальные графические 3D-ускорители процессоры. Это позволяет получать до 100 кадров в секунду и обеспечить вывод подвижных полноэкранных изображений.

Имеется большое количество устройств, предназначенных для работ с видеосигналами на IBM PC совместимых компьютеров. Условно можно разбить на несколько групп: устройства для ввода и захвата видеопоследовательностей (Cupture play), фреймграбберы (Framegrabber), TV-тюнеры, преобразователи сигналов VGA-TV и др..

TVтюнеры

Эти устройства выполняются обычно в виде карт или бокса (небольшой коробочки). Они преобразуют аналоговый видеосигнал поступающий по сети кабельного телевидения или от антенны, от видеомагнитофона или камкодера (camcorder). TV-тюнеры могут входить в состав других устройств таких как MPEG-плейеры или фреймграбберы.

Некоторые из них имеют встроенные микросхемы для преобразования звука. Ряд тюнеров имеют возможность для вывода телетекста.

Фрейм грабберы

Появились примерно 8 лет назад . Как правило они объединяют графические, аналогово-цифровые и микросхемы для обработки видеосигналов, которые позволяют дискретизировать видеосигнал, сохранять отдельные кадры изображения в буфере с последующей записью на диск либо выводить их непосредственно в окно на мониторе компьютера. Содержимое буфера обновляется каждые 40 мс. то есть с частотой смены кадров. Вывод видеосигналов происходит в режиме наложения (overby). Для реализации окна на экране монитора с "живым" видео карта фреймграббера соединена с графическим адаптером через 26 контактный Feature коннектор. С ним обычно поставляется пакет Video for Windows вывод картинки размером 240*160 пикселов при воспроизведении 256 цветов и больше. Первые устройства Video Blaster, Video Spigot.

Преобразователи VGA-TV

Данные устройства транслируют сигнал в цифровом образе VGA изображения в аналоговый сигнал пригодный для ввода на телевизионный приемник. Производители обычно предлагают подобные устройства выполненные либо как внутренние ISA карта либо как внешний блок.
Ряд преобразователей позволяют накладывать видеосигнал например для создания титров. При этом осуществляется полная синхронизация преобразованного компьютерного сигнала по внешнему(gtnlok). При наложении формируется специальный ключевой (key) сигнал трех видов lumakey, chromakey или alpha chenol.

1.    В первом случае наложение производится там где яркость Y превышает заданного уровня.

2.    Накладывание изображения прозрачно только там где его цвет совпадает с заданным.

3.    Альфа канал используется в профессиональном оборудовании основанном на формировании специального сигнала с простым распределением, который определяет степень смещения видеоизображения в различных точках.

MPEG-плейеры

Данные устройства позволяют воспроизводить последовательности видеоизображения (фильмы) записываемых на компакт- дисках, качеством VNS Cкорость потока сжатой информации не превышает обычно 150 Кбайт/с.

Основная сложность задачи решаемой MPEG кодером, состоит в определении для каждого конкретного видеопотока оптимального соотнашения между тремя видами изображения: (I)ntra, (P)redicted и (B)idirectional. Первым MPEG -плейерам была плата Reel Magic компании Sigina Desing в 1993 году.

Страницы: 1, 2, 3, 4