尽管 3D 图形引擎取得了所有进步，但令我感到奇怪的是，音频并未受到同等程度的关注。现代游戏会实时渲染 3D 场景，但我们仍然会或多或少地获得伴随这些场景的预置音频。
想象一下——如果你愿意的话——一个 3D 引擎，它不仅可以模拟物品的物理外观，还可以模拟它们的音频属性。从这些模型中，它可以根据接触的材料、它们的速度、与虚拟耳朵的距离等动态生成音频。现在，当你蹲在沙袋后面，子弹从头顶飞过时，每个子弹都会发出独特而逼真的声音。
这种技术的明显应用将是游戏，但我相信还有许多其他可能性。
是否正在积极开发这种技术？有谁知道任何试图实现这一目标的项目？
谢谢，肯特
我曾经做过一些改进 OpenAL 的研究，模拟 3D 音频的问题在于你的大脑使用了太多的线索——不同角度的衰减略有不同，你前面和后面的声音之间的频率差异——对您自己的头脑非常具体，对其他人来说并不完全相同！
比如说，如果你想要一副耳机，让它听起来像一个生物在游戏中的树叶中和角色的前面，那么你实际上必须把那个玩家带进工作室，测量他们自己的特殊性耳朵和头部在不同距离改变声音的幅度和相位（幅度和相位不同，对大脑处理声音方向的方式都非常重要），然后教游戏对声音进行衰减和相移那个特定的球员。
确实存在用塑料模拟的“标准头”，用于获得头周围各个方向的通用频率响应曲线，但对于大多数玩家来说，平均或标准听起来永远不会完全正确。
因此，目前的技术基本上是向播放器出售五个便宜的扬声器，让他们将它们放在桌子周围，然后声音——虽然不是特别好再现——实际上听起来就像它们来自播放器的后面或旁边，因为，嗯，它们来自播放器后面的扬声器。:-)
但是有些游戏确实会费心计算声音如何通过墙壁和门被消音和衰减（这可能很难模拟，因为耳朵会在几毫秒的不同延迟内通过各种材料和反射表面接收相同的声音）环境，如果事情听起来很现实，所有这些都必须包括在内）。然而，他们倾向于将他们的库保密，因此像 OpenAL 这样的公共参考实现往往非常原始。
编辑：这是我当时找到的在线数据集的链接，可以用作创建更逼真的 OpenAL 声场的起点，来自 MIT：
http://sound.media.mit.edu/resources/KEMAR.html
享受！:-)
Aureal 早在 1998 年就这样做了。我仍然有他们的一张卡，尽管我需要 Windows 98 来运行它。
想象一下光线追踪，但有音频。使用 Aureal API 的游戏将提供几何环境信息（例如 3D 地图），而声卡将提供光线追踪声音。这就像听到你周围世界的真实事物一样。您可以将注意力集中在声源上，并在嘈杂的环境中关注给定的声源。
据我了解，Creative 在一系列专利侵权索赔（均被驳回）中以法律费用的方式摧毁了 Aureal。
在公共领域世界中，存在 OpenAL - OpenGL 的音频版本。我认为发展在很久以前就停止了。他们有一个非常简单的 3D 音频方法，没有几何结构——软件中不比 EAX 好。
EAX 4.0（我认为还有更高版本？）终于 - 十年后 - 我认为已经合并了 Aureal 使用的一些几何信息光线追踪方法（Creative 在折叠后购买了他们的 IP）。
SoundBlaster X-Fi 上的 Source (Half-Life 2) 引擎已经做到了这一点。
这真的很值得一听。您绝对可以听到回声与混凝土、木材、玻璃等之间的区别……
一个鲜为人知的侧面区域是 voip。虽然游戏拥有积极开发的软件，但您也可能会在玩游戏时花时间与他人交谈。
Mumble ( http://mumble.sourceforge.net/ ) 是使用插件来确定谁在和你玩的软件。然后它将其音频定位在您周围的 360 度区域中，因此左侧在左侧，在您身后听起来就像这样。这是一个令人毛骨悚然的现实添加，在尝试时它导致了“马可，马球”的有趣游戏。
音频在 vista 中发生了巨大的逆转，不再允许使用硬件来加速它。这就像在 XP 时代一样扼杀了 EAX。软件包装器现在正在逐步构建。
确实非常有趣的领域。太有趣了，我要写关于这个主题的硕士学位论文。特别是，它用于第一人称射击游戏。
到目前为止，我的文献研究清楚地表明，这个特定领域几乎没有理论背景。这方面的研究不多，大部分理论都是基于电影-音频理论。
至于实际应用，我目前还没有发现。当然，有很多标题和包支持实时音频效果处理，并根据审核员的一般环境应用它们。例如：听众进入大厅，因此对声音样本应用了回声/混响效果。这是比较粗暴的。视觉的类比是当有人关闭（或拍摄；））房间中五个灯泡中的一个时，将整个图像的 RGB 值减去 20%。这是一个开始，但根本不是很现实。
我发现的最好的工作是怀卡托大学 Mark Nicholas Grimshaw 的 (2007) 博士论文，名为“第一人称射击游戏的声学生态学” 。分析游戏音频的分类法和术语。他还认为，音频对于第一人称射击游戏的重要性被大大忽视了，因为音频是进入游戏世界的强大力量。
考虑一下。想象一下在没有声音但画面完美的显示器上玩游戏。接下来，想象一下在你闭上眼睛的同时听到你周围的真实游戏（游戏）声音。后者会给你更大的“身临其境”的感觉。
那么为什么游戏开发者还没有全心全意地投入其中呢？我认为这个问题的答案很明确：销售要困难得多。改进的图像很容易出售：您只需提供一张图片或电影，就很容易看出它有多漂亮。它甚至很容易量化（例如更多像素=更好的图片）。对于声音来说，这并不容易。声音的现实主义更具有潜意识，因此更难推向市场。
现实世界对声音的影响是下意识的。大多数人甚至从未注意到其中的大多数。其中一些效果甚至无法有意识地听到。尽管如此，它们都在声音的感知真实性中发挥了作用。你可以自己做一个简单的实验来说明这一点。下次你在人行道上行走时，仔细聆听环境的背景声音：风吹过树叶，远处道路上的所有汽车等等。然后，当你走近或远离时，听听这些声音是如何变化的一面墙，或者当你走在一个悬垂的阳台下，或者当你经过一扇敞开的门时。这样做，仔细听，你会发现声音有很大的不同。可能比你记忆中的要大得多。
在游戏世界中，这些类型的变化并没有体现出来。即使你没有（还）有意识地想念它们，但你的潜意识里却想念它们，这将对你的出现水平产生负面影响。
那么，与图像相比，音频必须有多好？更实用：现实世界中的哪些物理效果对感知的真实感贡献最大。这种感知的现实主义是否取决于声音和/或情况？这些是我希望通过我的研究来回答的问题。之后，我的想法是为音频引擎设计一个实用的框架，它可以根据可用计算能力的数量（动态地）对部分或全部游戏音频应用一些效果。是的，我把标准定得很高:)
我将从 2009 年 9 月开始。如果有人感兴趣，我正在考虑建立一个博客来分享我的进展和发现。
Janne Louw（荷兰莱顿大学计算机科学理学士）