Gemini的音乐联觉真的有点东西
Gemini联觉猜歌极准，或因embedding空间接近。
关键信息
- Gemini AI 在根据个人主观描述（如“沾着露水的鲜花”）猜测古典音乐作品方面表现出惊人的准确率，且远高于其在客观地理知识（猜城市/旅游景点）方面的表现。
- 楼主认为 Gemini 的联觉能力已超越大部分人类，改变了他对 AI 在人文领域表现的固有认知。
- 有用户提出，人类情感可能具有很强的客观性或公式化特征，AI 通过学习捕捉这些模式；优秀的艺术作品能够跨越时间和个体差异，在不同赏析者心中激发出惊人一致的画面感和感受。
- dreads 对 Gemini 能够找到对应音乐表示惊讶并附带图片，将其准确性比作“电子算命”，表达了对其能力的惊叹和不解。
争议或不同意见
- AI 能力来源的解释：
- 语料训练说： 主流观点认为 AI 是通过大量训练语料（乐评、赏析文本）学习到的。但楼主反驳称，他使用的比喻具有很大的个人色彩，不太可能完全被现有语料覆盖。
- Universal Embedding说（#22）： evilcatx 指出 Gemini 启用了 universal embedding，所谓的“联觉”本质上是不同模态（audio、image、video 等）在 embedding space 中距离较近的表现，这里的联觉实际上是人类在没有生理通感情况下的 emotion（情感）表述。
- 真假通感的区别（#22）： evilcatx 建议楼主了解真正具有通感（synesthesia）人群的故事（如能尝到音乐或听到气味），以区分 AI 的情感表述与人类真实的生理通感。
- 有用户建议通过测试 AI 训练截止日期之后发布的音乐来验证其能力是“理解”还是“堆积”。
值得跟进
- 用户可以尝试用 Gemini 进行类似的古典音乐联觉测试。
- 建议使用 Gemini 训练截止日期之后发布的新音乐作品进行测试，以探究并验证其能力边界。