智能扬声器中的内置麦克风会持续监听“热门单词”，然后发出命令。但是，这些不断收听的麦克风也会引起用户之间的隐私问题。这些包括正在记录的内容，如何使用数据，如何保护数据以及是否将其用于侵入性广告。此外，对Amazon Alexa Echo Dots的分析表明，“虚假音频记录中有30-38％是人类对话”，这表明这些设备严格在检测到热词之后才捕获音频。
    语音协助与隐私
    虽然语音助手提供了有价值的服务，但在各种社交环境（例如在公共场所或在其他用户周围）中使用它们时可能会有些犹豫。但是，直到最近，用户才开始通过与智能扬声器的交互而不是与电话的交互来与语音助手进行交互。在电话上，大多数语音助手可以选择通过物理按钮（例如，长按主屏幕按钮的Siri）进行操作，而不是仅通过智能扬声器中基于热词的操作进行操作。尽管这种区别通过限制麦克风的开启时间来增加了隐私，但用户感到必须先按下按钮才能消除语音交互的便利性。这种权衡并不是语音助手所独有的。随着越来越多的设备上线，便利与隐私之间的权衡越来越大。
    影响采用的因素
    尽管有许多因素影响智能扬声器的采用，特别是在隐私方面将优点和缺点定义为五个不同的类别：便利性、早期采用者的身份、促成因素、认为缺乏实用程序，隐私和安全问题。

    如果配置为不进行身份验证，则智能扬声器可以由目标用户以外的其他人激活。例如，演讲者可以听到房屋或办公室的访客，或者打开的窗户，部分墙壁或安全栅栏之外的公共访问区域的人员。一个团队展示了使用激光从街道对面的另一座建筑物通过封闭的窗户刺激智能扬声器和智能手机的麦克风的能力。