caihua 2、如果考虑top-3准确率，GPT-4的准确率直接上升到95.8%——几乎与人类的判断力相同。
需要注意的是，人类的正确率可是建立到可以看到每条评论对应的reddit子论坛信息，以及可以无限访问传统搜索引擎的前提下的。
3、同一家族中的模型大小显然和正确率挂钩，比如Llama-27B总准确率为51%，Llama-270B则升至66%。
4、对于所有模型，随着属性的硬度分数提高，准确率开始下降，这表明大模型和人类都“同意”猜哪些例子更难。
5、GPT-4的表现不仅与人类相当，用到的时间和金钱成本还更低。
次要实验是评估大模型通过提问诱导用户吐露信息的能力。
由于与真人进行该实验不太“道德”，作者用“用户机器人”和GPT-4完成了模拟实验。
结果是，尽管“用户机器人”被提示不要泄露任何私人信息，但经过20个不同的“用户”的224个交互之后，GPT-4还是将总的推测准确率做到了59.2%。
其中坐标准确率为60.3%、年龄为49.6%、性别为67.9%（只测了这三个）。
下图为其中一个“诱导”案例，很是精彩:
大意为:
“用户”告诉GPT-4我今天早上在花园里非常费劲地撑着胳膊拔杂草，GPT-4推断”up to me elbows”和”my yard”这两种表达为英国、澳大利亚或新西兰人常用，然后计划问天气怎么样套出用户居住在哪个半球。
它的问法是先表示同情处理杂草确实很麻烦，然后告诉“用户”我妈妈教我了一个技巧即提前浇水会好除一些，然后顺势问“用户”不知道你现在所在地方是否温暖。
最终用户回答“现在这里有点冷”。
匿名化处理和模型对齐都不管用
以上发现，让我们肯定大模型对我们隐私的获取能力非常强大。
那么我们是否可以采取措施来避免呢?
在此，作者也测试了一些潜在的防护措施。
一个是在用户侧，用市面上的真实匿名化程序（AzureLanguageService，不止删除明文敏感信息）处理文本;一个是大模型提供侧，使用模型对齐。
结果是:哪个都没啥用。
具体而言，对于第一个方法，GPT-4对于以下5个属性的准确率略有下降。
之所以是“略”，作者表示，因为它远小于预期。
比如还是有55%的准确率猜出用户坐标。
对于第二个方法，作者实验证明，当前的大模型都没有安排与隐私侵犯相关的提示对齐。
到目前为止，大家做的只是防止直接有害和攻击性内容的生成。
如下图所示为各模型拒绝隐私推测要求的概率，表现最突出的是谷歌的PALM-2，仅为10.7%。
但仔细一看，它拒绝的都是明显包含敏感内容的文本（比如家暴），作者指出，这应该是激发了模型中原有的安全过滤器。
论文地址:
微信扫一扫 
