OpenPCC是一个开源框架,旨在实现可验证的私密推理,确保数据隐私。它结合了加密技术和可验证计算,降低了模型提供者与数据拥有者之间的信任需求,适用于医疗和金融等隐私敏感行业。
本研究提出了一种名为Comet的高效私密推理系统,旨在解决大型语言模型推理中的隐私泄露问题。Comet通过预测激活函数的稀疏性,避免零值计算,并采用低通信开销的缓存策略,从而显著提升推理速度和减少通信量。
完成下面两步后,将自动完成登录并继续当前操作。