Canary Freamwork

深度学习分类图像分类模型对抗鲁棒性评估平台 An Adversarial Robustness Evaluation Platform for Deep Models on Image Classification

快速上手 →

最广泛的方法库

Canary为研究人员提供集成了29种被广泛使用的攻击方法、4类20种常用的防御方法（计划中）与18种人工智能模型的内置库。

最自由的集成框架

Canary为研究人员提供快速集成框架SEFI，仅需添加几行注解即可将自行实现的攻击、防御方法或模型接入平台，完成测试评估。

最全面的测评

Canary为研究人员提供方法/模型无关的13个攻击方面、3个模型方面和10个防御方面（计划中）的度量指标，并提供基准位次排序。

警告

您当前所阅读的文档系初期版本，该版本并不完整，作者正在尽力编辑并将持续更新。我们将尽快提供完整的文档，以及文档的英文版。如您有疑问，请咨询jiazheng.sun@bit.edu.cn以获取详细信息。

The document you are currently reading is an early version, which is incomplete and is being edited by the author and will be updated continuously. We will provide the complete document as soon as possible, as well as the English version of the document. If you have questions, please contact jiazheng.sun@bit.edu.cn for more information.

# 评估也可以开箱即用

仅需如下代码即可利用I-FGSM攻击在CIFAR10数据集上对ResNet模型进行测试：

import numpy as np
from canary_sefi.service.security_evaluation import SecurityEvaluation
from canary_sefi.task_manager import task_manager

# 加载Canary Lib中的模型
from canary_lib import canary_lib_model
from canary_lib import canary_lib_attacker
SEFI_component_manager.add_all(canary_lib_model)
SEFI_component_manager.add_all(canary_lib_attacker)

if __name__ == "__main__":
    # 初始化
    task_manager.init_task(show_logo=True, run_device="cuda")
    # 配置
    config = {
      "dataset_size": 1,
      "dataset": "CIFAR10", # 配置数据集
      "model_list": [ "ResNet(CIFAR-10)" ], # 指定参与模型
      "attacker_list": {"I_FGSM": ["ResNet(CIFAR-10)"]}, # 指定攻击方法与对应攻击模型
      "attacker_config": { # 指定攻击方法参数
        "I_FGSM": {
          "clip_min": 0, "clip_max": 1, "eps_iter": 2.5 * ((1 / 255) / 100), "nb_iter": 100,"norm": np.inf, "attack_type": "UNTARGETED", "epsilon": 1 / 255
        }
      }
    }
    # 执行测试
    security_evaluation = SecurityEvaluation(config)
    security_evaluation.attack_full_test()

# 引用我们的论文

我们诚挚希望Canary给您带来帮助，也欢迎您在使用Canary完成您的科研工作时引用我们的文献：

@Article{electronics12173665,
  AUTHOR = {Sun, Jiazheng and Chen, Li and Xia, Chenxiao and Zhang, Da and Huang, Rong and Qiu, Zhi and Xiong, Wenqi and Zheng, Jun and Tan, Yu-An},
  TITLE = {CANARY: An Adversarial Robustness Evaluation Platform for Deep Learning Models on Image Classification},
  JOURNAL = {Electronics},
  VOLUME = {12},
  YEAR = {2023},
  NUMBER = {17},
  ARTICLE-NUMBER = {3665},
  URL = {https://www.mdpi.com/2079-9292/12/17/3665},
  ISSN = {2079-9292},
  DOI = {10.3390/electronics12173665}
}

# 关于Canary的贡献者

我们感谢下述成员对Canary的贡献：

孙家正(Jiazheng Sun) \ 陈力(Li Chen) \ 夏晨笑(Chenxiao Xia) \ 张达(Da Zhang) \ 熊雯琦(Wenqi Xiong) \ 胡书杰(Shujie Hu) \ 刘倞(Jing Liu) \ 邱执(Zhi Qiu) \ 谭冬黎(DongLi Tan) \ 叶恒(Heng Ye) \ 黄蓉(Rong Huang) \ 马睿男(Ruinan Ma) \ 吴冠廷(Guanting Wu) \ 杨佳遥(Jiayao Yang) \ 许阳霄(Yangxiao Xu) \ 朱德华(Dehua Zhu)

我们还特别感谢其他开源项目对本项目的启发作用。

本项目是在北京理工大学网络空间安全学院的郑军(Prof.Jun Zheng) 教授 \ 谭毓安(Prof.Yu'an Tan) 教授的指导协助下完成的。

具体内容请参考关于Canary