数据增强，扩充了数据集，增加了模型的泛化能力

数据增强（Data Augmentation）是在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原数据的数量及质量，以接近于更多数据量产生的价值。

其原理是，通过对原始数据融入先验知识，加工出更多数据的表示，有助于模型判别数据中统计噪声，加强本体特征的学习，减少模型过拟合，提升泛化能力。

机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集，或者换句话说，我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。

如经典的机器学习例子–哈士奇误分类为狼：通过可解释性方法，可发现错误分类是由于图像上的雪造成的。通常狗对比狼的图像里面雪地背景比较少，分类器学会使用雪作为一个特征来将图像分类为狼还是狗，而忽略了动物本体的特征。此时，可以通过数据增强的方法，增加变换后的数据(如背景换色、加入噪声等方式)来训练模型，帮助模型学习到本体的特征，提高泛化能力。图像本身的变化将有助于模型对未见数据的泛化，从而不会对数据进行过拟合。

需要关注的是，数据增强样本也有可能是引入片面噪声，导致过拟合。此时需要考虑的是调整数据增强方法，或者通过算法(可借鉴Pu-Learning思路)选择增强数据的最佳子集，以提高模型的泛化能力。

PU Learning（Positive-unlabeled learning）是半监督学习的一个研究方向，指在只有正类和无标记数据的情况下，训练二分类器。

启发式地从未标注样本里找到可靠的负样本，以此训练二分类器，该方法问题是分类效果严重依赖先验知识。

将未标注样本作为负样本训练分类器，由于负样本中含有正样本，错误的标签指定导致分类错误。

单样本增强

单(图像)样本增强主要有几何操作、颜色变换、随机擦除、添加噪声等方法。在计算机视觉中，典型的数据增强方法有翻转（Flip），旋转（Rotat ），缩放（Scale），随机裁剪或补零（Random Crop or Pad），色彩抖动（Color jittering），加噪声（Noise）

imgaug是一款非常有用的python图像增强库，非常值得推荐应用于深度学习图像增强。其包含许多增强技术，支持图像分类，目标检测，语义分割，热图、关键点检测等一系列任务的图像增强。

多样本数据增强方法

多样本增强是通过先验知识组合及转换多个样本，主要有Smote、SamplePairing、Mixup等方法在特征空间内构造已知样本的邻域值。

Transforms 是常用的图像数据增强模块。可以使用 Compose 将它们链接在一起。

可视化数据增强：

import PIL.Image as Imageimport torchfrom torchvision import transformsimport matplotlib.pyplot as pltimport numpy as npimport warningsplt.rcParams['font.sans-serif'] = ['SimHei']    # 显示中文plt.rcParams['axes.unicode_minus'] = False        # 显示负号def imshow(img_path, transform):    """    Function to show data augmentation    Param img_path: path of the image    Param transform: data augmentation technique to apply    """    img = Image.open(img_path)    fig, ax = plt.subplots(1, 2, figsize=(10, 4))    ax[0].set_title(f'原图 {img.size}')    ax[0].imshow(img)    img = transform(img)    ax[1].set_title(f'变换后 {img.size}')    ax[1].imshow(img)    plt.show()path = 'imgs/000000000049.jpg'

Resize/Rescale：用于将图像的高度和宽度调整为我们想要的特定大小。

transform = transforms.Resize((640, 640))imshow(path, transform)

Cropping：将要选择的图像的一部分应用于新图像。例如，使用 CenterCrop 来返回一个中心裁剪的图像。

 transform = transforms.CenterCrop((640, 640))

RandomResizedCrop：这种方法同时结合了裁剪和调整大小。

transform = transforms.RandomResizedCrop((640, 640))

Flipping：水平或垂直翻转图像

 transform = transforms.RandomHorizontalFlip()

Padding：填充包括在图像的所有边缘上按指定的数量填充。

 transform = transforms.Pad((50,50,50,50))

Rotation：对图像随机施加旋转角度。

transform = transforms.RandomRotation(45)

Random Affine：对图像进行仿射变换，仿射变换是 2 维的线性变换，由 5 种基本操作组成，分别是旋转、平移、缩放、错切和翻转。RandomAffine — Torchvision main documentation (pytorch.org)

transform = transforms.RandomAffine(1, translate=(0.5, 0.5), scale=(1, 1), shear=(1,1), fillcolor=(256,256,256)) 

Gaussian Blur：图像将使用高斯模糊进行模糊处理。

 transform = transforms.GaussianBlur(7, 3)

Grayscale：将彩色图像转换为灰度。

transform = transforms.Grayscale(num_output_channels=3)

Brightness:改变图像的亮度当与原始图像对比时，生成的图像变暗或变亮。

transform = transforms.ColorJitter(brightness=2)

Contrast：图像最暗和最亮部分之间的区别程度被称为对比度。图像的对比度也可以作为增强进行调整。

transform = transforms.ColorJitter(contrast=2)

Saturation:图片中颜色的分离被定义为饱和度。

transform = transforms.ColorJitter(saturation=20)

Hue：色调被定义为图片中颜色的深浅。

transform = transforms.ColorJitter(hue=0.4)  #hue:[-0.5,0.5]

图像本身的变化将有助于模型对未见数据的泛化，从而不会对数据进行过拟合。以上整理的都是我们常见的数据增强技术，torchvision中还包含了很多方法，可以在他的文档中找到：https://pytorch.org/vision/stable/transforms.html

tencorp：FiveCrop在图像的上下左右以及中心裁剪出尺寸为 size 的 5 张图片。Tencrop对这 5 张图片进行水平或者垂直镜像获得 10 张图片。

def transform_invert(img_, transform_train):    """    将data 进行反transfrom操作    :param img_: tensor    :param transform_train: torchvision.transforms    :return: PIL image    """    # 如果有标准化操作    if 'Normalize' in str(transform_train):        # 取出标准化的 transform        norm_transform = list(filter(lambda x: isinstance(x, transforms.Normalize), transform_train.transforms))        # 取出均值        mean = torch.tensor(norm_transform[0].mean, dtype=img_.dtype, device=img_.device)        # 取出标准差        std = torch.tensor(norm_transform[0].std, dtype=img_.dtype, device=img_.device)        # 乘以标准差，加上均值        img_.mul_(std[:, None, None]).add_(mean[:, None, None])    # 把 C*H*W 变为 H*W*C    img_ = img_.transpose(0, 2).transpose(0, 1)  # C*H*W --> H*W*C    # 把 0~1 的值变为 0~255    img_ = np.array(img_) * 255    # 如果是 RGB 图    if img_.shape[2] == 3:        img_ = Image.fromarray(img_.astype('uint8')).convert('RGB')        # 如果是灰度图    elif img_.shape[2] == 1:        img_ = Image.fromarray(img_.astype('uint8').squeeze())    else:        raise Exception("Invalid img shape, expected 1 or 3 in axis 2, but got {}!".format(img_.shape[2]) )    return img_img = Image.open(path)transform = Compose([    TenCrop(224, vertical_flip=True), # this is a list of PIL Images    Lambda(lambda crops: torch.stack([ToTensor()(crop) for crop in crops])) # returns a 4D tensor])img_tensor = transform(img)b,c,h,w=img_tensor.shapeplt.figure(figsize=(15,4))for i in range(b):    img = transform_invert(img_tensor[i], transform)    plt.subplot(2, 5, i+1)    plt.imshow(img)plt.show()

RandomErasing：对图像进行随机遮挡。这个操作接收的输入是 tensor。

transform = Compose([    transforms.ToTensor(),    transforms.RandomErasing(p=1, scale=(0.02, 0.33), ratio=(0.3, 3.3), value=(100/255, 0, 0)),])img_tensor = transform(img)convert_img=transform_invert(img_tensor, transform)plt.subplot(1, 2, 1)plt.imshow(img)plt.subplot(1, 2, 2)plt.imshow(convert_img)plt.show()

transforms.RandomChoice:从一系列 transforms 方法中随机选择一个

torchvision.transforms.RandomChoice([transforms1, transforms2, transforms3])

transforms.RandomApply:根据概率执行一组 transforms 操作，要么全部执行，要么全部不执行。

torchvision.transforms.RandomApply([transforms1, transforms2, transforms3], p=0.5)

transforms.RandomOrder:对一组 transforms 操作打乱顺序

transforms.RandomOrder([transforms1, transforms2, transforms3])

本文链接：https://www.kjpai.cn/news/2024-04-13/157894.html，文章来源：网络cs，作者：焦糖，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！