GAN
Generative Adversarial Networks
StackGAN은 텍스트 조건과 이미지 생성을 결합합니다. 아래 링크의 시연에서 생성 결과를 확인할 수 있습니다.
Keras Adversarial¶
기존 Keras Adversarial 구현에서는 생성기와 식별기를 함께 구성합니다. 아래는 현대 Keras API로 MNIST 한 배치에서 두 갱신 과정을 확인하는 예입니다. 한 번의 갱신으로 숫자 모양을 학습할 수는 없습니다.
import os
os.environ['KERAS_BACKEND'] = 'torch'
import numpy as np
import matplotlib.pyplot as plt
import keras
from keras import layers
keras.utils.set_random_seed(42)
(x_train, _), _ = keras.datasets.mnist.load_data()
real = x_train[:64].reshape(64, 784).astype('float32') / 255.
latent_dim = 16
generator = keras.Sequential([keras.Input(shape=(latent_dim,)), layers.Dense(64, activation='relu'), layers.Dense(784, activation='sigmoid')])
discriminator = keras.Sequential([keras.Input(shape=(784,)), layers.Dense(64, activation='relu'), layers.Dense(1, activation='sigmoid')])
discriminator.compile(optimizer=keras.optimizers.Adam(.001), loss='binary_crossentropy')
noise = np.random.default_rng(42).normal(size=(64, latent_dim)).astype('float32')
fake = generator.predict(noise, verbose=0)
# 식별기는 실제=1, 생성=0으로 구분하도록 한 배치를 학습합니다.
d_loss = discriminator.train_on_batch(np.concatenate([real, fake]), np.concatenate([np.ones((64, 1)), np.zeros((64, 1))]))
discriminator.trainable = False
adversarial = keras.Sequential([generator, discriminator])
adversarial.compile(optimizer=keras.optimizers.Adam(.001), loss='binary_crossentropy')
# 생성기는 식별기가 생성 이미지를 실제로 판단하도록 갱신합니다.
g_loss = adversarial.train_on_batch(noise, np.ones((64, 1)))
print('discriminator/generator loss:', float(d_loss), float(g_loss))
fig, axes = plt.subplots(1, 4, figsize=(8, 2))
for ax, image in zip(axes, generator.predict(noise[:4], verbose=0)):
ax.imshow(image.reshape(28, 28), cmap='gray'); ax.axis('off')
plt.show()
글씨 흉내내기는 많은 배치에 걸쳐 생성기와 식별기를 번갈아 학습하는 과정입니다.
이미지 흉내내기¶
32×32 RGB 색상 무늬 64개를 NumPy로 만들어 식별기의 참조 데이터로 사용합니다. 아래 예는 컬러 이미지의 형상과 식별기·생성기의 한 배치 갱신 과정을 확인합니다. 한 번의 갱신으로 색상 무늬를 충분히 학습할 수는 없습니다. CIFAR-10 같은 사진 자료를 학습하려면 참조 데이터를 실제 이미지로 바꾸고 여러 배치에 걸쳐 훈련해야 합니다.
import os
os.environ['KERAS_BACKEND'] = 'torch'
import numpy as np
import matplotlib.pyplot as plt
import keras
from keras import layers
keras.utils.set_random_seed(42)
# 32×32 RGB 색상 무늬 64개를 식별기의 참조 데이터로 만듭니다.
rng = np.random.default_rng(42)
xs, ys = np.meshgrid(np.linspace(0, 2 * np.pi, 32), np.linspace(0, 2 * np.pi, 32))
phase = rng.uniform(0, 2 * np.pi, size=(64, 1, 1))
reference_images = np.stack([
.5 + .5 * np.sin(xs[None, :, :] + phase),
.5 + .5 * np.cos(ys[None, :, :] + phase),
.5 + .5 * np.sin(xs[None, :, :] + ys[None, :, :] + phase)
], axis=-1).astype('float32')
assert reference_images.shape == (64, 32, 32, 3)
real = reference_images.reshape(64, 3072)
latent_dim = 16
generator = keras.Sequential([keras.Input(shape=(latent_dim,)), layers.Dense(64, activation='relu'), layers.Dense(3072, activation='sigmoid')])
discriminator = keras.Sequential([keras.Input(shape=(3072,)), layers.Dense(64, activation='relu'), layers.Dense(1, activation='sigmoid')])
discriminator.compile(optimizer=keras.optimizers.Adam(.001), loss='binary_crossentropy')
noise = np.random.default_rng(42).normal(size=(64, latent_dim)).astype('float32')
fake = generator.predict(noise, verbose=0)
# 식별기는 참조 색상 무늬=1, 생성 이미지=0으로 구분하도록 한 배치를 학습합니다.
d_loss = discriminator.train_on_batch(np.concatenate([real, fake]), np.concatenate([np.ones((64, 1)), np.zeros((64, 1))]))
discriminator.trainable = False
adversarial = keras.Sequential([generator, discriminator])
adversarial.compile(optimizer=keras.optimizers.Adam(.001), loss='binary_crossentropy')
# 생성기는 식별기가 생성 이미지를 실제로 판단하도록 갱신합니다.
g_loss = adversarial.train_on_batch(noise, np.ones((64, 1)))
print('discriminator/generator loss:', float(d_loss), float(g_loss))
fig, axes = plt.subplots(1, 4, figsize=(8, 2))
for ax, image in zip(axes, generator.predict(noise[:4], verbose=0)):
ax.imshow(image.reshape(32, 32, 3)); ax.axis('off')
plt.show()