1. 신경회로망
1. 학습방법 중 준지도학습의 개념을 설명하라.
지도학습은 입력 데이터에 라벨(그 입력에 기대되는 출력)을 붙인 학습 표본 집합을 사용하여 입력에 대한 시스템의 동작 결과가 기대되는 출력과 같은 출력을 낼 수 있도록 학습한다. 그러나 학습표본 집합의 규모가 매우 클 경우 각각의 학습표본에 일일이 라벨을 제공하는 것은 어려운 일이다. 준지도학습은 라벨이 지정되지 않은 큰 규모의 학습표본 집합과 비교적 작은 규모의 라벨이 지정된 학습표본 집합을 사용하여 학습한다.
2. 다층 퍼셉트론으로 XOR 문제와 같이 단층 퍼셉트론으로 학습할 수 있는 1개의 선형 결정경계만으로 해결할 수 없는 문제를 어떻게 해결할 수 있는지 설명하라.
단층 퍼셉트론은 1개의 선형 결정경계를 학습할 수 있다. 그러나 XOR 문제는 2개의 입력에 대해 0과 1을 출력하는 영역이 1개의 선형 결정경계로 나눌 수 없다. 이와 같이 선형 결정경계로 해결할 수 없는 문제는 여러 개(\(n\)개)의 퍼셉트론을 통하여 선형 결정경계로 분할할 수 있는 새로운 \(n\)차원 공간으로 변환한 후, 그 출력들을 입력으로 하는 다음 단계의 퍼셉트론을 통해 0과 1의 출력을 식별할 수 있다. 이러한 다층 신경망 구조를 학습하기 위한 오차역전파 모델이 개발되어 선형분리가 불가능한 다양한 문제에 다층 퍼셉트론 구조를 활용할 수 있게 되었다.
1. 신경회로망에 대한 올바른 설명은?
① 하나의 고성능 프로세서가 모든 연산을 담당한다.
② 하나의 뉴런이 손상되면 전체 시스템이 마비된다.
③ 뉴런 간의 연결강도를 조절함으로써 정보를 저장한다.
④ 한 뉴런은 다른 한 뉴런에만 연결된다.
정답: 3
해설: 신경회로망은 단순한 기능을 하는 수많은 뉴런이 상호 간의 방대한 연결을 유지하며 대단위 병렬처리를 하는 시스템이다. 정보는 뉴런 사이의 신경연접에 분산 저장되며, 학습기능을 통해 신경연접의 연결강도를 조절할 수 있다.
2. 신경회로망에서 정보가 저장되는 형태는?
① 중앙집중 방식으로 데이터를 저장한다.
② 저장기능이 없다.
③ 연결가중치의 형태로 분산되어 저장된다.
④ 활성함수에 저장된다.
정답: 3
해설: 신경회로망에서 정보는 뉴런 사이의 연결강도를 통해 저장되며, 어느 한 곳에 집중되어 저장되는 것이 아니라 신경망 전반에 분산된다.
3. 퍼셉트론 모델에 대한 올바른 설명은?
① 비선형 결정경계를 형성한다.
② XOR 문제를 해결할 수 없다.
③ 입력층, 은닉층, 출력층의 3층 구조이다.
④ 입력은 2개만 받는다.
정답: 2
해설: 퍼셉트론은 선형 결정경계만 학습할 수 있다. 따라서 특정공간상에서 하나의 직선으로 경계를 정할 수 있는 문제가 아니라면 해결할 수 없으며, XOR 문제는 퍼셉트론이 풀어낼 수 없는 문제 중 하나이다.
4. 다음의 패턴분포 중 단층 퍼셉트론으로 학습할 수 있는 것은?
정답: 4
해설: 퍼셉트론은 하나의 직선으로 경계를 구분할 수 있는 경우에 학습할 수 있다.
5. 오차역전파 모델에 대한 설명으로 올바른 것은?
① 자율학습을 한다.
② XOR 문제를 학습할 수 없다.
③ 다층 퍼셉트론을 학습할 수 있는 모델이다.
④ 뉴런의 활성함수는 선형함수를 사용한다.
정답: 3
해설: 오차역전파 모델은 비선형 결정경계를 갖는 경우에도 학습할 수 있는 다층 신경망의 학습방법이다. 지도학습을 사용하며, 활성함수는 시그모이드로 사용한다.
6. 다음 중 경쟁학습을 하는 학습모델은?
① 자기조직화 지도
② 퍼셉트론
③ 오차역전파
④ 결정트리
정답: 1
해설: 자기조직화 지도에서는 학습표본 벡터가 입력되면 출력노드들이 서로 경쟁을 하여 가장 가까운 대표벡터에 해당되는 연결가중치를 갖는 노드만 승자 노드가 되고, 이 승자 노드의 연결가중치를 학습표본 벡터와 가까운 방향으로 변화시키는 학습을 한다.
7. 자기조직화 지도 모델에서 학습벡터 \( \mathbf{x} \)에 대한 승자 뉴런의 연결가중치 벡터 \( \mathbf{w} \)일 때 어떻게 학습이 이루어지는가?
① \( \mathbf{w} \)를 \( \mathbf{x} \)로 대체한다.
② \( \mathbf{x} \)로부터 멀어지도록 \( \mathbf{w} \)를 조정한다.
③ \( \mathbf{x} \)에 가까워지도록 \( \mathbf{w} \)를 조정한다.
④ \( \mathbf{x} = \mathbf{w} \)로 대체한다.
정답: 3
해설: 자기조직화 지도 모델에서 학습벡터 \( \mathbf{x} \)가 입력되면 이에 대한 승자 뉴런과 그 주변은 중심으로 정의된 이웃집합에 속하는 뉴런들의 연결가중치 벡터를 \( \mathbf{x} \)에 가까워지도록 조정한다.
8. LVQ에서 어떠한 학습표본 \( \mathbf{x} \)와 가장 유사한 연결가중치 벡터 \( \mathbf{w} \)를 통해 연결된 출력노드가 그 학습표본과 같은 클래스에 속한다고 할 때 어떠한 처리를 하는가?
① 그 학습표본을 학습표본 집합에서 제거한다.
② \( \mathbf{w} \)를 \( \mathbf{x} \)에 가까워지는 방향으로 조금 이동한다.
③ \( \mathbf{w} \)를 리셋한다.
④ \( \mathbf{w} \)를 \( \mathbf{x} \)에서 멀어지는 방향으로 조금 이동한다.
정답: 2
해설: LVQ는 지도학습을 하는데, 어떠한 학습표본 \( \mathbf{x} \)와 가장 유사한 연결가중치 벡터 \( \mathbf{w} \)를 통해 연결된 출력노드가 그 학습표본과 같은 클래스에 속한다면 \( \mathbf{w} \)를 \( \mathbf{x} \)에 가까워지는 방향으로 이동하고, 다른 클래스에 속한다면 \( \mathbf{w} \)를 \( \mathbf{x} \)에서 멀어지는 방향으로 이동한다.
1. 다음 중 신경회로망의 특성에 해당되는 것은?
① 정보는 중앙집중 형태로 저장된다.
② 정보처리는 중앙집중 방식으로 이루어진다.
③ 하나의 뉴런이 손상되더라도 전체 시스템의 성능이 한꺼번에 저하되지는 않는다.
④ 1개의 프로세서만 존재한다.
정답: 3
해설: 정답은 ③ 하나의 뉴런이 손상되더라도 전체 시스템의 성능이 한꺼번에 저하되지는 않는다이다. 신경회로망은 분산된 방식으로 정보를 처리하기 때문에 일부 뉴런의 손상이 전체 시스템의 성능에 큰 영향을 미치지 않는다. ① 정보는 중앙집중 형태로 저장되지 않으며, ② 정보처리는 분산 방식으로 이루어진다. ④ 1개의 프로세서만 존재하는 것이 아니라 다수의 뉴런이 병렬로 작동한다.
2. 다음 중 단층 퍼셉트론으로 학습할 수 있는 결정경계의 형태는?
정답: 1
해설: 정답은 ①이다. 단층 퍼셉트론은 선형 결정 경계를 학습할 수 있어, 1번 그림과 같은 직선 형태의 결정 경계를 만들 수 있다. ②, ③, ④는 비선형 결정 경계로 단층 퍼셉트론으로는 학습할 수 없다. ②는 꺾인 선, ③은 곡선, ④는 다각형 형태로 다층 퍼셉트론이 필요하다.
3. 퍼셉트론 모델에 대한 올바른 설명은?
① 학습에는 델타규칙이 사용된다.
② 자율학습을 사용한다.
③ XOR 문제를 풀어낼 수 있다.
④ 결정경계는 2차 곡선이다.
정답: 1
해설: 퍼셉트론은 선형 결정경계만 학습할 수 있다. 따라서 특정공간상에서 하나의 직선으로 경계를 정할 수 있는 문제가 아니라면 해결할 수 없으며, XOR 문제는 퍼셉트론이 풀어낼 수 없는 문제 중 하나이다.
4. LVQ 학습에서 어떠한 표본 \( x_i \)에 가장 가까운 대표벡터가 \( \mathbf{w} \)이고, 이들이 같은 클래스에 속할 때 어떻게 학습이 진행되는가?
① \( \mathbf{w} \)를 \( x_i \)에서 멀어지는 방향으로 이동시킨다.
② \( \mathbf{w} \)를 \( x_i \) 방향으로 이동시킨다.
③ \( \mathbf{w} \)를 제거한다.
④ \( x_i \) 위치에 새로운 대표벡터를 생성한다.
정답: 2
해설: LVQ는 지도학습을 하는데, 어떠한 학습표본 \( x_i \)와 가장 유사한 연결가중치 벡터 \( \mathbf{w} \)를 통해 연결된 출력노드가 그 학습표본과 같은 클래스에 속한다면 \( \mathbf{w} \)를 \( x_i \)에 가까워지는 방향으로 이동하고, 다른 클래스에 속한다면 \( \mathbf{w} \)를 \( x_i \)에서 멀어지는 방향으로 이동한다.
5. 자기조직화 지도에 대한 올바른 설명은?
① 지도학습 방식으로 학습한다.
② 2차 방정식의 결정경계를 학습한다.
③ 연결가중치 벡터 \(\mathbf{w_i}\)는 선형 결정경계를 나타내는 1차 방정식 계수이다.
④ 경쟁학습을 하는 모델이다.
정답: 4
해설: 정답은 ④ 경쟁학습을 하는 모델이다. 자기조직화 지도는 경쟁학습을 통해 입력 벡터와 가장 가까운 뉴런을 선택하여 그 뉴런과 이웃 뉴런들의 가중치를 조정한다. 지도학습 방식은 정답 라벨을 사용하여 학습하므로 ①은 틀리다. 2차 방정식의 결정경계를 학습하지 않기 때문에 ②도 틀리다. \(\mathbf{w_i}\)는 뉴런의 가중치 벡터를 나타내며, 선형 결정경계를 나타내는 1차 방정식 계수와는 다르므로 ③도 틀리다.
1. 신경회로망과 기존 컴퓨터의 개념에 대하여 비교하라.
신경회로망은 인간의 뇌 구조와 유사하게 동작하는 인공지능 모델로, 병렬 분산 처리와 학습 능력을 가진다. 신경회로망은 뉴런과 가중치로 구성되며, 데이터로부터 패턴을 학습하고 예측하는 데 사용된다. 반면 기존 컴퓨터는 폰 노이만 구조에 기반한 순차 처리 방식으로, 명시적인 프로그래밍에 의해 동작한다. 기존 컴퓨터는 정해진 명령어 집합을 순차적으로 처리하며, 병렬 처리와 학습 능력이 제한적이다.
2. 2차원 공간에서 선형분리가 가능한 2개의 클래스의 좌표표본을 10개 이상 나열하고, 퍼셉트론 학습을 통해 이를 분리하는 결정경계를 구하라.
클래스 1: (1, 1), (2, 2), (3, 3), (4, 4), (5, 5)
클래스 2: (1, 5), (2, 4), (3, 3), (4, 2), (5, 1)
퍼셉트론 학습을 통해 구한 결정경계는 다음과 같다:
초기 가중치 \(\mathbf{w} = (0, 0)\)와 임계값 \(b = 0\)에서 시작하여, 학습률 \(\eta = 0.1\)을 사용하여 가중치와 임계값을 업데이트한다.
1. \(\mathbf{w} = (0.1, 0.1)\), \(b = -0.1\)
2. \(\mathbf{w} = (0.2, 0.2)\), \(b = -0.2\)
3. \(\mathbf{w} = (0.3, 0.3)\), \(b = -0.3\)
4. \(\mathbf{w} = (0.4, 0.4)\), \(b = -0.4\)
이 과정을 통해 얻은 결정경계는 \(\mathbf{w} \cdot \mathbf{x} + b = 0\)이므로, \(0.4x_1 + 0.4x_2 - 0.4 = 0\) 즉, \(x_1 + x_2 = 1\)이다.
3. 다층 퍼셉트론은 무엇인가?
다층 퍼셉트론(MLP)은 여러 개의 퍼셉트론이 계층적으로 연결된 신경망 구조로, 입력층, 하나 이상의 은닉층, 출력층으로 구성된다. 각 층의 뉴런들은 이전 층
의 뉴런들과 연결되어 가중치와 활성화 함수를 통해 신호를 전달한다. 다층 퍼셉트론은 비선형 활성화 함수를 사용하여 선형 분리가 불가능한 문제도 해결할 수 있다. 역전파 알고리즘을 사용해 가중치를 학습하며, 이미지 인식, 음성 인식 등 다양한 응용 분야에서 활용된다.
4. SOM을 구현하는 프로그램을 작성하라.
import numpy as np
class SOM:
def __init__(self, m, n, dim, learning_rate=0.5, radius=1.0, decay=0.99):
self.m = m
self.n = n
self.dim = dim
self.learning_rate = learning_rate
self.radius = radius
self.decay = decay
self.weights = np.random.rand(m, n, dim)
def train(self, data, num_epochs=1000):
for epoch in range(num_epochs):
for sample in data:
self._update_weights(sample)
self.learning_rate *= self.decay
self.radius *= self.decay
def _update_weights(self, sample):
bmu_idx = self._find_bmu(sample)
for i in range(self.m):
for j in range(self.n):
if self._distance(bmu_idx, (i, j)) < self.radius:
self.weights[i, j] += self.learning_rate * (sample - self.weights[i, j])
def _find_bmu(self, sample):
min_dist = np.inf
bmu_idx = (0, 0)
for i in range(self.m):
for j in range(self.n):
dist = np.linalg.norm(sample - self.weights[i, j])
if dist < min_dist:
min_dist = dist
bmu_idx = (i, j)
return bmu_idx
def _distance(self, p1, p2):
return np.linalg.norm(np.array(p1) - np.array(p2))
data = np.random.rand(100, 3)
som = SOM(10, 10, 3)
som.train(data, num_epochs=1000)
이 프로그램은 SOM(Self-Organizing Map)을 구현하여 주어진 데이터를 학습한다. 초기 가중치는 무작위로 설정되며, 학습 과정에서 가중치가 점진적으로 업데이트된다. 학습률과 반지름은 점차 감소하며, 주어진 에폭 동안 학습이 이루어진다.
1. 신경회로망의 특성을 올바르게 설명한 것은?
1) 뉴런은 복잡한 알고리즘을 통해 문제를 해결한다.
2) 각각의 뉴런은 1개의 뉴론과 연결된다.
3) 정보는 신경연접에 분산 저장된다.
4) 하나의 뉴런에 고장이 발생하면 전체 시스템이 다운된다.
정답: 3
해설 : 신경회로망은 단순한 연산기능을 갖는 많은 수의 뉴런들이 방대한 연결을 유지하며 대단위 병렬처리 방식으로 동작한다. 정보는 학습 과정을 통해 신경연접에 분산 저장되며, 일부 뉴런에 고장이 발생해도 전체 시스템의 성능이 급격하게 저하되지 않는 결함내성을 갖는다.
2. 다음 중 라벨이 지정되지 않은 큰 규모의 학습 표본집합과 비교적 작은 규모의 라벨이 지정된 학습 표본집합을 사용하는 학습 방법은?
1) 지도학습(supervised learning)
2) 준지도학습(semi-supervised learning)
3) 자율학습(unsupervised learning)
4) 강화학습(reinforcement learning)
정답: 2
해설 : 라벨이 지정된 학습 표본집합을 사용하는 지도학습과 라벨이 지정되지 않은 학습 표본집합으로 학습하는 자율학습과는 달리, 준지도학습은 라벨이 지정되지 않은 큰 규모의 학습 표본집합과 라벨이 지정된 소규모의 학습 표본집합을 이용한다.
3. 프랭크 로젠블랏이 제안한 퍼셉트론 모델에서 뉴런의 활성함수로 사용하는 것은?
1) 선형함수
2) 시그모이드 함수
3) TanH 함수
4) 하드 리미트
정답: 4
해설 : 퍼셉트론은 입력이 음인 경우는 0, 그렇지 않으면 1을 출력하는 하드 리미트 함수를 활성함수로 사용한다.
4. 다음 중 단층 퍼셉트론으로 학습할 수 있는 결정경계의 형태는?
1) 선형
2) 원형
3) 포물선
4) 다각형
정답: 1해설 : 단층 퍼셉트론은 각각의 입력 연결가중치의 곱과 바이어스를 모두 더한다. 이것은 선형 함수이며, 이 값이 0인 곳을 기준으로 출력이 0과 1로 구분된다. 그러므로 단층 퍼셉트론의 결정경계는 선형이다.
1. 다음 중 오차역전파 모델에 대한 설명으로 올바른 것은?
1) 1개의 선형함수로 해결할 수 없는 문제는 학습할 수 없다.
2) 자율학습 방식으로 학습한다.
3) 뉴런의 활성함수는 하드리미트를 사용한다.
4) 은닉층을 포함하는 다층 퍼셉트론을 학습시킬 수 있다.
정답: 4
해설 : 오차역전파 모델은 은닉층을 포함하는 다층 퍼셉트론을 학습함으로써 1개의 선형함수로 학습할 수 없는 결정경계를 학습할 수 있다. 학습 데이터는 입력 벡터와 출력 벡터의 쌍으로 구성되는 지도학습을 한다. 뉴런의 활성함수는 시그모이드와 같이 미분 가능한 함수를 사용한다.
2. 경사하강법 적용 과정에서 이전 단계의 연결가중치 변화량을 현 단계에서 반영하기 위한 비율을 나타내는 것은?
1) 관성항(모멘텀)
2) ReLU
3) 학습률
4) 델타규칙
정답: 1
해설 : 관성항은 경사하강법 적용 과정에서 이전 단계의 연결가중치 변화량을 현 단계에서 반영하기 위한 비율이다. 연결가중치가 진동하듯 변화하여 수렴이 늦어지거나 적절한 값으로 수렴하지 못하는 문제를 개선할 수 있다.
3. 자기조직화 지도 모델에서 학습벡터 x에 대한 승자 뉴런의 연결가중치 벡터가 w일 때 어떻게 학습이 이루어지는가?
1) w를 x로 대체한다.
2) x로부터 멀어지도록 w를 조정한다.
3) x에 가까워지도록 w를 조정한다.
4) x를 w로 대체한다.
정답: 3
해설 : 자기조직화 지도 모델에서 학습벡터 x가 입력되면 이에 대한 승자 뉴런과 그 뉴런을 중심으로 정의된 이웃집합에 속하는 뉴런들의 연결가중치 벡터 w를 x에 가까워지도록 조정한다.
2. 심층학습
1. 심층 신경망의 학습에서 과적합 문제와 이 문제를 개선하기 위한 드롭아웃 기법에 대하여 설명하라.
과적합 문제는 특정 학습 데이터에 지나치게 의존적으로 학습함으로써 학습 대상의 일반적인 특성에 맞는 학습이 이루어지지 않고 성능이 저하되는 문제이다. 드롭아웃은 심층 신경망의 과적합 문제를 개선하기 위한 기술 중 하나로, 신경망을 학습하는 동안 적절한 확률에 따라 뉴런을 무작위로 선택하여 일시적으로 제거하는 것이다. 드롭아웃을 결정하기 위한 확률을 \( p \)로 정했다면 학습의 매 반복 단계마다 \( 1 - p \)의 확률로 드롭아웃 대상을 새로 선정한다. 학습을 마친 후 최종적인 신경망은 모든 뉴런을 사용한다. 이때 드롭아웃된 비율을 고려한 평균출력을 사용하는데, 이를 근사화하여 각 뉴런의 출력에 \( p \)를 곱하는 방법을 사용한다.
2. 심층 신뢰망의 구조에 대하여 설명하라.
심층 신경망은 제한 볼츠만 머신과 같은 자율학습 신경망을 여러 층 쌓은 형태로 구성된다. 제한 볼츠만 머신은 볼츠만 머신의 특수한 형태이다. 볼츠만 머신은 완전연결 방식의 순환 신경망으로, 신경망을 구성하는 노드들은 가시 유닛과 은닉 유닛으로 구분된다. 완전연결 방식이기 때문에 가시 유닛과 은닉 유닛 사이의 연결뿐만 아니라 가시 유닛 간, 은닉 유닛 간 연결도 존재한다. 그러나 제한 볼츠만 머신은 층내 연결이 없으며 층간 연결만 존재하도록 제한된다.
3. 합성곱 신경망을 구성하는 주요 층에 대하여 설명하라.
합성곱 신경망을 구성하는 주요 요소는 합성곱층(convolutional layer), 통합층(pooling layer), ReLU층, 완전연결(fully connected)층 등이다. 합성곱층은 입력 영상에서 에지, 선, 색의 방울(blob) 등의 시각 특징을 검출하는 역할을 한다. 1개 이상의 필터를 사용하며, 필터 개수에 해당되는 특징 맵이 만들어진다.
통합층은 이전 단계로부터의 입력을 서브샘플링(subsampling)하여 축소된 규모의 출력을 만든다. 일반적으로 최댓값을 선택하는 최대 통합(max pooling)이 많이 사용된다.
ReLU층은 뉴런의 비선형 활성함수인 ReLU(Rectified Linear Unit)를 적용하는 층이다.
완전연결층은 일반적인 피드포워드 신경망이 사용되며, 최종 완전연결층은 분류기의 역할을 담당하게 된다.
1. 다음 중 심층학습에 대한 설명으로 올바른 것은?
① 단층 퍼셉트론을 학습하기 위한 학습모델을 의미한다.
② 제한 볼츠만 머신은 지도학습 방식으로 학습한다.
③ 과적합은 학습 결과에 긍정적인 효과가 있다.
④ 합성곱 신경망(CNN)은 동물의 시각피질의 개념을 기반으로 설계된 신경망 모델이다.
정답: 4
해설: 심층학습은 입력층과 출력층 사이에 다수의 은닉층이 연결된 신경망의 학습을 위한 모델로서, 기존의 신경망 모델이 가지고 있는 과적합(overfitting) 문제와 경사 소멸(vanishing gradient) 문제에 대응할 수 있는 학습 알고리즘을 활용한다. 제한 볼츠만 머신은 자율학습 방식으로 학습표본 집합으로부터 자동으로 특징 추출기를 구성하는 순환 신경망이며, 합성곱 신경망(CNN)은 동물의 시각피질 (visual cortex)의 개념을 기반으로 설계되어 컴퓨터 시각과 관련한 응용에 많이 적용되는 딥 러닝 모델이다.
2. 다음 중 특정 학습 데이터 집합에 지나치게 의존적으로 학습함으로써 사용된 학습 데이터 집합에 존재할 수 있는 에러나 잡음이 학습에 반영되어 성능이 저하되는 문제를 나타내는 것은?
① 과적합(overfitting)
② 경사 소멸
③ XOR 문제
④ 교차 엔트로피
정답: 1
해설: 특정 학습 데이터 집합에 지나치게 의존적으로 학습함으로써 학습 대상의 일반적 특성에 맞는 적절한 학습을 하지 못하게 되어 성능이 저하되는 문제를 과적합 문제라고 한다. 경사 소멸 문제는 경사하강법을 활용 중에서 입력층 방향으로 적용하는 과정에서 시그모이드 함수의 미분이 반복적으로 곱해짐에 따라 매우 작은 값이 되어 연결가중치의 값이 변화하지 못하게 되는 문제를 의미한다.
3. 다음 문장에서 (가)와 (나)에 넣을 적절한 단어에 해당되는 것은?
심층 신경망에서는 (가) 문제를 해결하기 위해 드롭아웃이라는 기술, (나) 문제를 해결하기 위해 자율학습을 통해 사전학습을 한 후 오차역전파 학습으로 미세 조정하는 방식 등을 사용한다.
① (가) 과적합, (나) XOR
② (가) 과적합, (나) 경사 소멸
③ (가) 경사 소멸, (나) 과적합
④ (가) 경사 소멸, (나) 계산량
정답: 2
해설: 심층학습에서는 신경망을 학습하는 동안 적절한 확률에 따라 뉴런을 무작위로 선택하여 일시적으로 제거하는 드롭아웃이라는 기술을 이용하여 과적합 문제를 개선하는 방법을 사용할 수 있다. 또한 학습률의 오차에 따른 연결가중치의 변화가 하위층으로 갈수록 매우 작은 값이 되어 학습이 이루어지지 않는 경사 소멸 문제를 해결하기 위한 방법으로 자율학습을 통해 사전학습을 한 후 오차역전파 학습으로 미세 조정하는 방식 등을 사용한다.
4. 다음 중 동물의 시각피질의 개념을 기반으로 설계된 신경망 모델에 해당되는 것은?
① 퍼셉트론
② 볼츠만 머신
③ 합성곱 신경망(CNN)
④ LSTM
정답: 3
해설: 합성곱 신경망은 동물의 시각 피질의 신경세포가 수용하(receptive field)라고 하는 제한된 감각영역에만 반응하며, 서로 다른 신경세포의 수용하가 부분적으로 중첩하면서 전체 시야를 포괄한다는 점에 착안한 신경망 모델이다.
5. 합성곱 신경망(CNN) 계층 중 입력 영상에서 에지, 선, 색의 방울(blob) 등의 시각 특징을 검출하는 역할을 하는 단계는?
① 합성곱(convolution)층
② ReLU층
③ 완전연결층
④ 통합층(pooling layer)
정답: 1
해설: 합성곱층은 1개 이상의 필터를 사용하여 입력 영상에서 에지, 선, 색의 방울 등의 시각 특징을 검출하는 역할을 한다. ReLU층은 뉴런의 비선형 활성화유인 ReLU를 적용하는 층이고, 통합층은 이전 단계로부터의 입력을 서브샘플링하여 축소된 규모의 출력을 만든다. 완전연결층은 고수준 추론을 하며 최종적으로 분류기의 역할을 담당하게 된다.
6. 다음 중 심층학습용 프레임워크에 해당되는 것은?
① CUDA
② TensorFlow
③ OpenGL
④ Python
정답: 2
해설: TensorFlow는 Google Brain team이 개발한 심층학습 프레임워크이다. CUDA는 NVIDIA의 병렬 컴퓨팅 프레임워크이고, OpenGL은 그래픽스 API이며, Python은 범용 프로그래밍 언어이다.
1. 다음 중 심층학습에 대한 설명으로 올바른 것은?
① 단층 퍼셉트론을 학습하기 위한 학습 모델을 의미한다.
② 제한 볼츠만 머신은 지도학습 방식으로 학습한다.
③ 2층 이내의 신경망 학습으로 제한된다.
④ 합성곱 신경망(CNN)은 동물의 시각피질의 개념을 기반으로 설계된 신경망 모델이다.
정답: 4
해설: ④ 합성곱 신경망(CNN)은 동물의 시각피질의 개념을 기반으로 설계된 신경망 모델이다.
2. 다음 중 학습 대상의 일반적 특성에 맞게 적절한 학습을 하지 못하고 특정 학습 데이터 집합에 지나치게 의존적으로 학습함으로써 사용된 학습 데이터 집합에 존재할 수 있는 에러나 잡음이 학습에 반영되어 성능이 저하되는 문제를 나타내는 것은?
① 과적합(overfitting)
② 경사 소멸
③ XOR 문제
④ 교차 엔트로피
정답: 1
3. 제한 볼츠만 머신에 대한 설명으로 올바른 것은?
① 지도학습 신경망이다.
② 각각의 뉴런은 동일 층에 속하는 뉴런들과 완전연결 방식으로 연결된다.
③ 주어진 학습표본 집합에 대해 학습을 수행하면 입력을 통계적으로 재구성하도록 학습된다.
④ 데이터는 은닉 유닛을 통해 입력되고, 가시 유닛은 입력된 데이터에 대한 새로운 표현을 제공한다.
정답: 3
해설: 정답은 ③ 주어진 학습표본 집합에 대해 학습을 수행하면 입력을 통계적으로 재구성하도록 학습된다이다. 제한 볼츠만 머신은 비지도학습 신경망으로, 입력 데이터를 통계적으로 재구성하여 특징을 학습한다. ① 지도학습 신경망이 아니며, ② 각각의 뉴런은 동일 층에 속하는 뉴런들과 완전연결되지 않는다. ④ 데이터는 가시 유닛을 통해 입력되고, 은닉 유닛이 입력된 데이터에 대한 새로운 표현을 제공한다.
4. 다음 중 동물의 시각피질 개념을 기반으로 설계된 신경망 모델에 해당되는 것은?
① 퍼셉트론
② 합성곱 신경망(CNN)
③ 볼츠만 머신
④ LSTM
정답: 2
5. 합성곱 신경망(CNN)에서 이전 단계로부터의 입력을 서브샘플링하여 축소된 규모의 출력을 만드는 단계는?
① 합성곱(convolution)층
② ReLU층
③ 완전연결층
④ 통합층(pooling layer)
정답: 4
해설: 정답은 ④ 통합층(pooling layer)이다. 통합층은 입력을 서브샘플링하여 공간 해상도를 줄이고, 특징맵의 크기를 축소하는 역할을 한다. 합성곱(convolution)층은 필터를 적용하여 특징을 추출하고, ReLU층은 활성화 함수로 비선형성을 도입한다. 완전연결층은 신경망의 마지막에 위치하여 고차원 특징을 분류하는 역할을 한다. 따라서 서브샘플링을 통한 축소는 통합층에서 이루어진다.
6. 심층신경망에서 드롭아웃의 용도는 무엇인가?
① 경사 소멸 문제를 해결한다.
② 심층 신경망에서 과적합 문제를 개선한다.
③ 신경망의 층 수를 줄인다.
④ 입력으로부터 특징을 자동 학습한다.
정답: 2
해설: 심층신경망에서는 신경망을 학습하는 동안 적절한 확률에 따라 뉴런을 무작위로 선택하여 일시적으로 제거하는 드롭아웃이라는 기술을 이용하여 과적합 문제를 개선하는 방법을 사용할 수 있다.
1. 과적합 문제에 대하여 설명하라.
과적합 문제는 모델이 학습 데이터에 너무 맞춰져서 새로운 데이터에 대해 일반화되지 못하는 현상을 의미한다. 이는 학습 데이터의 잡음까지 학습하면서 발생하며, 복잡한 모델에서 흔히 나타난다. 과적합을 방지하기 위해 드롭아웃, 정규화 기법, 데이터 증강 등을 사용하여 모델의 일반화 성능을 향상시킬 수 있다.
2. 제한 볼츠만 머신의 동작 원리를 설명하라.
제한 볼츠만 머신(RBM)은 가시 유닛과 은닉 유닛으로 구성된 2층 신경망이다. 각 유닛은 이진 상태를 가지며, 가시 유닛과 은닉 유닛 사이의 연결 가중치와 편향을 학습한다. 학습 과정에서는 가시 유닛의 값을 기반으로 은닉 유닛의 상태를 업데이트하고, 은닉 유닛의 값을 기반으로 다시 가시 유닛의 상태를 업데이트하여 가중치를 조정한다.
3. 합성곱 신경망을 구성하는 주요 층에 대하여 설명하라.
합성곱 신경망(CNN)은 합성곱층, 풀링층, ReLU층, 완전연결층으로 구성된다. 합성곱층은 입력 이미지에서 특징을 추출하며, 여러 필터를 사용하여 에지나 패턴 등을 감지한다. 풀링층은 서브샘플링을 통해 공간 해상도를 줄여 특징 맵의 크기를 축소한다. ReLU층은 비선형 활성화 함수를 적용하여 모델의 표현력을 높인다. 완전연결층은 추출된 특징을 바탕으로 최종 분류를 수행한다.
4. 드롭아웃의 적용방법에 대하여 설명하라.
드롭아웃은 학습 과정에서 무작위로 선택된 뉴런을 비활성화하여 과적합을 방지하는 기법이다. 학습 단계에서는 일정 확률로 뉴런을 드롭시켜 가중치 갱신 시 사용하지 않으며, 테스트 단계에서는 모든 뉴런을 사용하되 드롭아웃 비율을 고려한 가중치 조정을 통해 예측을 수행한다. 이를 통해 모델의 일반화 성능을 높일 수 있다.
1. 다음 중 딥러닝에 대한 설명으로 올바른 것은?
1) 단층 퍼셉트론을 학습하기 위한 학습 모델을 의미한다.
2) 제한 볼츠만 머신은 지도학습 방식으로 학습한다.
3) 과적합 문제가 심화되는 문제가 있다.
4) 합성곱 신경망(CNN)은 동물의 시각 피질의 개념을 기반으로 설계된 신경망 모델이다.
정답: 4
해설 : 딥러닝은 입력층과 출력층 사이에 다수의 은닉층이 연결된 신경망의 학습을 위한 모델로서, 기존의 신경망 모델이 가지고 있는 과적합(overfitting) 문제와 경사 소멸(vanishing gradient) 문제를 개선할 수 있는 학습 알고리즘을 활용한다. 제한 볼츠만 머신은 자율학습 방식으로 학습표본 집합으로부터 자동으로 특징 추출기를 구성하는 순환 신경망이며, 합성곱 신경망(CNN)은 동물의 시각 피질(visual cortex)의 개념을 기반으로 설계되어 컴퓨터 시각과 관련한 응용에 많이 적용되는 딥러닝 모델이다.
2. 다음 중 특정 학습 데이터 집합에 지나치게 의존적으로 학습함으로써 사용된 학습 데이터 집합에 존재할 수 있는 에러나 잡음이 학습에 반영되어 성능이 저하되는 문제를 나타내는 것은?
1) 과적합(overfitting)
2) 경사 소멸
3) XOR 문제
4) 교차 엔트로피
정답: 1
해설 : 특정 학습 데이터 집합에 지나치게 의존적으로 학습함으로써 학습 대상의 일반적 특성에 맞는 적절한 학습을 하지 못하게 되어 성능이 저하되는 문제를 과적합 문제라고 한다. 경사 소멸 문제는 경사하강법을 출력층에서 입력층 방향으로 적용하는 과정에서 시그모이드 함수의 미분이 반복적으로 곱해짐에 따라 매우 작은 값이 되어 연결가중치의 값이 변화하지 못하게 되는 문제를 의미한다.
3. 합성곱 신경망(CNN)을 구성하는 각 단계의 역할을 설명한 것으로 옳은 것은?
1) 합성곱층 : 뉴런의 출력에 비선형 함수를 적용하는 층
2) 통합층 : 이전 단계로부터의 입력을 서브샘플링(subsampling)하여 축소된 규모의 출력을 만드는 단계
3) ReLU층 : 분류기의 역할을 담당하는 층
4) 완전연결층 : 특징추출을 담당하는 층
정답: 2
해설 : 합성곱층은 입력에 대해 필터링을 하여 특징을 검출하는 역할을 하고, 통합층은 이전 단계로부터의 입력을 서브샘플링(subsampling)하여 축소된 규모의 출력을 만든다. ReLU층은 뉴런의 비선형 활성함수인 ReLU를 적용하는 층이다. 완전연결층은 분류기의 역할을 담당하게 되며, 각 클래스당 1개의 출력 뉴런이 존재한다.
4. 합성곱 신경망(CNN)에서 32×32크기의 3채널 입력에 대해 10개의 3×3 필터를 이동간격 2로 적용하도록 구성하였다. 패딩은 사용하지 않았다. 이 층의 출력은?
1) 32×32 크기의 10채널 출력
2) 30×30 크기의 3채널 출력
3) 15×15 크기의 3채널 출력
4) 15×15 크기의 10채널 출력
정답: 4
해설 : 입력 크기를 Sin, 필터의 크기를 Sf, 패딩 크기를 P, 이동간격을 stride라고 할 때 출력의 크기 Sout은
Sout = floor{(Sin – Sf + 2P) / stride} + 1
이다(floor(x)는 x보다 작거나 같은 최대 정수임).
5. 합성곱 신경망(CNN)의 어떠한 층에서 32×32 크기의 4채널 입력으로 10개의 5×5 필터를 적용함으로써 출력을 만들어 내려고 한다. 각 필터에는 바이어스를 포함한다. 이 단계에서 학습해야 할 파라미터의 수는 몇 개인가?
1) 1,010개
2) 1,000개
3) 250개
4) 102,410개
정답: 1
해설 : 한 개의 필터는 5×5이고 입력의 채널 수가 4개이므로 100개의 필터계수(연결가중치)와 1개의 바이어스가 학습되어야 한다. 이러한 필터를 10개 사용하므로 총 1,010개의 파라미터를 학습해야 한다.
1. 신경회로망의 학습 시간 및 안정성을 개선하기 위해 다음 층에 전달할 입력의 분포를 조정하는 처리에 해당되는 것은?
1) 배치 정규화
2) ReLU
3) 드롭아웃
4) 합성곱
정답: 1
해설 : 딥신경회로망의 학습 시간 및 안정성을 개선하기 위해 학습 과정에서 미니배치의 평균과 분산을 정규화하는 처리를 배치 정규화라고 한다. 학습 과정에서 적절한 확률에 따라 뉴런을 무작위로 선택하여 일시적으로 학습에 배제하는 기술이고, 합성곱은 CNN 모델에서 입력을 필터링하는 처리이다. ReLU는 뉴론의 활성함수 중 하나이다.
2. 다음 중 드롭아웃에 대한 설명으로 올바른 것은?
1) 학습 중 드롭아웃 대상으로 결정된 뉴런은 신경망에서 완전히 제거된다.
2) 드롭아웃 대상은 고정되어 학습이 이루어지는 동안 계속 제외된다.
3) 학습 완료 후 테스트 단계에서는 모든 뉴런을 사용한다.
4) 학습 완료 후 테스트 단계에서 뉴런의 출력은 드롭아웃 확률과 관계없이 그대로 사용한다.
정답: 3
해설 : 드롭아웃은 매 학습단계에서 정해진 확률에 따라 새로 선정하며, 학습이 완료된 후 테스트 단계에서는 모든 뉴런이 사용된다. 이때 1-p의 확률로 드롭아웃이 적용된 층의 뉴런의 출력에는 드롭아웃된 비율을 고려하여 p를 곱한다.
3. 다음 중 ResNet에 대한 설명으로 올바른 것은?
1) 모든 층이 순차적으로 연결된다.
2) 순환 신경망 구조이다.
3) 내부 층의 활성함수는 선형함수를 사용하고, 최종 출력층에 ReLU를 사용한다.
4) 스킵 연결을 포함하는 잔여 블록(residual block)을 사용하여 깊은 심층망의 학습이 잘 이루어지게 하려는 것이다.
정답: 4
해설 : ResNet은 피드포워드 신경망 구조로서, 스킵 연결을 포함하는 잔여 블록으로 구성된다. 심층 신경망의 깊이가 매우 깊어질 경우 학습 오류가 증가하는 문제를 개선하는 효과를 얻을 수 있다.
참고 자료:
- 인공지능 (이광형,이병래 공저 | 한국방송통신대학교출판문화원 | 2018)
'CS > 인공지능' 카테고리의 다른 글
| 기계학습 문제 풀이 - 결정 트리, 선형 회귀, 로지스틱 회귀, 소프트맥스 함수, 군집화, k-평균 알고리즘 (0) | 2024.05.20 |
|---|---|
| 컴퓨터 시각과 패턴인식 문제 풀이 - 4이웃 8이웃 연결성, 표본화 및 양자화, 평활화, 소벨 연산자, 결정이론적 패턴, 언어이론적 패턴, 거리 측정, KNN (0) | 2024.05.19 |
| 퍼지이론, 퍼지집합, 퍼지집합의 연산, 퍼지논리, 퍼지논리 연산, 퍼지 추론, 수위조절 제어 시스템 문제 풀이 (0) | 2024.05.19 |
| 지식과 인공지능, 시멘틱네트, 논리에 의한 지식 표현, 술어 논리, 도출 연역, 연언포준형 (0) | 2024.05.18 |
| 게임트리, 최대 최소 탐색트리, α-β 가지치기, 몬테카를로 트리 탐색 전략 문제 풀이 (0) | 2024.05.18 |
