블로그 이미지
Terapi

calendar

          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31            

'A.I./Neural network'에 해당되는 글 4

  1. 2008.06.07 신경망의 학습과정
  2. 2008.06.05 인공지능 연구목적의 이중성
  3. 2008.06.05 마빈민스키와 인공의 세계[ZDNet Korea]|
  4. 2008.06.05 신경망 용어 정리
2008.06.07 22:44 A.I./Neural network
사용자 삽입 이미지

1.     신경망의 모든 가중치를 적당한 값으로 초기화하는 것

이때 초기값은 주로 1보다 작은 임의의 값이 사용

신경망을 학습시키는데 있어 이 초기값은 의외로 중요한 의미를 부여

이것은 마치 갓 태어난 아기의 선천적 적성이나 지능을 결정하는 것과 같아서 초기값이 잘 설정된 신경망은 쉽게 학습 그렇지 못한 경우 학습 하는데 매우 많은 반복이 필요

아예 안 되는 경우도 있다.

 

2.     학습시킬 입력패턴 선정

신경망의 학습 시킬 입력패턴 선정 입력 패턴이란 신경망의 학습이나 다음에 설명할 회

상을 위해 입력 층 인공 신경세포들에 동시에 주어지는 입력층 인공 신경세포들에 동시

에 주어지는 입력 값들의 모임을 말한다

신경망에 사용되는 입력 패턴의 개수는 학습 시키고자 하는 자료의 수만큼 있어야 한다.

 

3.     신경망의 입력층 인공 신경세포에 입력 패턴을 제시

학습 스케줄에 의해 결정된 입력 패턴을 신경망에 경험하게 하는 것이다. 이것은 신경망의 입력층 신경세포들의 출력값을 입력 패턴의 값과 동일하게 만들어 주는 것으로 가능하다.

 

4.     신경망의 인공 신경세포들을 층별로 동작시켜 출력 패턴을 출력

신경망의 신경세포들을 차례로 동작시킨다. 이때 산출된 출력 결과를 출력 패턴 이라고 한다.

 

5.     출력패턴과 목적패턴과 비교

신경망의 4에서 나온 출력패턴과 목적패턴 (감독학습방법에서 사용)과 비교하는것이다.

 

6.     선택된 학습규칙을 사용하여 연결 가중치를 조절하는 것

앞서 말한 델타규칙 헤브의 규칙 일반화된 델타규칙등은 모두 신경망의 연결가중치를 조절하는 학습규칙을 말한다.

우리팀은 이프로젝트에서 일반화된 델타규칙을 사용하겠다.

 

7.     완전히 학습될때까지 반복하는 것

완전히 학습될때까지 반복하는 것  학습이 잘되었는지의 여부는 오차률에 따라서 결정된다. 학습이 반복되는 동안 오류가 어느한계이하로 감소되면 , 신경망은 학습된 것으로 간주하는 것.

신고

'A.I. > Neural network' 카테고리의 다른 글

신경망의 학습과정  (0) 2008.06.07
인공지능 연구목적의 이중성  (0) 2008.06.05
마빈민스키와 인공의 세계[ZDNet Korea]|  (0) 2008.06.05
신경망 용어 정리  (0) 2008.06.05
posted by Terapi
2008.06.05 17:38 A.I./Neural network
인공지능 연구목적의 이중성


나는것에 대해 연구하는 조류 연구자와 항공기 연구자에 비유해 볼수 있다. 두 사람 모두 나는것에 대해서 연구하는 것은 동일하다.  그러나 조류 연구자의 경우 주 관심사는 새가 나는 원리의 이해인 반면,  항공기 연구자의 경우 주 관심사는 어떻게 하든 나는 것을 만드는 방법의 발견이다.

때문에 조류 연구자는 먼저 새의 날개 구조와 그것의 동작 방식에 대해 주의깊게 연구한 후, 자신이 알아낸 연구결과를 토대로 인공 날개를 만든다. 만일 그 인공 날개가 실제로 날수 있다면 새의 날개에 대한 그의 연구 결과는 옳은것 이라고 볼 수 있는 반면, 그렇지 못한 경우 그의 연구 결과는 어딘가 잘못된 것이라고 볼 수 있느느 것이다.
한편 항공기 연구자의 경우 , 새날개의 구조나 동작 방식은 단지 참고 사항일뿐이며, 설사 전혀 퍼덕이지 않는 딱딱한 금속날개 일지라도 실제로 그것이 하늘을 날수만 있다면 그의 목적은 달성한 것이다

이러한 인공지능 목적의 양면성으로 인해 인공지능 접근 방법은 크게 두가지로 나뉜다

하나는 신경망적 접근 방식

다른하나는 수학적 논리에 바탕을 두고 이제까지 인공지능 연구를 주도해 온 기호처리 접근 방식 이 있다.

학습하는 기계신경망 -이상원 -Ohm사
신고

'A.I. > Neural network' 카테고리의 다른 글

신경망의 학습과정  (0) 2008.06.07
인공지능 연구목적의 이중성  (0) 2008.06.05
마빈민스키와 인공의 세계[ZDNet Korea]|  (0) 2008.06.05
신경망 용어 정리  (0) 2008.06.05
posted by Terapi
2008.06.05 17:28 A.I./Neural network
옛날에 인공지능이라는 새로운 과학의 두 딸이 태어났다. 하나의 딸은 자연적이었다. 즉 뇌의 연구를 이어 받아서 자연이 하는 것과 같은 방법을 이용했다. 다른 딸은 인공적이었다. 즉 컴퓨터를 사용했다. 자매는 모두 인공지능을 만들려고 한 것이지만 전혀 다른 재료를 이용했다. 자연적인 쪽은 순수화된 뉴런을 가지고 신경망을 만들었고 인공적인 쪽은 컴퓨터 프로그램으로 신경망을 만들었다.

인공적인 딸을 철저하게 추종하던 마빈민스키와 세이머 페이퍼트는 사냥꾼이 돼 백설공주를 살해하고 그 증거로 그녀의 심장을 가져오는 역할을 맡았다. 그들의 무기는 칼이 아니라 더 강력한 펜이었으며 펜으로 만든 「퍼셉트론」이라는 책에서 퍼셉트론은 절대로 사람의 정신을 구현할 수 없으며 '오직 컴퓨터 프로그램만이 그 일을 할 수 있다'는 것을 증명하려 했다.

승리는 인공적인 딸의 것으로 보였다. 실제로 다음 10년 동안에는 왕국의 모든 돈이 그녀 일족에게만 돌아갔고 그 중에서도 전문가(엑스퍼트) 시스템 가족이 최고의 명성과 행운을 누렸다. 그러나 백설공주는 죽지 않았다. 민스키와 페이퍼트가 증거로 보여준 것은 공주의 심장이 아니라 돼지의 심장이었다.

'돼지의 심장'이라는 비유는 퍼셉트론의 단일 레이어만을 시뮬레이트한 결과를 증명한 것을 사람들이 그동안 광범위하게 오해하고 있음을 꼬집는 말이다. 실제로 사람의 신경은 다층 레이어이다.

신고

'A.I. > Neural network' 카테고리의 다른 글

신경망의 학습과정  (0) 2008.06.07
인공지능 연구목적의 이중성  (0) 2008.06.05
마빈민스키와 인공의 세계[ZDNet Korea]|  (0) 2008.06.05
신경망 용어 정리  (0) 2008.06.05
posted by Terapi
2008.06.05 11:16 A.I./Neural network

Activation(활성화 )

-      신경망에서 뉴런에 인가되는 가중치

 

Adaline(아달라인)

 

양식의

용어

ADALINE
적응적 선형망

양식의 아래

설명

(Adaptive Linear Network) Stanford Bernard Widrow 개발한 모델. Adaline 신경세포와 비교하면 적응형 연결강도는 시냅스, 입력벡터의 성분은 축색돌기 (axon) 입력, 양자화된 출력은 축색의 출력에 각각 대응한다. Adaline 학습은 입력-출력을 쌍으로 순차적으로 제시하여 원하는 출력값이 나오도록 연결강도 (wi) 바꾸어가는 것이다. 일반적으로 Adaline 학습은 1959년에 Widrow Hoff 제안한 Least Mean Square (LMS) Algorithm 사용한다. Adaline 하나의 뉴런에 상응하여 선형 분리 가능한 논리함수만이 실현 가능하다. 따라서 일반적으로 대부분의 논리함수는 실현이 불가능하다.

 

 

Adaptive Resonance Theory(ART)

-      단계적으로 문제를 풀어나가는 과정

 

Annealing(어닐링)

-      네트워크가 지역최소 (Local Minimum)으로 떨어지는 것을 막는 처리

 

ART(Adaptive Resonance Theory)

-      ART1 이진입력에 대한 이론의 초기개발 결과이다. ART2 아날로그 입력에 대해 더욱 발전된 것이다. ART3 가장 최근의 이론이다.

 

Artificial Neuron(인공 뉴런)

-      인공 신경망의 주된 목적은 인간의 뇌의 신경세포의 동작을 흉내내는 것이다. 인공 신경 세포는 신경망의 처리 요소이다.

 

Associative Memory(연상 메모리)

-      하나의 패턴이나 객체로서 자신이나 다른 것을 연상시키는 행위

 

Autoassociative(자기 연상)

-      하나의 패턴이나 객체로 자신과 대응시키는

 

Backpropagation(역전파)

-      출력층의 에러가 학습이 이루어지기 전에 이전 계층으로 피드백되는 피드포워드 네트워크를 위한 신경망 트레이닝 알고리즘. 만일, 이전 계층이 입력층이 아니면 은닉층의 에러는 이전 계층으로 피드백된다.

 

BAM

-      Bidirectional Associative Memory 네트워크 모델

 

Bias(바이어스)

-      뉴런의 Activation 가해지는

 

Binary Digit

-      0 또는 1

 

Bipolar Value

-      1 또는 +1

 

Boltzmann Machine(볼츠만 머신)

-      출력이 확률분포로 결정되는 신경망. 시뮬레이티드 어닐링(Simulated Annealing) 이용하여 트레이닝되고 동작한다.

 

Brain-State-in-a-Box

-      Anderson 단일 계층이며, 글자 그대로 연결된 신경망. 잡음이 섞이거나 불완전한 입력에서도 동작한다.

 

Cauchy Machine(코시 머신)

-      Boltzmann Machine 비슷하며, Cauchy분포가 확률에 사용된다는 것만 다르다.

 

Cognitron(코그니트론)

-      Neocognitron 선행자. 캐릭터를 인식하기 위해 개발된 네트워크

 

Competition(경쟁)

-      어떤 기준에 의해 winner 뉴런의 계층에서 선택되는 과정. 경쟁(competition) 억제(inhibition)에게 어떤 연결 가중치에 음의 부호의 값을 갖도록 하게 한다.

 

Conneciton(연결)

-      하나의 뉴런에서 다른 뉴런으로 입력을 전달하는 방법

 

Connection weight(연결 가중치)

-      연결과 관련된 수치적인 라벨이며 입력의 가중치 합에 사용된다.

-      뇌와 신경망에 있어 기억의 기본단위 (시냅스)

-      두 인공 신경세포들의 정보 전달 정도를 나타내는 실수값으로 표시된다.

 

Constraints(한정)

-      방정식이나 부등식으로 표현되는 조건이며 변수에 의해 만족되어야 한다.

 

Convergence(수렴)

-      최종 결과로서 과정을 끝내는

 

Crisp(크리스프)

-      퍼지의 반대-어떤 실체(entity) 대한 특정한 수치적 양이나

 

Delta Rule(델타 규칙)

-      출력과 발생된 에러를 모두 사용하여 연결 가중치를 교정하기 위한 규칙이다. 또한 LMS규칙이라고도 불린다.

 

Energy Function(에너지 함수)

-      신경망에서 출력과 가중치의 함수이며, 시스템의 상태, Lyapunov 함수를 결정한다.

 

Excitation(여기)

-      연결에 양의 부호의 가중치를 가하여 출력이 뉴런을 fire하게 한다.

 

Exampler(견본)

-      신경망을 트레이닝 시키는 패턴이나 객체의 대표적인

 

Excitatory Synapse(흥분성 시냅스)

-      다른 신경세포가 활성 상태가 이르도록 흥분시킴

 

Expert System(전문가 시스템)

-      시스템이 전문가처럼 수행하도록 하는 공식화된 규칙들의 집합

 

FAM(Fuzzy Associative Memory) 네트워크

-      퍼지 집합들 간을 관련시킨다.

 

Feedback(피드백)

-      퍼지 집합요소의 포함정도(Degree of Membership) 값으로 이루어진 벡터

 

Fully connected Network(완전 연결 네트워크)

-      모든 뉴런이 모든 다른 뉴런과 연결된 신경망

 

Fuzzy(퍼지)

-      크리스프(Crisp) 반대되는 변수와 관련이 있다. 퍼지양(Fuzzy Quantity) 단일 수치값과 상반된 값의 범위를 나타낸다. , "뜨겁다" "89.4".

 

Fuzziness(퍼지니스)

-      어느 정도까지 중복되는 다른 개념. 예를 들면, 순조로운 온도와 차가운 온도에 대한 묘사는 약간의 온도 구간에서 중복된다.

 

Fuzzy Associative Memory(퍼지 연상 메모리)

-      퍼지 집합들 간에 관련을 짓기 위한 신경망 모델

 

Fuzzy Equivalence Relation(퍼지 등가 관계)

-      반사적이고, 대칭적이며, 바꾸어 놓을 있는 퍼지관계(퍼지 변수들 간의 관계)

 

Fuzzy Partial Order(퍼지 부분 차수)

-      반사적이고, 반대칭적이며, 천이적인 퍼지관계(퍼지 변수들 간의 관계)

 

Gain(이득)

-      액티베이션을 향상시키기 위한 어떤 수치적 요인. 동일한 목적을 위한 연결

 

Generalized Delta Rule(일반화된 델타규칙)

-      은닉층의 가중치가 역전파된 에러에 의해 교정되는 역전파 트레이닝(Training) 같은 네트워크의 트레이닝에 쓰이는 규칙

 

Global Minimum(전역 최소값)

-      함수의 값이 함수 영역의 어떤 점에서의 값보다 크지 않은

 

Hamming Distance(해밍 거리)

-      이진 벡터가 서로 다른 위치의

 

Hebbian Learning(헵의 학습)

-      Hebb규칙이 사용되는 학습알고리즘

 

Heteroassociative(이질 연상)

-      개의 서로 다른 패턴이나 물체 사이의 연상을 하는

 

Hidden Layer(은닉층)

-      입력층과 출력층 사이에 있는 뉴런들의 배열

 

Hopfield network(홉필드 네트워크)

-      단일 계층이고, 완전히 연결되고, 자기 연상적인 신경망

 

Inhibition(억제)

-      다른 뉴런에 의한 Firing 기회를 줄이기 위한 뉴런에 의한 시도

 

Inhibitory Synapse(억제성 시냅스)

-      다른 신경세포가 활성 상태가 이르지 못하도록 억제시킴

 

Input Layer(입력층)

-      외부 입력이나 신호가 가해지는 뉴런들의 배열

 

Instar(인스타)

-      다른 뉴런과 연결되어 있지 않은 뉴런

 

Lateral Connection(측면 연결)

-      같은 계층에 있는 뉴런 간의 연결

 

Layer(계층)

-      네트워크가 동작하기 위해 구성된 것과 비슷하게 구성한 뉴런들 간의 배열

 

Learning(학습)

-      네트워크 동작의 목적을 이루기 위해 연결 가중치의 적절한 집합을 찾는 과정

 

Learning Rule(학습규칙)

-      신경망의 학습 원리이며 연결가중치를 조절한 일정한 규칙

Learning Schedule(학습 스케쥴)

-      신경망에 학습시킬 입력 패턴의 순서와 학습에 필요한 여러가지 파라메터들을 결정하는

Linearly Separable(선형적으로 분리 가능한)

-      선형 장벽(Hyperplane) 갖는 선형적이 집합의 서브셋(Subsets)

 

LMS Rule(최소 자승 평균 에러 규칙)

-      Least Mean Squared Error Rule. 자승 에러의 평균을 최소화하기 위한 목적. 델타 규칙과 동일하다.

 

Local Minimum(지역 최소값)

-      함수의 값이 이웃한 다른 점의 값보다 크지 않은

 

Long-Term Memory(LTM, 장기 메모리)

-      확장된 단계를 위해 남겨둔 인코드된 정보

 

Lyapunov Function(리야프노브 함수)

-      경계값 이하의 함수이며, 시스템의 상태의 모든 변화에 따라 감소하는 시스템의 상태를 나타낸다.

 

Madaline(마달라인)

-      입력층이 Adaline 유닛을 갖는 신경망. 다중-Adaline

 

Mappine(매핑)

-      집합의 요소들 간의 대응

 

Multi layer neural network(다층 신경망)

-      다수 계층으로 이루어진 신경망을 다층 신경망                           (단층 신경망)

 

Neural Network(신경망)

-      계층에서의 처리 요소들의 집합이며 뉴런 쌍들 간의 연결 끝의 집합. 입력이 한계층에서 수신되고 출력은 그와 같은 계층이나 다른 계층에서 발생된다.

 

Noise(잡음)

-      입력의 왜곡

 

Nonlinear Optimization(비선형 최적화)

-      그것의 목적이나 제한이 비선형적인 함수를 갖는 문제를 위한 해결책을 찾는

 

On Center Off Surround

-      여기적인(Excitatory)가중치를 가까이 있는 뉴런과의 연결에 할당하고, 억제적인 (Inhibitory) 가중치를 멀리 떨어진 뉴런과의 연결에 할당하는

 

One layer neural network(단층 신경망)             

-      하나의 층으로 이루어진 신경망을 단층신경망                             (다층신경망)

 

Orthogonal Vectors(직교 벡터)

-      내적이 0 된다.

 

Output pattern

-      신경망의 동작 결과 출력층 인공 신경세포들이 산출해 출력결과

 

Outstar(아웃스타)

-      입력 연결을 갖는 뉴런

 

Plane()

-      인공 신경세포들의 모임

 

Perceptron(퍼셉트론)

-      선형 패턴 매칭을 하기 위한 신경망

 

Plasticity(유연성)

-      새로운 입력으로 시뮬레이션 되거나 새로운 매핑을 학습하거나 또는 현재 존재하는 것을 수정할 있는 능력.

 

Resonance(공진)

-      입력을 범주화(Categorizing) , 서로 다른 계층에 있는 뉴런들의 응답성. 방향이 등가인 상태.

 

Saturation(포화)

-      뉴런이 점화(fire) 있는 빈도수의 제한 조건.

 

Self-Organization(자기 조직화)

-      출력층 뉴런을 개별적인 패턴이나 가케고리로 분할하는 과정이며, 자율학습 또는 클러스터링(Clustering)이라 불린다.

 

Short-Term Memory(STM, 단기 메모리)

-      대응하는 입력을 제거한 후에, 오랫동안 저장되지 않는 저장 정보.

 

Sigmoid function(시그모이드 함수)

-      f(x)=1/(1+e-x) e = 2.718282

 

Simulated Annealing(시뮬레이티드 어닐링)

-      에너지나 온도 또는 비용 등을 감소하도록 변화가 이루어지는 알고리즘

 

Stability(안정성)

-      네트워크 동작이 정상상태 해에 수렴하는 성질.

 

Supervised Learning(지도 학습)

-      견본 집합이 입력과 요구되는 출력의 쌍으로 구성된 학습처리.

 

Synapse

-      뇌에 있어 기억의 기본단위 뇌로 하여금 학습 능력을 갖게 하는 가장 중요한 역할을 한다. 구조나 동작은 개념적으로 단순

-      종류에는 흥분성 시냅스, 억제성 시냅스 두가지가 있다.

Target Pattern(목적 패턴)

-      주어진 입력패턴에 대해 신경망이 출력해 주기 원하는 출력패턴

 

Threshold Value(임계값)(역치())

-      뉴런이 점화할 것인가의 여부를 결정하기 위해 뉴런의 활성화 값과 비교하기 위해 사용되는 . 종종 뉴런의 출력을 결정하는 있어 임계값이 0 되도록 하기 위해 뉴런의 활성화 값에 바이어스 값이 더해진다.  바이어스값 0,07

 

Training(트레이닝)

-      입력과 출력자극(지도학습) 인가하거나, 입력자극(자율학습)만을 인가하여 신경망이 학습하도록 도와주는 과정이며, 가중치가 변화되도록 해준다.

 

Unsupervised Learning(자율 학습)

-      출력에 대한 외부의 정보가 없는 학습이며, 또한 자기 조직화나 클러스터링이라고도 불린다.

 

Vigilance Parameter(경계 변수)

-      ART(Adaptive Resonance Theory) 사용되는 파라미터. 이것은 네트워크의 종속시스템(Subsystem) 활성화 값을 선택적으로 막아주기 위해 사용된다.

 

Weight(가중치)

-      뉴런이나 뉴런 간의 연결과 관련된 수이며, 뉴런의 활성화 값을 결정하기 위한 출력을 할당할 사용된다.

 

Weight sum(가중합)

-      연결 가중치가 곱해지고 더해진

 

 

신고

'A.I. > Neural network' 카테고리의 다른 글

신경망의 학습과정  (0) 2008.06.07
인공지능 연구목적의 이중성  (0) 2008.06.05
마빈민스키와 인공의 세계[ZDNet Korea]|  (0) 2008.06.05
신경망 용어 정리  (0) 2008.06.05
posted by Terapi
prev 1 next

티스토리 툴바