프로그램 개발 및 보안

Natural Language

개요사람이 살아가며 자연스럽게 형성해 쓰는 언어(한국어, 영어) ↔ 인공어(프로그래밍 언어, 논리식)신경망은 숫자(벡터)만 계산하므로, 기호의 나열인 자연어를 어떻게 숫자로 표현할지가 NLP (Natural Language Processing)의 출발점자연어 특성이산 기호문자·단어처럼 떨어진(discrete) 기호를 늘어놓은 것기호 자체에는 거리·유사도 구조 없음 → 벡터로 바꿔야 의미 비교 가능 (one-hot, Dense 표현)자의성기호와 의미의 연결이 관습일 뿐 필연적 이유가 없는 성질예: "dog" 글자 3개에 개의 성질은 들어 있지 않음글자 모양만으로는 의미를 알 수 없고, 쓰임(맥락)에서 의미를 얻어야함 → 분포 가설생산성유한한 단어로 무한히 많은 문장을 생성모호성같은 단어가 문맥에 따라 다른..

Loss Function

개요예측과 정답을 비교해 예측이 얼마나 잘못되었는지 하나의 숫자(스칼라)로 나타내는 함수문제 유형과 출력의 의미에 맞는 손실함수를 선택해야 함MSE: 예측한 숫자가 정답에서 얼마나 떨어졌는지 평가Cross-Entropy: 실제 정답에 얼마나 높은 확률을 주었는지 평가두 함수 외에도 여러 손실함수가 존재함손실 계산은 순전파의 끝에 해당하며, 역전파는 계산된 손실에서 출발Gradient: 값을 조금 바꾸면 그 벌점이 어느 방향으로 얼마나 변하는지MSE (Mean Squared Error)MSE 배경온도나 가격처럼 연속적인 숫자 자체를 예측하는 문제에서는 정답과 예측 사이의 거리를 평가 가능예를 들어 실제 온도가 20도라면, 21도라는 예측보다 30도라는 예측에 더 큰 손실을 주는 방식MSE 원리예측과 정답의..

Softmax

개요실수 점수 벡터를 합이 1인 확률분포로 변환하는 활성함수단일 정답 다중 클래스 분류의 출력에 사용함원리$$p_i=\operatorname{softmax}(z)_i=\frac{e^{z_i}}{\sum_{j=1}^{K}e^{z_j}}$$입력 점수 $z_i$를 Logit, 출력 확률을 $p_i$로 표기각 점수를 지수화해 양수로 만든 뒤 전체 합으로 나눔한 클래스의 확률은 자신의 점수와 다른 모든 클래스의 점수에 의존함유한한 Logit에 대해 $01$ 기준)Logit이 가장 큰 클래스와 확률이 가장 큰 클래스가 같음모델이 만든 확률분포이며, 실제 정답 비율과 자동으로 보정된 확률이라는 뜻은 아님계산계산 예시$$z=[1,2,3],\qquadp=\frac{[e^1,e^2,e^3]}{e^1+e^2+e^3}\app..

정의“기존 RNN이 시퀀스가 길어질수록 과거의 정보를 잊어버리는 '장기 의존성 문제(Long-Term Dependency)'를 해결하기 위해 고안된 인공신경망 아키텍처”짧은 문맥을 기억하는 단기 기억($h_t$)과 멀리 있는 핵심 정보를 유지하는 장기 기억($C_t$) 두 가지를 모두 활용하여 데이터를 처리원리“셀 상태와 3개의 게이트”LSTM의 은닉층에는 단순한 뉴런 대신, 복잡한 연산 구조를 가진 'LSTM 셀(Cell)' 존재.이 셀은 다음의 핵심 요소들로 이루어져 있습니다.Cell State ($C_t$, 장기 기억):셀의 가장 상단을 관통하는 메인 파이프라인정보가 손실 없이 쭈욱 흘러갈 수 있게 해주는 '고속도로' 역할Hidden State ($h_t$, 단기 기억):직전 시점에서 넘어온 출력값..

배경 및 필요성기존 신경망(ANN, CNN)의 한계: 기존 모델들의 입력 데이터는 서로 독립적이라고 가정하므로, 과거의 정보를 기억하는 메모리가 없음실생활의 데이터는 시간의 흐름에 따라 앞 뒤 문맥이 서로 연결되어 있음. → 순차적(Sequential) 특징 존재.이를 처리하기 위해 과거의 정보를 현재의 판단에 반영할 수 있는 메모리를 갖춘 신경망으로 RNN 등장정의"순차적(Sequential) 또는 시계열(Time-series) 데이터를 처리하기 위해 설계된 신경망 모델의 한 유형"재귀적 구조(Recurrence): 은닉층의 출력값이 다음 시점의 동일한 은닉층의 입력으로 들어가는 순환 구조를 가짐RNN 모델은 방향성 비순환 그래프로 표시상태 저장(Hidden State): 은닉층의 노드는 이전 시점의 ..

정의"생물학적 신경망의 연결 구조에서 영감을 받아 설계된 머신러닝 컴퓨팅 모델"뉴런 단위의 간단한 연산을 계층적 혹은 순환적으로 연결하여 복합적인 문제 해결 능력을 갖도록 설계주어진 데이터(입력)로부터 스스로 학습하여 결과(출력)을 예측하거나 분류하는데 활용배경1943년: ****수리 논리학에 기초한 신경망 모델 제안 → 뉴런과 시냅스를 추상화한 개념 모델1957년: Perceptron을 발표 → 기계가 간단한 패턴 분류 문제 해결 가능성 보여줌1960-1970년대: Perceptron이 선형 분리 문제에서는 가능이지만 비선형 문제 해결에 제한 있음1980년대: Backpropagation(오류역전파) 알고리즘의 등장으로 다층 Perceptron 재조명현재 (딥러닝 발전): 영상 처리(CNN), 시계열 ..

정의“컴퓨터 알고리즘을 사용해서 이미지를 생성하는 프로세스”이미지에는 실제 사진, 그림 3D 렌더링, 가상 이미지 등 다양이미지 생성 알고리즘은 규칙 기반 방법, 통계 기반 방법, 딥 러닝 등 존재딥러닝 기반 이미지 생성입력 이미지와 출력 이미지 사이의 매핑 관계를 학습하도록 훈련된 신경망 모델 사용GAN, VAE 등 존재이미지 생성 네트워크GAN(Generative Adversarial Network, 생성 적대적 신경망)이미지 생성을 담당하는 Generator(생성기)와 생성된 이미지의 진위 여부를 판단하는 Discriminator(판별기의 두가지 신경망으로 구성고품질 사실적 이미지 생성 가능VAE(Variational AutoEncoder, 가변적 자동 인코더)입력 영상의 잠재변수(Latent Ve..

언어 모델 생성 단계데이터셋 선택입력 텍스트 전처리언어 모델 선택모델 훈련모델 평가Dataset(데이터셋)Text Corpus언어 생성을 위한 데이터 집합wiki, web page 등Dataset여러 문장으로 구성클래스, 품사 또는 번역 등의 정보 포함 가능목적에 따라서 구성이 달라짐Pre-processing(전처리)Tokenization(토큰화)텍스트를 입력 요소로 분리하는 과정Vectorization(벡터화)토큰을 숫자 표현으로 변환하는 과정Embedding(임베딩)의미 관계 또는 문맥적 의미를 추가하여 벡터 표현 개선Model언어 생성을 위한 가장 최근 두가지 딥러닝 모델RNN(Recurrent Neural Network, 순환 신경망)메모리를 저장하고 시간적 종속성을 포함하는 순차적 숨겨진 상태 ..

정의“컴퓨터 프로그램을 사용하여, 인간 언어의 규범에 부합하는 텍스트를 생성하는 프로세스”NLP(Natural Language Processing, 자연어 처리)의 한 분야언어 생성 기술은 다양한 형태로 활용 가능자동화된 질의응답 시스템, 쳇봇, 지능형 고객 서비스 시스템, 자동 컨텐츠 생성 등언어 생성에 사용되는 모델Markov Chain(마르코프 체인), RNN(Recurrent Neural Network, 순환 신경망), Transformer 등자연어 생성 네트워크언어 생성에 대한 딥러닝 기반 접근 방식신경망 모델링을 통해 언어의 법칙과 특징 학습 후, 새로운 텍스트 생성신경망 생성 모델링신경망 생성 모델링 장점문맥 정보를 처리하고 풍부한 텍스트 생성 가능수동을 설계된 기능이나 규칙 없음신경망 기반..

정의“컴퓨터가 인간의 사고와 인지 과정을 시뮬레이션하는 방법을 연구하는 AI의 한 분야”지능적인 의사 결정과 문제 해결은 학습, 추론, 언어 이해, 지식 표현 및 기타 기술적 수단을 통해 이뤄짐데이터 마이닝, 머신러닝, 자연어 처리 활용하여 작업 수행구성 요소지식표현다양한 종류의 지식을 설명 및 정리하고, 지식 간의 추론 및 사용을 지원학습방대한 양의 데이터에서 패턴을 자동으로 학습자체 모델을 지속적으로 최적화함자연어 처리컴퓨터가 자연어로 인간의 의사소통을 이해하고 처리할 수 있도록 지원컴퓨터 비전디지털 이미지 및 비디오에서 객체 대한 인식 및 분석추론 및 의사 결정기존 정보를 기반으로 추론하고, 의사 결정하여 최상의 솔루션 제공응용지능형 고객서비스사용자와 상호 작용하고 음성 또는 텍스트를 통해 도움말 ..