프로그램 개발 및 보안

정의“기존 RNN이 시퀀스가 길어질수록 과거의 정보를 잊어버리는 '장기 의존성 문제(Long-Term Dependency)'를 해결하기 위해 고안된 인공신경망 아키텍처”짧은 문맥을 기억하는 단기 기억($h_t$)과 멀리 있는 핵심 정보를 유지하는 장기 기억($C_t$) 두 가지를 모두 활용하여 데이터를 처리원리“셀 상태와 3개의 게이트”LSTM의 은닉층에는 단순한 뉴런 대신, 복잡한 연산 구조를 가진 'LSTM 셀(Cell)' 존재.이 셀은 다음의 핵심 요소들로 이루어져 있습니다.Cell State ($C_t$, 장기 기억):셀의 가장 상단을 관통하는 메인 파이프라인정보가 손실 없이 쭈욱 흘러갈 수 있게 해주는 '고속도로' 역할Hidden State ($h_t$, 단기 기억):직전 시점에서 넘어온 출력값..

배경 및 필요성기존 신경망(ANN, CNN)의 한계: 기존 모델들의 입력 데이터는 서로 독립적이라고 가정하므로, 과거의 정보를 기억하는 메모리가 없음실생활의 데이터는 시간의 흐름에 따라 앞 뒤 문맥이 서로 연결되어 있음. → 순차적(Sequential) 특징 존재.이를 처리하기 위해 과거의 정보를 현재의 판단에 반영할 수 있는 메모리를 갖춘 신경망으로 RNN 등장정의"순차적(Sequential) 또는 시계열(Time-series) 데이터를 처리하기 위해 설계된 신경망 모델의 한 유형"재귀적 구조(Recurrence): 은닉층의 출력값이 다음 시점의 동일한 은닉층의 입력으로 들어가는 순환 구조를 가짐RNN 모델은 방향성 비순환 그래프로 표시상태 저장(Hidden State): 은닉층의 노드는 이전 시점의 ..

정의"생물학적 신경망의 연결 구조에서 영감을 받아 설계된 머신러닝 컴퓨팅 모델"뉴런 단위의 간단한 연산을 계층적 혹은 순환적으로 연결하여 복합적인 문제 해결 능력을 갖도록 설계주어진 데이터(입력)로부터 스스로 학습하여 결과(출력)을 예측하거나 분류하는데 활용배경1943년: ****수리 논리학에 기초한 신경망 모델 제안 → 뉴런과 시냅스를 추상화한 개념 모델1957년: Perceptron을 발표 → 기계가 간단한 패턴 분류 문제 해결 가능성 보여줌1960-1970년대: Perceptron이 선형 분리 문제에서는 가능이지만 비선형 문제 해결에 제한 있음1980년대: Backpropagation(오류역전파) 알고리즘의 등장으로 다층 Perceptron 재조명현재 (딥러닝 발전): 영상 처리(CNN), 시계열 ..

정의“컴퓨터 알고리즘을 사용해서 이미지를 생성하는 프로세스”이미지에는 실제 사진, 그림 3D 렌더링, 가상 이미지 등 다양이미지 생성 알고리즘은 규칙 기반 방법, 통계 기반 방법, 딥 러닝 등 존재딥러닝 기반 이미지 생성입력 이미지와 출력 이미지 사이의 매핑 관계를 학습하도록 훈련된 신경망 모델 사용GAN, VAE 등 존재이미지 생성 네트워크GAN(Generative Adversarial Network, 생성 적대적 신경망)이미지 생성을 담당하는 Generator(생성기)와 생성된 이미지의 진위 여부를 판단하는 Discriminator(판별기의 두가지 신경망으로 구성고품질 사실적 이미지 생성 가능VAE(Variational AutoEncoder, 가변적 자동 인코더)입력 영상의 잠재변수(Latent Ve..

언어 모델 생성 단계데이터셋 선택입력 텍스트 전처리언어 모델 선택모델 훈련모델 평가Dataset(데이터셋)Text Corpus언어 생성을 위한 데이터 집합wiki, web page 등Dataset여러 문장으로 구성클래스, 품사 또는 번역 등의 정보 포함 가능목적에 따라서 구성이 달라짐Pre-processing(전처리)Tokenization(토큰화)텍스트를 입력 요소로 분리하는 과정Vectorization(벡터화)토큰을 숫자 표현으로 변환하는 과정Embedding(임베딩)의미 관계 또는 문맥적 의미를 추가하여 벡터 표현 개선Model언어 생성을 위한 가장 최근 두가지 딥러닝 모델RNN(Recurrent Neural Network, 순환 신경망)메모리를 저장하고 시간적 종속성을 포함하는 순차적 숨겨진 상태 ..

정의“컴퓨터 프로그램을 사용하여, 인간 언어의 규범에 부합하는 텍스트를 생성하는 프로세스”NLP(Natural Language Processing, 자연어 처리)의 한 분야언어 생성 기술은 다양한 형태로 활용 가능자동화된 질의응답 시스템, 쳇봇, 지능형 고객 서비스 시스템, 자동 컨텐츠 생성 등언어 생성에 사용되는 모델Markov Chain(마르코프 체인), RNN(Recurrent Neural Network, 순환 신경망), Transformer 등자연어 생성 네트워크언어 생성에 대한 딥러닝 기반 접근 방식신경망 모델링을 통해 언어의 법칙과 특징 학습 후, 새로운 텍스트 생성신경망 생성 모델링신경망 생성 모델링 장점문맥 정보를 처리하고 풍부한 텍스트 생성 가능수동을 설계된 기능이나 규칙 없음신경망 기반..

정의“컴퓨터가 인간의 사고와 인지 과정을 시뮬레이션하는 방법을 연구하는 AI의 한 분야”지능적인 의사 결정과 문제 해결은 학습, 추론, 언어 이해, 지식 표현 및 기타 기술적 수단을 통해 이뤄짐데이터 마이닝, 머신러닝, 자연어 처리 활용하여 작업 수행구성 요소지식표현다양한 종류의 지식을 설명 및 정리하고, 지식 간의 추론 및 사용을 지원학습방대한 양의 데이터에서 패턴을 자동으로 학습자체 모델을 지속적으로 최적화함자연어 처리컴퓨터가 자연어로 인간의 의사소통을 이해하고 처리할 수 있도록 지원컴퓨터 비전디지털 이미지 및 비디오에서 객체 대한 인식 및 분석추론 및 의사 결정기존 정보를 기반으로 추론하고, 의사 결정하여 최상의 솔루션 제공응용지능형 고객서비스사용자와 상호 작용하고 음성 또는 텍스트를 통해 도움말 ..

정의“텍스트, 이미지, 음악 등의 콘텐츠 생성을 중심으로 둔 인공지능의 한 분야”생성형 인공지능 출력의 종류이미지 생성GAN(Generative Adversarial Networks)AutoEncoder를 사용해 실제 이미지 생성 가능텍스트 생성RNN(Recurrent Neural Network, 순환 신경망) 또는 Transformer 사용하여 텍스트 생성 가능비디오 생성3D Convolution Neural Network나 GAN을 사용하여 동영상 생성 가능오디오 생성1D Convolution Neural Network나 GAN을 사용하여 오디오 생성 가능중요구성 요소Encoder입력을 해석하고 Contextual Information을 생성DecoderContextual Information을 기반..

정의“생성형 사전 훈련 변환기”대량의 텍스트 데이터로 사전에 학습되고, 새로운 텍스트를 생성할 수 있는 Transformer 기반의 인공신경망LLM(Large Language Model, 대규모 언어 모델)의 하나GPT 모델은 다음 단어 예측(언어 모델링) 작업을 통해 자연어 문장을 만들어내는 생성형 AI의 사례GPT 시리즈 각 모델은 모델 크기(매개변수 수)와 학습 데이터양을 크게 늘려 성능을 향상함배경 및 역사Transformer의 등장 (2017)구글 연구진이 발표한 “Attention Is All You Need”에서 Transformer 신경망 구조 제안Transformer는 Self-Attention 메커니즘을 통해 순차 데이터의 장기 의존성을 효과적으로 학습하며, RNN(Recurrent N..

비동기 의미메인 작업의 흐름과 보조 작업의 흐름이 서로의 완료 상태에 종속되지 않고 독립적(병행적)으로 진행될 수 있음요청과 응답의 타이밍이 맞물려 있지 않음네트워크 및 통신 분야 의미비동기 통신은 메시지의 송수신 및 처리가 다른 메시지의 송수신 또는 처리에 의존하지 않는 메시지 교환 방식편리하거나 가능한 시점에 메시지를 수신하고 처리함메시지는 수신 확인을 기다리지 않고 전송 가능문제가 발생할 경우 수신자가 수정을 요청하거나 상황을 처리할 것이라는 전제 하에 전송을 진행예시: 이메일 소통 방식프로미스 기반 API에서는 Promise 시간이 오래걸리는 작업을 위해 객체를 생성함, 작업이 완료되면 프로미스가 처리됨소프트웨어 설계 분야 의미비동기 소프트웨어 설계는 프로그램이 원래 작업을 기다리지 않고도 동시에..