[Microsoft AI School 6기] 3/11(53일차) 정리 - Azure Open AI(2)

Azure Open AI 활용

 

 

Azure Open AI

리소스 그룹 생성 > 만들기 > Azure Open AI > 배포

 

Azure Open AI

 

Go to Azure AI Foundry portal 클릭

 

Azure Open AI

 

좌측에 Deployments(배포)

 

모델 배포

 

Deploy model > Deploy base model > gpt-4o > confirm

하면 모델이 배포 된다.

 

 

자연어에서 코드 생성

 

Azure OpenAI Service에 있는 AI 모델 기능 중 하나는 자연어 프롬프트에서 코드를 생성하는 것

간단한 한 줄 명령어에서 전체 애플리케이션 코딩까지 다양하고 제공된 코드나 이전 응답을 편집하고 업데이트하여 요청된 작업을 완료

 

코드 생성을 위한 AI 모델

 

• Codex 모델: 이전 세대의 gpt 모델에서는 코드 사용을 위해 특별히 학습된 모델
• gpt 모델이 발전함에 따라 기본 모델은 언어와 코드 모두에 대한 이해를 크게 향상시커 특정 코드 모델이 불필요함
• ex: gpt35-turbo, gpt-4

 

자연어에서 코드 생성

 

코딩 언어 변경, 알 수 없는 코드 이해 등 여러 가지 방법으로 개발 속도를 향상

 

단위 테스트 코드 생성

 

단위 테스트 코드

 

- max response를 통해 답변 받을 토큰 수의 최대치를 조절할 수 있다.

-> 너무 적은 경우 답변이 잘릴 수 있음

 

시간 복잡도

- 발전된 하드웨어의 영향으로 다인원 작업시 시간을 줄이는 것보다 가독성을 좋게 하는 것이 유리할 수 있음

 

코드 리펙토링

기존의 코드를 개선하고 정리하는 과정

코드의 기능을 변경하지 않으면서 코드의 구조를 개선하거나 가독성을 높이는 작업을 포함

ex) 중복된 부분 함수로 변경

-> clean code로 유지

 

 

이미지

 

 

DALL-E

 

DALL-E란 자연어 입력에서 그래픽 데이터를 생성할 수 있는 신경망 기반 모델

DALL-E에 설명을 제공하고 이에 맞는 이미지를 생성 가능

 

좌측에 images 선택 

 

image playground

 

사용할 수 있는 리소스 그룹 리전이 정해져 있음을 알 수 있다

 

image playground

 

image playground

 

image playground

 

위와 같이 프롬프트를 통해 이미지를 얻을 수 있다.

dall-e-3부터는 한글로 프롬프트를 입력할 수 있다

 

Azure OpenAI REST API를 사용하여 DALL-E 모델 사용

위쪽의 점 세 개 > view code 에서 정보를 얻을 수 있음

 

view code

 

postman에서 연결 확인

headers에 api-key 추가

method: post

endpoint 가져오기

body 채우기

 

postman

 

headers에서 operation-location 복사 > 새 창 열기 해서 endpoint에 복사

method: get

headers에 api-key 다시 추가 > url을 얻을 수 있음

 

postman

 

이미지 생성

 

이미지 생성

 

이후 해당 url에 들어가면 생성된 그림을 볼 수 있다.

 

 

검색 증강(Retrieval-Augmented Generation) - RAG

 

대규모 언어 모델(LLM)의 한계를 극복하기 위해 제안된 새로운 자연어 처리 기술

- LLM은 방대한 양의 텍스트 데이터를 사전 학습하여 강력한 언어 이해 및 생성능력을 갖추고 있지만, 학습 데이터에 없는 최신 정보나 특정 도메인 지식은 제공하기 어려움

-> RAG : RAG는 LLM에 외부 지식 베이스를 연결하여 모델의 생성 능력과 사실 관계 파악 능력을 향상

 

Azure OpenAI를 사용하면 사전 학습된 모델을 사용자 고유의 데이터 원본에 연결하여 RAG를 사용할 수 있음

- Azure OpenAI는 Azure AI Search의 검색 기능을 활용하여 접지 데이터를 프롬프트에 추가

 

미세 조정 vs RAG

 

미세 조정, RAG

 

데이터를 미리 정리 하여 제공 > AI Open Search에서 가공 작업을 함 > Open AI 와 연결

 

 

Azure Open AI

 

contents filter -> 안전 보안으로 변경됨

필터 제작 후 적용 > Deployments

Deployments > 모델 이름 클릭 > Edit 에 들어가면 필터를 변경할 수 있다

 

filter

 

filter가 적용되었음을 알 수 있다

이렇게 필터의 정도를 낮추는 등 조절하면 욕설 등의 출력 값을 얻을 수 있다

 

Azure AI search

리소스 그룹 > 만들기 > Azure AI Search

 

Azure AI Search

 

데이터 업로드를 위한 스토리지 계정 필요

리소스 그룹 > 만들기 > 스토리지 계정

 

스토리지 계정

 

스토리지 계정으로 접속 > 좌측의 데이터 스토리지 > 컨테이너 > +컨테이너 클릭하여 파일 생성 > 클릭 > 업로드

 

업로드

 

파일을 선택 한 후 고급 > 폴더에 업로드 하여 폴더 지정 후 업로드

 

리소스 그룹 > AI search로 접속 > 좌측 검색 관리 > 데이터 소스 > 데이터 원본 추가

 

blob

 

Tip!

안될 경우 개발자 도구를 웹 브라우저에서 켜 놓은 뒤 새로 고침 버튼을 길게 누르면 강력 새로 고침이 가능하다

 

좌측 검색 관리 > 인덱스 > 인덱스 추가 > 인덱스 추가(JSON) > 받은 실습 파일 추가

 

인덱스 추가

 

필드

 

필드를 클릭하여 정보가 제대로 입력되었는 지 확인할 수 있다.

 

검색 관리 > 인덱서 추가

인덱서: parser와 유사

 

인덱서 추가

 

첫줄에 헤더 포함을 클릭(자료에 1행이 헤더이기 때문) > 등록

 

-> 이 경우, 매핑이 안될 수 있다. (파일에서는 한글, json은 영문으로 헤더를 전달 했기 때문)

이를 매핑하기 위해서는

인덱서 > json 편집 > "fieldMappings"에 매핑 추가

 

매핑

 

저장 > 초기화 > 실행

 

인덱서

 

다시 인덱스로 돌어와서 검색 클릭

 

인덱스

 

정보가 정상적으로 저장되어 있음을 확인할 수 있다.

 

 

오늘의 간단한 후기

 

Azure Open AI를 통해 다양한 일들을 할 수 있다는 것을 알게 되었다. 중간에 연결하는 rest api 형식이 azure 자체 내에서 바뀌는 등 다양한 일이 있었지만, 그래도 ai를 활용해 볼 수 있다는 점은 좋은 것 같다

 

 

 

출처

 

-If any problem for references, or any questions please contact me by comments.

-This content is only for recording my studies and personal profiles

 

일부 출처는 사진 내에 표기되어 있습니다

본문의 내용은 학습과 개인 profile 이외의 다른 목적이 없습니다

출처 관련 문제 있을 시 말씀 부탁드립니다

상업적인 용도로 사용하는 것을 금합니다

본문의 내용을 Elixirr 강의자료 내용(정종현)을 기반으로 제작되었습니다

깃허브 소스코드의 내용을 담고 있습니다

본문의 내용은 MS AI School 6기의 강의 자료 및 수업 내용을 담고 있습니다