반응형

평소에 바드랑 GPT를 사용하는데 최근 바드 확장 프로그램 소식이 들려와서 한 번 사용해보고 후기 작성해봅니다.


바드 확장 프로그램

1. 질문을 했을 때 확장 프로그램 관련 질문이라면, 확장 프로그램의 실시간 데이터를 가져와서 대답해주는 기능 

2. 질문을 했을 때 구글 워크스페이스에 있는 데이터 관련 질문이라면, 워크스페이스에 있는 데이터를 가져와서 대답해주는 기능

바드에서 우측 상단에 확장 프로그램을 눌러보면(크롬의 확장 프로그램 버튼 아님) 확장 프로그램을 설정할 수 있는 페이지로 이동할 수 있음

사용할 수 있는 확장 프로그램은 현재 5개만 있음

항공편과 호텔은 여행을 자주 가는 게 아니기 때문에 빈도에 있어서 효율성이 떨어지고, 지도는 그냥 지도 들어가서 검색하면 되는데 굳이 필요 없을 것 같음. 그나마 사용 할만한게 유튜브 같고, 워크스페이스는 활용 잘 하면 정말 좋을 것 같은 기능이라 두 확장 프로그램에 대해서 테스트를 해봄

성능 테스트(유튜브)

유튜브에서 구글 공식 채널에 들어가서 보면 최신 동영상은 테일러 스위프트에 대한 동영상인데 이 영상을 잘 찾아주는지 테스트 해봄

유튜브에서의 성능 테스트를 하기 위해 바드에 아래와 같이 질문

그런데 대답은 다른 채널의 구글 주작에 대한 동영상이 나옴(아마 제미나이 영상 조작에 대한 내용 같음)

그래서 "혹시 테일러 스위프트 영상이 올라온 날짜까지 학습이 안 되어서(못 읽어서) 그런가?"하고 확인을 위해 아래와 같이 구글 공식 채널에 올라온 테일러 스위프트 영상 제목을 입력해서 찾아달라고 요청해봄

아주 잘 찾아줌

최신 데이터까지 잘 읽는 것 같은데, 첫 번째 테스트에서 이상한 영상을 가져온 건 성능에 대해 의심해볼만 함

한글이라 그런지 잘 모르겠는데, 난 한국 사람인걸...

테스트를 아직 여러 번 해봐야겠지만 벌써 이렇게 신뢰도가 떨어져서야 흠,,,

성능 테스트(워크 스페이스)

가장 기대되는 기능인 워크 스페이스에 대한 답변 기능도 테스트 해 봄

확장 프로그램 설정 페이지에서 워크 스페이스의 기능을 켜면 "너의 정보들에 연결할건데 동의해?"라는 창이 뜨는데, 연결을 눌러주면 됨. 개인정보가 바드의 학습데이터로 활용될까봐 걱정할 수 있는데 아래에 보면 워크 스페이스의 데이터는 바드 개선에 사용되지 않는다고 함. 워크스페이스에서만 이 문구가 뜬다는 것은 나머지 4개 확장 프로그램은 바드 개선에 사용될 수 있다는 의미 ㅋㅋㅋ

워크 스페이스에서 여러 가지를 할 수 있겠지만, 아래에 정보 찾기, 문서 요약, 정보 분류 3가지를 대표 기능으로 설명 중인데 나는 1. 정보 찾기, 2. 문서 요약 두 가지에 대해서 테스트 해봄

1. 정보 찾기

정보 찾기는 메일을 가장 많이 사용할 것 같아 메일 조회를 해보았음

최근에 스팀에서 몬스터 헌터를 설치했다가 잘 맞지 않아서 환불을 했었는데, 이에 대한 메일을 찾아 달라고 아래와 같이 질문함

답이 나오긴 하는데, "환불 요청이 접수되었다"는 메일을 가져옴

실제로는 환불이 되었다는 메일을 받았고, 내가 원하는 아래의 노란색 메일을 가져오는 건데 바드는 빨간색 메일을 가져옴. 결과적으로 제대로 수행하지 못 함

조금 더 테스트를 해보았는데, "유튜브 프리미엄에서 온 메일 있어?"와 같이 누구한테서 온 메일을 조회하는 간단한 내용은 잘 수행함

드라이브에서 데이터를 잘 조회하나 테스트도 해보았는데, 결과는 개똥망임

실제 내 여행이라는 폴더 안에는 일본 여행 두 건에 대한 지도 데이터가 있는데, 못 읽어옴

말도 안 되는 제주도, 부산, 유럽 여행 내용이 적혀 있고, 개인적으로 관심 있어서 읽은 경제동향 및 전망과 디지털 전략에 대한 파일이 읽혀옴

결론적으로 "정보 조회는 50%만 완성된 기능"

2. 문서 요약

문서요약에 대한 성능을 보기 위해 네이버에서 음바페에 대한 뉴스를 하나 긁어와서 드라이브에 저장함

그리고 아래와 같이 질문을 해보았음

결과는 대성공

본인도 원래 업무 하면서 문서 요약용으로 바드를 자주 사용하곤 했었는데, 여기서도 요약을 잘 해줌

문서를 잘 찾을 수만 있으면 요약은 잘 해주는 것 같음

그렇다면 조금 더 난이도를 높여서, 위의 질문처럼 제목을 지정하는게 아니라, "어떤 텍스트를 포함하고 있는 문서의 내용을 요약해줘"로 질문을 해봄

긁어온 기사에 보면 4-2-2-2 포메이션에 대한 내용이 있는데 이것을 찾을 수 있는지 테스트 하기 위해, "내 드라이브에서 4-2-2-2 포메이션에 대한 내용이 있는 문서의 내용을 요약해줘"라고 질문을 해봄

이건 좀 어려운가 봄...

사실 난 드라이브에 문서가 많은 편인데, 그 문서를 다 읽는 것 자체가 엄청난 리소스가 들 것

아마 무료 솔루션인만큼 리소스 제한을 두기 위해 본문이 아닌 "제목"만 읽게 하거나, 과도한 요청은 수행하지 못하게 막아뒀을 가능성이 높음

그래서 결론적으로 문서 요약은 "제목을 잘 지정해주면 요약은 잘 해준다"임


테스트 해보았는데, 전체적으로 내가 알고 있는 바드 수준을 보였음. 업무에서도 GPT와 바드를 번갈아 쓰는 이유도 두 솔루션이 답하는 것이 다른 경우가 많고, 그 중 퀄리티가 좋은 것을 골라 쓰기 위해서임. 정보 찾기는 조금만 더 학습되면 잘 할 것 같으나, "굳이 바드에서 해야하나? 그냥 이메일 들어가서 검색하면 되지"라는 생각이 듦. 그리고 문서 요약은 괜찮은 것 같은데, 저것도 사실 정보 조회가 선행적으로 잘 되어야함. 문서를 잘 읽어와야지 요약 결과도 의미가 있을 것이기 때문. 내가 원하는 문서를 애초에 읽어오지 못하면 기능이 필요없어짐. 그래서 결국 정보 조회의 성능이 높아져야 전체적으로 쓸만할 것 같다는 생각

반응형

+ Recent posts