코리안 하이랜더의 일상

들어가기 앞서이 글을 읽으시는 사람이면 어느정도 IT에 관심이 있으실 분들이니 미리 말합니다.Streamlit 은 프로토타이핑 용도이지, 진짜 배포용이면 Django, Flask 나 허깅페이스, 또는 OpenAI API(이거로 배포해볼 생각입니다) 를 사용하셔야 합니다. 기능 설명1. 맞춤형 챗봇이기 때문에 사용자의 개인정보를 어느정도 받아서 작동합니다.2. Whisper 를 활용해서 음성인식을 합니다.3. OpenAI API를 활용해서 부적절한 내용들을 필터링합니다. 코드 설명우선 개발 환경을 설정해줍니다. 필요한 패키지를 pip 로 다 import 해준뒤 파이썬에서는 openai api 키를 넣어줍시다.pip install openai streamlit sounddevice numpyimport op..

연말 마무리, 언론취재, 그리고 Skilled Worker Visa 전환문제 때문에 정신없어서 글을 쓰지 못했습니다. 결국 비자 스폰서는 받았습니다. 산업계에 대한 생각 제가 요즘 산업계에 대해서 느끼는 점들이 빅테크 위주로 재편되면서 개인 회사에서 할 수 있는 자유도는 비교적 축소된다는 거 같습니다. 사실 LLM을 개발한다는 건 내가 OpenAI 나 구글, 클로드 등과 정면 승부하겠다는 소리고, 트레이닝이나 데이터셋 수집에 필요한 리소스 양도 장난없어서 차라리 OpenAI 나 클로드 API를 유료로 결제해서 쓰는게 싸고 좋게 먹힐 가능성이 큽니다. 특히 영어처럼 대중화 되어있는 경우는요.컨설턴트로 일하시는 박사분 한분 아는데 그분 역시 허깅페이스에서 LLM 하나 가져다가 Off the shelf 로 쓰..

원래 연말 이때쯤 되면 GOTY 시상식이 가장 기다려지는데, 이번에는 저희 회사가 제가 작업한 프로젝트를 가지고 ELTons 상 시상식에 결승까지 나가게 되어서 GOTY는 뒷전이고 ELTons 시상식이 더 기대되는 연말이었습니다. 기사 원문은 여기 링크를 타고 가시면 됩니다.ELTons Festival of Innovation | British Council ELTons 상이란? : 영어 교육 혁신의 상징세계적으로 권위 있는 ELTons(English Language Teaching Innovation Awards)는 매년 영어 교육 분야에서 혁신적이고 창의적인 프로젝트를 발굴하고 수상하는 행사입니다. 영국문화원(British Council)이 주최하는 이 상은 영어 학습자와 교사에게 긍정적인 영향을 미..

들어가기 전에 머신러닝, 자연어처리나 인공지능 등에 관심이 있는 사람이라면 제목부터 뭔가 뜬금없다고 생각할 수 있습니다. 분명 XGBoost는 비교적 단순한 머신러닝 알고리즘 아니었나? 하시는 분들이 많으실 겁니다 ChatGPT 를 필두로 세상을 뒤흔든 LLM과 비교적 단순한 통계학 기반 머신러닝 모델의 비교라니, 이 무슨 블랙 위도우랑 스칼렛 위치가 싸우는 소리인가 궁금하실 겁니다. 허나, AI 의 세계는 그렇게 단순하지는 않습니다. 딥 러닝의 대두에도 불구하고 RF, 로지스틱 회귀, SVM 등의 모델들은 여전히 현역입니다. 딥 러닝 알고리즘 끼리만 비교해봐도 RNN, GAN 등이 나왔지만 아직도 영상인식 분야에서는 CNN을 압도하지 못했습니다 (구조상의 이유가 크지만요).  따라서 블랙 위도우와 스칼..

**인공지능(AI)**은 이제 교육, 의료, 비즈니스 등 다양한 분야에서 필수적인 도구로 자리 잡았습니다. 하지만 AI를 효과적으로 통합하기 위해서는 구체적인 계획과 체계적인 접근이 필요합니다. 이번 블로그에서는 AI 로드맵을 구축하는 과정에서 중요한 단계와 고려해야 할 요소들을 소개합니다.1. 목표 설정: 비즈니스와 사용자에게 중요한 문제 해결AI를 도입하기 전에, AI가 해결할 수 있는 문제를 명확히 정의하는 것이 중요합니다. 이는 AI가 실질적인 가치를 제공할 수 있는 지점을 찾는 과정입니다. 예를 들어, 교육 분야에서는 학습자 맞춤형 콘텐츠 제공, 자동 채점 시스템 구축, 성과 분석을 통한 학습 개선 등을 목표로 설정할 수 있습니다. 명확한 목표가 없으면 AI 프로젝트는 방향을 잃기 쉽습니다.2...

삶의 지도추석동안 해외에 놀러온 축구광 친구 대접해 주다 보니 글작성이 뒤로 밀렸습니다. 지금 글을 쓰기 시작한 시점이 한국시간으로 23시 9분인데, 이 내 인생의 '키워드' 라고 하면 정말 어울립니다. 아마 그 키워드를 바탕으로 삶의 지도를 쓰지 않을까 싶네요.   꿈이 없는 우등생한국에서 여행 온 친구는 제 친구들을 보면서 '우등생' '영재' 같은 단어를 썼습니다. 물론 객관적으로 봤을때 공부를 못하냐 한다면 당연히(?) 잘하는 그룹에 속하겠지만, 잘하는 사람만 놓고 보면 또 그렇지 않아서 자주 전투력 측정기가 되었습니다. 대한민국이 강대국의 최소라 하듯 우등생의 최소 이런 식으로요. 어렸을 적에는 문자 그대로 꿈 없이 흘러가는 대로 살아왔습니다. 관심이 가는 일은 많아서 이것저것 여러 가지를 경험해..

조 : 형 요즘 왤케 바빴어? 나 나머지 두개 얘기해주려고 얼마나 목 빼고 기다렸는지 알아? 양 : 개인적인 일에다가 머 준비하느라 바빳지. 그럼 한번 세트하고 딕셔너리 이야기 해 보자. 야 너네 나잇대 애들한테 세트는 롤 캐릭터 이름 아니니? 조 : 아니 무슨 소리야. 이래봐도 형 조카인데. 그리고 그 세트는 t 가 하나 더 붙었어! 양 : 그러면 파이썬 세트는 어떤 데이터 타입인데? 강펀치를 날리거나 사람 잡아다 매다꽂지는 않을거 아냐? (좀 더 도발해야지) 조 : 아 잼민이도 안하는 롤드립... 그런데 롤로 다시 돌아가자면 세트 데이터 형식이 롤 포지션이나 챔피언 입력에 상당히 적합한 타입이야. 형 빌드업 맨시티급인데? 양: 왜 그렇지? 조: 왜냐면 세트 데이터 타입은 중복을 허용하지 않아. 그러니..

조 : 형! 나 오늘 학교에서 파이썬 배운지 2주일 되었어! 양 : 아 그래? 우리때는 자바였는데. 조 : 이게 되게 문법도 간략하고 배우기도 편해! 양 : (아 이제는 좀 편하게 쉬어야지) 학교에서 뭐 배웠는데? 조 : 이번에는 파이썬에서 사용되는 데이터 타입 4가지에 대해서 배워봤어! 양 : 뭐 권투에서 말하는 잽 스트레이트 훅 어퍼도 아니고 4가지 씩이나 있어? 자바에서는 array, 즉 배열밖에 없었는데 말야. 먼저 뭐가 있는데? 조 : 일단 리스트(List) 라는게 있어. List 는 학번, 이름 등 여러개의 데이터를 하나로 저장하는데 쓰여. 예를 들면 studentnumber = [] 하면 새로운 List 가 생기는거야. 양 : 자바에서 배열 지정할 때 쓰는 대괄호를 쓰는군. 자바에서는 Str..

양 : 강형ㅇ 동영상 다 봤지? 참 요즘 할거 많아. 우리 어릴땐 그냥 플래시 게임이었는데 ㅋㅋㅋ 조 : 에이 형 피시방가서 친구들하고 카오스, 와우, 그런거 겁나했다면서. 양 : 플래시는 문자 그대로 초등학생때지. 너네 쥬니버 들어가던 거처럼. 그나저나 플래시 너희 어릴때 단종됫다며? 혹시 플래시로 뭐 만들어보고 그랬니? 조 : 나도 게임 만들어 보려고 한번 손대봤어. 그런데 플래시 이야기는 왜? 양 : 딥러닝 이야기 다시 하려고 그런다. 플래시 보면 '레이어' 라는 기능 있지? 조 : 그 층층이 있는거? 양 : 그게 딥러닝에도 사용되. 우리가 사고하는 단계를 레이어로 표현한거야. 아까 그렇게 말하던 합성곱은 그 레이어 중 하나야.위에 사진을 보면 예시가 나와있는데, 주로 합성곱->풀링->합성곱->FC..

이번부터는 컨셉을 좀 바꿉니다. 조카 (이하 조): 그러니까 머신러닝이면 몸무게 같은 거 넣어서 포메랑 스피츠 구별하게 하는거고, 딥러닝이면 그냥 사진 던져줘서 우리가 배우듯이 배우게 하는거지? 아 근데 형, 컴퓨터가 포메하고 스피츠 구별하게 하려면 어떻게 코딩 해야되? 파이썬으로 if weight