![]()
스타트업 안에서 성장하기얼마 전, 부스트캠프 멘토님과의 저녁 자리에서 흥미로운 이야기를 나눴습니다."스타트업에서 성장한다는 주니어의 착각" 스타트업의 성장과 나 자신의 성장을 동일시 하면 안된다고 말씀하시더라고요. 충분히 할 법한 착각 같았습니다. 회사의 빠른 성장에 발맞추어, 일도 많이 할 것이고, 그 과정에서 기여도 많이 한다고 느낄 것이기 때문입니다. 스타트업에서의 다양한 경험이 곧 나의 성장이라고 생각했었기 때문에 멘토님의 말씀이 매우 인상깊게 다가왔습니다. https://brunch.co.kr/@goodgdg/43 13화 스타트업에서 성장한다는 주니어의 착각이 글은... '이름 들으면 알 정도의' 스타트업이 아니라, 그 아래에서 성공하기 위해 고군분투하고 있는 작은 스타트업 주니어에 대한 글이다..
![]()
Chuang, Yung-Sung et al. ICLR 2024논문 링크, 공식 깃허브 참고 :1. https://heygeronimo.tistory.com/1152. https://www.youtube.com/watch?v=jeml0rMTIao3. Survey of Hallucination in Natural Language Generation (ACM 2023) BackgroundHallucination 문제Contrastive Decoding1) Small LM은 Large LM에 비해 짧거나, 반복되거나, 무관하거나, 흥미롭지 않은 텍스트를 생성하는 경우가 많습니다.2) Large LM은 Knowledge를 비롯한 바람직한 Output을 생성하는 것에 더 높은 확률을 가하는 경향이 있습니다.3) 1..
![]()
테디노트 - 강수진 박사님 프롬포트 노하우 공손성Conversation MarkerTopic 바뀔 때마다, Polite한 표현 ( Gratitude / Assessment )안녕? ~~~ 좀 해줄 수 있어?고마워~ 너 정말 대단하다.안녕하세요 저는 이런 것들이 필요한데, ~ 해주시겠어요."고마워", "오케이", "좋아", "지금부터"RLHF 학습 기술의 대두로 공손함이 모델의 아웃풋에 큰 영향을 주지는 않게 되었지만 그럼에도 Conversation Marker로서 사용하면 효과가 올라가는 것 같더라. Emotional StimuliLarge Language Models Understand and Can be Enhanced by Emotional Stimuli (11.2023)Level of Degree..
LLM 선수 지식 Transformer Encoder 계열 모델Masked Language Model (MLM)Seqence 에서 토큰 일부를 무작위로 선택하여 가리고, 모델이 가려진 단어를 예측하는 방식Contextual 정보를 활용하여 단어의 의미를 더 깊이 이해하도록 돕습니다. ( BERT ) 셀프 어텐션 (Self-Attention)쿼리에 대해서, 토큰 스스로를 포함하여 키와 벨류를 어텐션하는 방식 Transformer Decoder 계열 모델Casual Language ModelAutoRegressive 방식입력 시퀀스로부터 토큰을 하나씩 생성하며, 생성된 토큰을 입력에 포함하여 다음 토큰을 예측합니다.다시 말해서, 현재 시점까지의 토큰을 고려하여 다음 토큰을 예측하고, 마스킹으로 미래 토큰 정..
