모델에 보낸 각 셀에는 모델의 응답 생성 방식을 제어하는 매개변수 값이 포함되어 있습니다. 모델은 서로 다른 매개변수 값에 대해 서로 다른 결과를 생성할 수 있습니다. 이 작업에서는 최상의 값을 얻을 수 있도록 다양한 매개변수 값으로 실험해 봅니다. 모델별로 사용 가능한 매개변수가 다를 수 있습니다. 가장 일반적인 파라미터는 다음과 같습니다.
- 최대 출력 토큰
- 온도
- Top-K
- Top-P
- 시드
최대 출력 토큰
응답에서 생성될 수 있는 토큰의 최대 개수입니다. 토큰은 약 4자(영문 기준)입니다. 토큰 100개는 단어 약 60~80개에 해당합니다.응답이 짧을수록 낮은 값을 지정하고 잠재적으로 응답이 길면 높은 값을 지정합니다.
온도
온도는 응답 생성 중 샘플링에 사용되며topP 및 topK가 적용될 때 발생합니다. 온도는 토큰 선택의 무작위성 수준을 제어합니다.
낮은 온도는 덜 개방적이거나 창의적인 응답이 필요한 프롬프트에 적합하고 온도가 높을수록 더욱 다양하거나 창의적인 결과로 이어질 수 있습니다. 온도가 0이면 확률이 가장 높은 토큰이 항상 선택됩니다. 이 경우 특정 프롬프트에 대한 응답은 대부분 확정적이지만 여전히 약간의 변형이 가능합니다.
모델이 너무 일반적이거나, 너무 짧은 응답을 반환하거나 모델이 대체 응답을 제공할 경우에는 강도(temperature)를 높여보세요.
각 모델에는 고유한 강도 범위와 기본값이 있습니다.
gemini-2.0-flash-lite범위:0.0 - 2.0(기본값:1.0)gemini-2.0-flash범위:0.0 - 2.0(기본값:1.0)
gemini-1.5-pro 및 gemini-1.0-pro-002의 확장된 강도 범위는 기본값보다 훨씬 크게 무작위성을 높일 수 있게 해줍니다.
Top-K
Top-K는 모델이 출력용 토큰을 선택하는 방식을 변경합니다. Top-K가1이면 선택된 토큰이 모델의 어휘에 포함된 모든 토큰 중에서 가장 확률이 높다는 의미입니다(그리디 디코딩이라고도 함). 반면에 Top-K가 3이면 강도를 사용하여 가장 확률이 높은 3개 토큰 중에서 다음 토큰이 선택된다는 의미입니다.
각 토큰 선택 단계에서 확률이 가장 높은 Top-K 토큰이 샘플링됩니다. 그런 다음 Top-P를 기준으로 토큰을 추가로 필터링하고 온도 샘플링을 사용하여 최종 토큰을 선택합니다.
임의성이 낮은 응답에 낮은 값을 지정하고 임의성이 높은 응답에 높은 값을 지정합니다.
Top-P
Top-P는 모델이 출력용 토큰을 선택하는 방식을 변경합니다. 토큰은 확률의 합이 Top-P 값과 같아질 때까지 확률이 가장 높은 것부터(Top-K 참조) 가장 낮은 것까지 선택됩니다. 예를 들어 토큰 A, B, C의 확률이 0.3, 0.2, 0.1이고 Top-P 값이0.5이면 모델이 온도를 사용해서 다음 토큰으로 A 또는 B를 선택하고 C는 후보에서 제외합니다.
임의성이 낮은 응답에 낮은 값을 지정하고 임의성이 높은 응답에 높은 값을 지정합니다.
시드
시드가 특정 값으로 고정되면 모델은 반복된 요청에 같은 응답을 제공하기 위해 최선을 다합니다. 결정론적 출력은 보장되지 않습니다. 또한 온도와 같은 모델 또는 매개변수 설정을 변경하면 같은 시드 값을 사용하더라도 응답이 달라질 수 있습니다. 기본적으로 무작위 시드 값이 사용됩니다.이 기능은 프리뷰 기능입니다.
다음 단계
- 프롬프트 갤러리에서 프롬프트 예시 살펴보기
- Vertex AI 프롬프트 옵티마이저(미리보기)를 사용하여 Google 모델과 함께 사용할 프롬프트를 최적화하는 방법을 알아보세요.