Este repositorio contiene el código y los recursos para trabajar con Llama 2, un modelo de lenguaje grande y poderoso desarrollado por Meta AI.
Llama 2 es un modelo de lenguaje de vanguardia que abarca desde 7B hasta 70B de parámetros. Este repositorio proporciona un ejemplo mínimo para cargar los modelos Llama 2 y ejecutar la inferencia. Los modelos Llama 2 pueden ser útiles para una variedad de aplicaciones, incluyendo la generación de texto, la respuesta a preguntas y más.
- Clona este repositorio en tu máquina local.
- Asegúrate de tener instaladas las dependencias necesarias, como PyTorch y CUDA.
- Descarga los pesos del modelo y el tokenizador desde el sitio web de Meta AI y colócalos en el directorio correspondiente.
Para usar el modelo Llama 2 para la generación de texto, puedes ejecutar el script example_text_completion.py
.
Para usar el modelo Llama 2 para las aplicaciones de diálogo, puedes ejecutar el script example_chat_completion.py
.
Este es un proyecto de código abierto y agradecemos cualquier contribución. Por favor, abre un problema o un pull request si tienes alguna sugerencia o mejora.
Este software puede ser utilizado y distribuido de acuerdo con los términos de la Licencia Comunitaria de Llama 2.