Las herramientas de inteligencia artificial se han convertido en una parte importante del trabajo diario. Podemos utilizarlas para escribir documentos, programar, resumir información, analizar archivos PDF o resolver preguntas.
Sin embargo, muchas plataformas requieren enviar nuestras consultas y documentos a servidores externos para procesarlos.
Esto puede representar una preocupación cuando trabajamos con contratos, documentos internos, código fuente o información confidencial.
Ollama y AnythingLLM permiten crear un asistente de inteligencia artificial que funciona directamente en nuestra computadora, utilizando modelos locales y herramientas para consultar documentos personales.
Con una configuración completamente local, podemos conversar con la IA, analizar archivos PDF y consultar información sin enviar esos documentos a servidores externos.
Además, ambas herramientas cuentan con opciones gratuitas y están disponibles para Windows, macOS y Linux.
¿Qué es Ollama?
Ollama es una aplicación que permite descargar, administrar y ejecutar modelos de inteligencia artificial en nuestra propia computadora.
Su función principal es facilitar el uso de modelos de lenguaje, conocidos como LLM (Large Language Models).
Entre los modelos que podemos utilizar encontramos diferentes versiones de Llama, Mistral, Gemma, Qwen y otras familias disponibles en su biblioteca.
La selección depende de los requisitos del modelo y de la capacidad de nuestro equipo.
Por ejemplo, podemos descargar un modelo compatible y utilizarlo para responder preguntas, generar textos, explicar código o resumir información.
La ventaja principal es que el procesamiento puede realizarse utilizando el procesador y la tarjeta gráfica de nuestra computadora.
Ollama también dispone de una API local que permite conectar estos modelos con otras aplicaciones.
¿Qué es AnythingLLM?
AnythingLLM es una aplicación que permite crear asistentes de inteligencia artificial, organizar documentos y conversar con información almacenada en diferentes fuentes.
Su característica más interesante es la posibilidad de crear espacios de trabajo donde podemos agregar archivos y realizar preguntas sobre su contenido.
Por ejemplo, podemos crear un espacio llamado Documentación técnica e incorporar manuales, archivos PDF y documentos de referencia.
Después podemos hacer preguntas como:
- ¿Cuál es el procedimiento de instalación?
- ¿Qué requisitos necesita este sistema?
- ¿Dónde se explica la configuración de seguridad?
- ¿Cuáles son los puntos principales del documento?
- ¿Qué diferencias existen entre estos manuales?
AnythingLLM puede utilizar modelos locales o proveedores externos de inteligencia artificial.
Actualmente su versión de escritorio también incluye un motor local integrado, por lo que Ollama es una opción de integración y no un requisito obligatorio.
¿Para qué sirve combinar Ollama y AnythingLLM?
Aunque ambas aplicaciones pueden utilizarse por separado, combinarlas permite crear un entorno de inteligencia artificial más flexible.
Ollama se encarga de ejecutar y administrar el modelo de lenguaje.
AnythingLLM proporciona la interfaz donde organizamos los documentos y realizamos las consultas.
Por ejemplo, podemos utilizar Ollama para ejecutar un modelo de la familia Qwen y conectar AnythingLLM para hacer preguntas sobre documentos PDF.
Esta combinación puede utilizarse para:
- Analizar documentos sin subirlos a servicios externos.
- Consultar manuales técnicos.
- Resumir contratos e informes.
- Explicar fragmentos de código.
- Crear bases de conocimiento personales.
- Consultar políticas y procedimientos internos.
- Organizar documentación de proyectos.
- Responder preguntas sobre archivos de texto.
- Crear asistentes especializados por tema.
- Investigar información almacenada localmente.
Es importante recordar que las respuestas generadas por la inteligencia artificial deben verificarse, especialmente cuando trabajamos con información técnica, legal o financiera.
¿Cómo funciona una inteligencia artificial local?
En una plataforma tradicional de IA en la nube, las consultas se envían a servidores externos donde se ejecuta el modelo.
En una instalación local, el modelo se descarga y ejecuta dentro de nuestro equipo.
El funcionamiento básico es el siguiente:
- Instalamos un motor de inteligencia artificial, como Ollama.
- Descargamos un modelo compatible.
- El modelo se almacena en la computadora.
- Escribimos una pregunta.
- El equipo procesa la consulta.
- Recibimos una respuesta generada localmente.
Esto permite trabajar sin conexión a Internet después de completar las descargas necesarias.
Sin embargo, el rendimiento dependerá de la memoria RAM, el procesador, la tarjeta gráfica y el tamaño del modelo.
Los modelos grandes pueden exigir cantidades considerables de recursos.
¿Qué es RAG y cómo permite conversar con archivos PDF?
Una de las tecnologías más importantes de AnythingLLM es RAG, siglas de Retrieval-Augmented Generation, que significa generación aumentada por recuperación.
Esta técnica permite complementar las respuestas de un modelo de inteligencia artificial con información obtenida de nuestros documentos.
Por ejemplo, imaginemos que tenemos un manual técnico de 200 páginas.
En lugar de entrenar un nuevo modelo con todo ese documento, AnythingLLM puede procesarlo y preparar un índice para recuperar fragmentos relevantes.
Cuando hacemos una pregunta, el sistema busca información relacionada y la proporciona al modelo para generar una respuesta.
El proceso puede resumirse así:
Documentos → Extracción de texto → Fragmentación → Índice vectorial → Recuperación → Respuesta de IA
Este mecanismo permite consultar documentos sin modificar permanentemente el conocimiento original del modelo.
¿Qué es una base de datos vectorial?
Una base de datos vectorial almacena representaciones matemáticas de textos u otra información.
Estas representaciones, conocidas como embeddings, permiten buscar fragmentos que tengan un significado relacionado con una consulta.
Por ejemplo, si preguntamos por los requisitos de seguridad de un servidor, el sistema puede encontrar un apartado que habla sobre autenticación, permisos y protección de acceso, aunque no utilice exactamente las mismas palabras.
AnythingLLM puede almacenar esta información mediante una base de datos vectorial local.
Para mantener una configuración completamente privada, también debemos utilizar un modelo de embeddings local.
¿Ollama y AnythingLLM necesitan Internet?
No necesariamente.
Ambas aplicaciones pueden utilizarse sin conexión a Internet cuando los modelos y componentes necesarios ya se encuentran instalados.
Esto significa que podemos hacer preguntas, generar textos y consultar documentos sin mantener una conexión externa.
Sin embargo, existen algunas situaciones en las que sí necesitamos Internet:
- Descargar los instaladores.
- Descargar modelos de inteligencia artificial.
- Obtener actualizaciones.
- Utilizar modelos alojados en la nube.
- Consultar páginas web mediante herramientas conectadas.
- Utilizar determinadas integraciones externas.
La privacidad depende de la configuración.
Instalar Ollama o AnythingLLM no garantiza por sí solo que absolutamente todas las funciones trabajen de forma local.
Debemos asegurarnos de utilizar modelos locales, embeddings locales y herramientas que no transmitan información a servicios externos.
Cómo instalar Ollama en Windows
Ollama puede descargarse desde su página oficial:
El procedimiento es sencillo.
Paso 1. Descarga Ollama
Ingresa al sitio oficial y selecciona Windows.
Paso 2. Instala el programa
Ejecuta el instalador y completa el procedimiento.
Paso 3. Abre PowerShell
En Windows podemos utilizar PowerShell para administrar los modelos desde la línea de comandos.
Paso 4. Descarga un modelo
Por ejemplo, para descargar y ejecutar una versión pequeña de Gemma 3:
ollama run gemma3:4bLa primera ejecución descargará el modelo si todavía no está instalado.
El archivo puede ocupar varios gigabytes, dependiendo de la versión y su cuantización.
Paso 5. Realiza una pregunta
Cuando el modelo esté disponible, podemos escribir una consulta como:
Explícame qué es una dirección IP privada.Ollama procesará la pregunta utilizando el modelo seleccionado.
Paso 6. Comprueba los modelos instalados
Podemos consultar los modelos descargados mediante:
ollama listTambién podemos descargar modelos sin ejecutarlos inmediatamente utilizando el comando ollama pull.
Cómo instalar Ollama en macOS y Linux
Ollama también está disponible para macOS y Linux.
En macOS podemos descargar la aplicación desde la página oficial.
En Linux, el proyecto proporciona un procedimiento de instalación mediante terminal:
curl -fsSL https://ollama.com/install.sh | shEste comando descarga y ejecuta un instalador proporcionado por Ollama, por lo que debemos verificar que procede del dominio oficial antes de utilizarlo.
Una vez instalado, podemos administrar los modelos mediante comandos similares a los utilizados en Windows.
Cómo descargar e instalar AnythingLLM
AnythingLLM puede descargarse gratuitamente desde:
https://anythingllm.com/download
Su versión de escritorio está disponible para Windows, macOS y Linux.
Paso 1. Descarga AnythingLLM
Selecciona la versión correspondiente a tu sistema operativo.
Paso 2. Instala la aplicación
Ejecuta el instalador y completa los pasos correspondientes.
Paso 3. Abre AnythingLLM
Durante la configuración inicial podrás seleccionar cómo quieres ejecutar la inteligencia artificial.
Paso 4. Selecciona el proveedor de modelos
Podemos utilizar el motor integrado de AnythingLLM o conectarnos con Ollama, entre otros proveedores.
Paso 5. Configura el almacenamiento y los modelos
Para una instalación privada, utiliza modelos y servicios locales.
Una vez configurado, podemos crear espacios de trabajo y comenzar a incorporar documentos.
Cómo conectar Ollama con AnythingLLM paso a paso
Para utilizar ambas aplicaciones juntas, primero debemos instalar y ejecutar Ollama.
Paso 1. Comprueba que Ollama funciona
Abre PowerShell o la terminal y ejecuta:
ollama listSi aparecen los modelos instalados, podremos seleccionar uno de ellos.
Paso 2. Descarga el modelo que utilizarás
Por ejemplo:
ollama pull gemma3:4bPaso 3. Abre AnythingLLM
Ingresa a la configuración del proveedor de inteligencia artificial.
Paso 4. Selecciona Ollama
En la configuración del proveedor LLM, selecciona Ollama.
Paso 5. Introduce la dirección local
La dirección habitual de Ollama es:
http://127.0.0.1:11434Esta dirección apunta a un servicio que se ejecuta en la misma computadora.
Paso 6. Selecciona el modelo
Elige el modelo descargado previamente.
Paso 7. Configura los embeddings
Puedes utilizar un modelo local de embeddings.
Si decides utilizar Ollama para esta función, necesitarás descargar un modelo especializado, por ejemplo:
ollama pull nomic-embed-textDespués deberás seleccionarlo como modelo de embeddings en AnythingLLM.
Paso 8. Guarda la configuración
Comprueba que AnythingLLM pueda comunicarse con Ollama.
Cuando la conexión funcione, podrás comenzar a crear espacios de trabajo.
Cómo crear un chat con tus documentos PDF
Una vez que AnythingLLM está conectado a un modelo, podemos utilizarlo para consultar archivos.
Paso 1. Crea un espacio de trabajo
Crea un nuevo Workspace con un nombre relacionado con los documentos.
Por ejemplo:
Manuales técnicos
Paso 2. Agrega los archivos
Utiliza las opciones de carga para incorporar documentos PDF u otros formatos compatibles.
Paso 3. Procesa la información
AnythingLLM extraerá el contenido e iniciará el procesamiento necesario para incorporarlo al sistema de búsqueda.
Paso 4. Añade los documentos al espacio de trabajo
Asegúrate de que los documentos estén incorporados al contexto o base de conocimiento del Workspace, no solamente cargados en el administrador de archivos.
Paso 5. Realiza preguntas
Por ejemplo:
Resume los requisitos técnicos del documento.O:
¿Cuáles son las recomendaciones de seguridad
mencionadas en los manuales?Paso 6. Comprueba las respuestas
Revisa las referencias y compara la información con los documentos originales.
La inteligencia artificial puede interpretar incorrectamente algunos fragmentos o generar respuestas incompletas.
¿Se pueden analizar archivos PDF escaneados?
Depende del documento y de las herramientas de extracción utilizadas.
Un archivo PDF que contiene texto digital normalmente resulta más sencillo de procesar.
En cambio, un documento escaneado puede contener solamente imágenes.
Para extraer información de esos archivos puede ser necesario aplicar OCR, es decir, reconocimiento óptico de caracteres.
Si el contenido no se extrae correctamente, AnythingLLM podría no encontrar información importante.
Por esa razón, es recomendable comprobar primero que el documento contiene texto reconocible.
¿Se puede utilizar Ollama para programar?
Sí.
Ollama permite ejecutar modelos especializados en programación.
Dependiendo del modelo, podemos utilizarlos para:
- Explicar código.
- Crear funciones.
- Revisar errores.
- Generar consultas SQL.
- Documentar procedimientos.
- Proponer pruebas.
- Analizar archivos de proyectos.
- Comprender fragmentos de código desconocidos.
Por ejemplo, podemos pedirle que explique una función PHP o que revise una consulta SQL.
Sin embargo, debemos considerar que los modelos locales no siempre ofrecen las mismas capacidades que los modelos de mayor tamaño ejecutados en servidores especializados.
También es recomendable revisar cualquier código generado antes de utilizarlo en producción.
¿Qué requisitos necesita Ollama para funcionar?
Los requisitos dependen principalmente del modelo que queremos ejecutar.
No existe una única cantidad de memoria RAM que garantice buen rendimiento con todos los modelos.
Como referencia orientativa:
| Memoria RAM disponible | Tipo de uso esperado |
|---|---|
| 8 GB | Modelos pequeños y tareas sencillas |
| 16 GB | Modelos pequeños y medianos optimizados |
| 32 GB | Mayor flexibilidad para modelos y contextos más amplios |
| 64 GB o más | Posibilidad de ejecutar modelos más exigentes, según hardware |
Estos valores son aproximados y no representan requisitos oficiales universales.
También debemos considerar la memoria de video disponible en la GPU.
Una tarjeta gráfica compatible puede mejorar considerablemente la velocidad de procesamiento.
Sin embargo, Ollama también puede ejecutar determinados modelos utilizando el procesador, aunque normalmente con un rendimiento inferior.
AnythingLLM recomienda como referencia 16 GB de RAM y un procesador de ocho núcleos para una experiencia local cómoda.
¿Ollama necesita tarjeta gráfica?
No siempre.
Ollama puede ejecutar modelos compatibles utilizando CPU.
Esto permite utilizar inteligencia artificial local incluso en computadoras sin una tarjeta gráfica dedicada.
Sin embargo, el rendimiento puede ser considerablemente más lento.
Por ejemplo, un modelo pequeño puede generar respuestas aceptables en una computadora convencional, mientras un modelo de mayor tamaño podría necesitar demasiada memoria o tardar bastante en responder.
Por eso conviene comenzar con un modelo pequeño y aumentar los requisitos progresivamente.
¿Cuánto espacio ocupan los modelos de Ollama?
El espacio depende del modelo, la cantidad de parámetros y el método de cuantización.
Algunos modelos pequeños ocupan alrededor de uno o varios gigabytes.
Los modelos más grandes pueden necesitar decenas de gigabytes de almacenamiento.
Además, debemos considerar el espacio utilizado por las aplicaciones, documentos y bases de datos vectoriales.
Es recomendable revisar el tamaño del modelo antes de descargarlo.
También podemos eliminar modelos que ya no utilizamos mediante:
ollama rm nombre-del-modeloDebemos sustituir nombre-del-modelo por el identificador correspondiente.
Ollama + AnythingLLM vs. ChatGPT
Una comparación habitual consiste en preguntarse si una instalación local puede reemplazar a ChatGPT.
Ambas soluciones tienen ventajas y limitaciones.
| Característica | Ollama + AnythingLLM local | ChatGPT |
|---|---|---|
| Ejecutar modelos en la computadora | Sí | No, servicio alojado |
| Funcionar completamente sin Internet | Sí, con configuración local | No |
| Procesamiento local de documentos | Sí | No como servicio estándar |
| Requiere hardware para ejecutar el modelo | Sí | No |
| Modelos de alta capacidad sin hardware propio | Limitado por el equipo | Sí, mediante servicio |
| Consultar documentos | Sí | Sí |
| Configuración técnica | Variable | Generalmente mínima |
| Costo de suscripción obligatorio | No para uso local básico | Dispone de opciones gratuitas y de pago |
| Privacidad | Control local configurable | Depende del servicio y sus controles |
La diferencia principal es dónde se ejecuta la inteligencia artificial.
Con una instalación local, utilizamos nuestros propios recursos.
Con ChatGPT, los modelos se ejecutan en infraestructura remota.
Esto significa que una instalación local puede ofrecer mayor control sobre los archivos y el procesamiento, pero necesita hardware y mantenimiento.
Ollama vs. AnythingLLM: ¿son lo mismo?
No.
Aunque ambas aplicaciones están relacionadas con la inteligencia artificial, cumplen funciones diferentes.
| Característica | Ollama | AnythingLLM |
|---|---|---|
| Ejecutar modelos locales | Sí | Sí, mediante motor integrado o proveedores |
| Administrar modelos | Sí | Sí, según proveedor |
| Interfaz de conversación | Sí | Sí |
| Chat con PDF | Sí, en aplicaciones compatibles | Sí, mediante espacios y documentos |
| Gestión de conocimiento con RAG | Mediante integraciones | Integrada |
| Bases de datos vectoriales | Requiere herramientas adicionales | Integración incluida |
| Espacios de trabajo | No equivalentes | Sí |
| API para desarrolladores | Sí | Sí, según edición y despliegue |
Desde 2025, Ollama también incluye una aplicación gráfica para Windows y macOS que permite conversar con archivos.
Por lo tanto, AnythingLLM no es imprescindible para todas las tareas.
Su valor adicional está principalmente en las herramientas de organización documental, recuperación de información, agentes e integraciones.
¿Ollama y AnythingLLM son gratuitos?
Sí.
Podemos descargar y utilizar Ollama y AnythingLLM sin pagar una suscripción para sus funciones locales principales.
AnythingLLM es de código abierto y utiliza una licencia MIT.
Ollama también mantiene componentes de código abierto.
Sin embargo, debemos distinguir entre el software y los modelos.
Los modelos descargados pueden tener sus propias licencias y condiciones de uso.
Además, Ollama dispone de modelos y servicios en la nube, que pueden tener límites o costos diferentes.
Por tanto, utilizar un modelo local no significa automáticamente que todos los modelos y servicios disponibles sean gratuitos para cualquier propósito.
¿Es realmente privada una inteligencia artificial local?
Puede serlo, siempre que configuremos correctamente todos sus componentes.
Por ejemplo, si utilizamos:
- Un modelo LLM local.
- Un modelo de embeddings local.
- Una base de datos vectorial local.
- Documentos almacenados en la computadora.
- Herramientas que no realicen solicitudes externas.
Entonces podemos realizar consultas sin enviar necesariamente nuestros documentos a proveedores externos.
Sin embargo, si conectamos una API de inteligencia artificial en la nube, activamos búsquedas web o utilizamos integraciones remotas, parte de la información podría transmitirse fuera del equipo.
También debemos considerar que los documentos permanecen almacenados localmente y necesitan medidas de seguridad.
Por ejemplo, cifrado del disco, permisos de acceso y copias de seguridad.
Ventajas de Ollama y AnythingLLM
Entre sus principales ventajas encontramos:
- Permiten utilizar modelos de IA localmente.
- Ofrecen opciones gratuitas.
- No requieren una suscripción para el procesamiento local básico.
- Pueden funcionar sin Internet.
- Permiten consultar documentos personales.
- Reducen la dependencia de proveedores externos.
- Ofrecen mayor control sobre el almacenamiento.
- Admiten diferentes modelos.
- Pueden integrarse con herramientas de desarrollo.
- Permiten crear bases de conocimiento.
- Son útiles para documentación técnica.
- Pueden utilizarse para automatizaciones y asistentes especializados.
Su mayor ventaja es que permiten adaptar la inteligencia artificial a nuestras necesidades y mantener más control sobre la infraestructura.
Desventajas de Ollama y AnythingLLM
También presentan limitaciones importantes.
La primera es que necesitan recursos de hardware.
Los modelos más avanzados pueden exigir mucha memoria RAM, almacenamiento y capacidad gráfica.
Además, la configuración de modelos, embeddings y bases de datos puede resultar complicada para usuarios sin experiencia técnica.
Otra limitación es la calidad de las respuestas.
Un modelo local pequeño puede cometer más errores o tener menor capacidad de razonamiento que otros modelos de mayor tamaño.
También debemos considerar que trabajar con documentos mediante RAG no garantiza respuestas perfectas.
Finalmente, el mantenimiento, las actualizaciones y la seguridad del entorno quedan bajo nuestra responsabilidad.
¿Vale la pena instalar Ollama y AnythingLLM?
Sí, especialmente para personas que trabajan con documentos privados, desarrollo de software o información interna.
La combinación permite crear un asistente personalizado capaz de consultar archivos y responder preguntas utilizando modelos que se ejecutan en nuestra computadora.
Sin embargo, no todas las personas necesitan instalar ambos programas.
Para comenzar a experimentar con inteligencia artificial local, Ollama puede ser suficiente.
También podemos utilizar AnythingLLM Desktop por separado, aprovechando su motor local integrado.
La combinación de Ollama y AnythingLLM resulta especialmente interesante cuando queremos administrar nuestros modelos de manera independiente y utilizarlos dentro de una base de conocimiento documental.
Preguntas frecuentes sobre Ollama y AnythingLLM
¿Qué es Ollama?
Ollama es una herramienta que permite descargar, ejecutar y administrar modelos de inteligencia artificial localmente.
¿Qué es AnythingLLM?
AnythingLLM es una aplicación que permite conversar con modelos de inteligencia artificial, organizar documentos y crear espacios de conocimiento.
¿Ollama es gratis?
Sí. Sus funciones principales para ejecutar modelos locales son gratuitas. También existen servicios opcionales en la nube.
¿AnythingLLM es gratis?
Sí. Ofrece una aplicación de escritorio gratuita y de código abierto.
¿Necesito instalar Ollama para utilizar AnythingLLM?
No. AnythingLLM Desktop incorpora un motor local propio y también permite utilizar proveedores externos como Ollama.
¿Ollama funciona en Windows 11?
Sí. Dispone de una versión nativa para Windows.
¿Ollama funciona en Mac y Linux?
Sí. Está disponible para ambos sistemas operativos.
¿Puedo utilizar Ollama sin Internet?
Sí, después de descargar los modelos y componentes necesarios.
¿Puedo analizar archivos PDF con AnythingLLM?
Sí. Permite incorporar documentos y consultar su contenido mediante recuperación de información.
¿Ollama necesita GPU?
No necesariamente. Puede ejecutar determinados modelos mediante CPU, aunque el procesamiento puede resultar más lento.
¿Cuánta RAM necesito?
Depende del modelo. Para comenzar con modelos pequeños pueden ser suficientes 8 GB, mientras que 16 GB o más ofrecen mayor flexibilidad.
¿Puedo utilizar Ollama para programar?
Sí. Existen modelos especializados en generación, explicación y análisis de código.
¿AnythingLLM puede leer documentos Word y PDF?
Sí. Admite diferentes formatos documentales, dependiendo de las herramientas de extracción disponibles.
¿Mis documentos se envían a Internet?
No cuando utilizamos una configuración completamente local. Si activamos proveedores o integraciones externas, el comportamiento puede cambiar.
¿Qué es RAG?
Es una técnica que permite recuperar fragmentos relevantes de documentos y utilizarlos como contexto para generar respuestas mediante inteligencia artificial.
¿Dónde descargar Ollama?
Desde https://ollama.com/download