LanceDB — OpenSource векторная БД
Когда применить Нашел через Repowise, очень удобная БД, где сразу хранится SQL, Сырые данные, метаданные + эмбединги. Все на локальной машине, без серверов. Локально для протипов.
В отличие от: Chroma, Qdrant, Weaviate, Milvus, pgvector - не требует инфраструктуры, хранится локально или на S3.
Когда применять:
- Прототип или MVP - не хочешь поднимать инфру векторного поиска
- Локальная обработка данных
- Данные уже в S3/GCS
- Мультимодальный поиск (текст, картинки, видео)
- Гибридный поиск (вектор + full-text) без сложностей
Что под капотом:
- хранилище на базе формата Lance (быстрее Parquet на random access)
- встраиваемый режим (zero infra) + облачный режим
- ANN-индексы (IVF-PQ, HNSW)
- гибридный поиск: векторный + full-text (BM25)
- нативная интеграция с LangChain, LlamaIndex, pandas, polars
- multimodal: текст, картинки, видео, аудио
Впервые опубликовано: @ai_ossresearch.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- CodeAbra/iai-personal-memory-engine
Тоже пусть тут лежит, это знакомый из Threads разрабатывает. Больше про разграничение персональных контекстов агента
- OpenObserve - открытая observability-платформа для логов, метрик, трейсов и RUM
Условный Elasticsearch/Datadog, только в разы дешевле по хранению и разворачивается одним бинарником.
- Headlong - OpenSource автономный AI-агент с постоянной рефлексией
Очень прожорливая штука по токенам, в авторах там мегакрутые чуваки (Konwinski - Perplexity & Co) - работает в фоне, а не только по запросу - сам выбирает, о чём думать и что…