
Supabase-এর Vector Database দিয়ে Agent-এ Semantic Search যোগ করা
আমাদের আগের পর্বে আমরা যখন সেই Python Agent-কে FastAPI দিয়ে একটা আসল Backend API বানানো নিয়ে কাজ করেছিলাম, তখন StreamingResponse এবং অ্যাসিনক্রোনাস টুল ডিসপ্যাচার ব্যবহার করে আমাদের পাইথন এজেন্টকে একটি লাইভ স্ট্রিমিং ওয়েব সার্ভিসে রূপান্তর করেছিলাম। কিন্তু একটু খেয়াল করলে দেখবেন—আমাদের Next.js ব্যাকএন্ড (src/lib/agent/tools.ts) এবং Python FastAPI ব্যাকএন্ড (agent/tools.py) দুই জায়গাতেই একটি টুল এখনো হার্ডকোডেড ডামি ডেটা রিটার্ন করছে, আর তা হলো আমাদের ডকুমেন্টেশন সার্চ টুল (searchKnowledgeBase / search_knowledge_base)!
আপনার AI Agent-এ সত্যিকারের Semantic Search (অর্থভিত্তিক সার্চ) যোগ করার সবচেয়ে কার্যকর উপায় হলো Supabase PostgreSQL-এ pgvector এক্সটেনশন চালু করা, ডকুমেন্টেশনের প্রতিটি অনুচ্ছেদকে ১৫৩৬-ডাইমেনশনের ভেক্টর এমবেডিং (text-embedding-3-small)-এ রূপান্তর করে HNSW (vector_cosine_ops) ইনডেক্সসহ সেভ রাখা, এবং একটি কাস্টম PostgreSQL RPC ফাংশন (match_documentation_chunks) তৈরি করা যা Cosine Similarity থ্রেশহোল্ড দিয়ে সবচেয়ে প্রাসঙ্গিক অংশটুকু খুঁজে আনে। এই একটিমাত্র ডাটাবেস ফাংশনকে আমাদের Next.js এবং Python FastAPI উভয় এজেন্টের সাথে যুক্ত করে দিলে ইউজারের প্রশ্নের শব্দগুলোর সাথে ডকুমেন্টেশনের শব্দের হুবহু মিল না থাকলেও এজেন্ট মাত্র ২০ মিলিসেকেন্ডে সঠিক টেকনিক্যাল গাইড খুঁজে বের করতে পারে।
আমাদের ফাউন্ডেশন মডিউলের ৫ম পর্বে আমরা RAG (Retrieval Augmented Generation)-এর থিওরি শিখেছিলাম। আজ ২৯তম পর্বে আমরা আমাদের ২৪তম পর্বের সেই একই Supabase প্রজেক্টেই লাইভ ভেক্টর সার্চ পাইপলাইন তৈরি করব।
সাধারণ SQL ILIKE কি-ওয়ার্ড সার্চ কেন AI Agent-এর জন্য কাজ করে না?
অনেক ডেভেলপার শুরুতে ভেক্টর ডাটাবেসের ঝামেলা এড়াতে সাধারণ PostgreSQL কুয়েরি দিয়ে ডকুমেন্টেশন সার্চ করার চেষ্টা করেন:
sql SELECT doc_path, content FROM docs WHERE content ILIKE '%' || query || '%' LIMIT 3;
বাস্তব প্রোডাকশনে এই পদ্ধতিটি সাথে সাথে ব্যর্থ হয় তিনটি কারণে:
১. শব্দের অমিল (Vocabulary Mismatch): ধরুন কোনো ডেভেলপার প্রশ্ন করলেন—'টোকেন রিফ্রেশ করার সময় আমাদের রিকোয়েস্টগুলো কেন ব্লক বা থ্রটল (throttled) হচ্ছে?' অথচ আপনার ডকুমেন্টেশনে 'throttled' শব্দটি একবারও লেখা নেই; সেখানে লেখা আছে 'HTTP 429 burst rate limit policy'। সাধারণ কি-ওয়ার্ড সার্চ এখানে শূন্য রেজাল্ট রিটার্ন করবে!
২. অর্থের গুরুত্ব না বোঝা: সাধারণ সার্চ বুঝতে পারে না কোন প্যারাগ্রাফে আসল সমাধান আছে আর কোথায় শুধু সাধারণ উদাহরণ দেওয়া হয়েছে।
৩. অতিরিক্ত টোকেন খরচ: পুরো মার্কডাউন ফাইল রিটার্ন করলে এজেন্টের স্ক্র্যাচপ্যাডে অযথা ৩,০০০–৪,০০০ টোকেন ঢুকে যায়, যেখানে দরকার ছিল মাত্র ১৫০ টোকেনের একটি নির্দিষ্ট নিয়ম।
Semantic Search এই সমস্যার সমাধান করে টেক্সটকে সংখ্যার স্থানাঙ্কে (১৫৩৬টি ফ্লোটিং পয়েন্ট সংখ্যার অ্যারে বা Vector Embedding) রূপান্তর করার মাধ্যমে। এতে 'request throttled' এবং 'HTTP 429 rate limit' বাক্য দুটি ভেক্টর স্পেসে একে অপরের খুব কাছাকাছি অবস্থান করে!

Supabase pgvector দিয়ে Semantic Search কীভাবে কাজ করে?
২৪তম পর্বে চ্যাট হিস্ট্রি সেভ করার জন্য আমরা যে Supabase প্রজেক্টটি খুলেছিলাম, তার ভেতরেই pgvector এক্সটেনশন বিল্ট-ইন রয়েছে। ফলে আমাদের আলাদা করে Pinecone বা Qdrant-এর মতো কোনো থার্ড-পার্টি ভেক্টর ডাটাবেস মেইনটেইন করতে হবে না।
নিচের ফ্লোচার্টে দেখুন এজেন্ট যখন searchKnowledgeBase টুলটি কল করে, তখন ব্যাকএন্ডে ধাপে ধাপে কী ঘটে:
mermaid graph TD A[Agent Tool Call: searchKnowledgeBase] --> B[OpenAI Embeddings API: text-embedding-3-small] B -->|১৫৩৬-ডাইমেনশন ভেক্টর| C[Supabase PostgreSQL RPC: match_documentation_chunks] C --> D[HNSW ইনডেক্স স্ক্যান: vector_cosine_ops] D --> E{Cosine Similarity >= 0.72?} E -->|না: থ্রেশহোল্ডের নিচে| F[অপ্রাসঙ্গিক চাঙ্ক বাদ দেওয়া] E -->|হ্যাঁ: থ্রেশহোল্ডের উপরে| G[এজেন্টে Top-K ডকুমেন্টেশন চাঙ্ক রিটার্ন]
আর্কিটেকচার ফ্লো সামারি: এজেন্ট টুল কল → OpenAI text-embedding-3-small API → সুপাবেস RPC ফাংশন → HNSW কোসাইন সিমিলারিটি ইনডেক্স স্ক্যান → এজেন্টে Top-K ডকুমেন্টেশন চাঙ্ক রিটার্ন।
জাহিদের বাস্তব অভিজ্ঞতা: ভুল ivfflat ইনডেক্স এবং থ্রেশহোল্ড না রাখার কারণে যখন এজেন্ট ভুল ডকুমেন্ট পড়ছিল!
আমি যখন প্রথমবার আমাদের এজেন্টের ডকুমেন্টেশন সার্চে মক ডেটা সরিয়ে Supabase pgvector বসিয়েছিলাম, তখন পরপর দুটি অদ্ভুত সমস্যার মুখোমুখি হয়েছিলাম।
প্রথমবার আমি ইন্টারনেটের একটি পুরনো টিউটোরিয়াল দেখে টেবিলে USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100) ইনডেক্স বসিয়েছিলাম। অথচ আমার টেবিলে তখন ডকুমেন্টেশন চাঙ্ক ছিল মাত্র ৬৫টি! আমি যখন এজেন্টকে একটি একদম স্পষ্ট প্রশ্ন করলাম, দেখলাম ডাটাবেজে প্রাসঙ্গিক ৩টি চাঙ্ক থাকা সত্ত্বেও RPC ফাংশনটি মাত্র ১টি চাঙ্ক রিটার্ন করছে এবং বাকি দুটি খুঁজেই পাচ্ছে না! পরে PostgreSQL-এর ভেক্টর ইনডেক্স ডকুমেন্টেশন ঘেঁটে বুঝলাম—ivfflat ইনডেক্স পুরো ভেক্টর স্পেসকে ১০০টি ক্লাস্টারে (lists = 100) ভাগ করে এবং সার্চ করার সময় ডিফল্টভাবে মাত্র ১টি ক্লাস্টার (probes = 1) চেক করে। রো সংখ্যা কম হলে বা পরে নতুন ডেটা ইনসার্ট করলে ক্লাস্টারগুলোর কেন্দ্র (Centroids) এলোমেলো হয়ে যায়। যেই মুহূর্তে আমি ivfflat ফেলে দিয়ে USING hnsw (embedding vector_cosine_ops) ইনডেক্স তৈরি করলাম, সাথে সাথে শতভাগ নির্ভুল রেজাল্ট আসা শুরু করল।
দ্বিতীয় শিক্ষাটি পেয়েছিলাম match_threshold নিয়ে। শুরুতে আমার SQL কুয়েরিতে কোনো WHERE ফিল্টার ছিল না—শুধু ORDER BY embedding <=> query_embedding LIMIT 3 দেওয়া ছিল। ফলে ইউজার যখন ডাটাবেসের বাইরে থাকা সম্পূর্ণ অপ্রাসঙ্গিক কোনো প্রশ্ন করত, তখনো ডাটাবেস জোর করে সবচেয়ে কম খারাপ ৩টি চাঙ্ক (similarity: 0.29) রিটার্ন করে এজেন্টকে বিভ্রান্ত করত! এরপর where 1 - (dc.embedding <=> query_embedding) >= 0.72 শর্তটি যোগ করার পর থেকে অপ্রাসঙ্গিক প্রশ্নে টুল সরাসরি খালি অ্যারে ([]) রিটার্ন করে এবং অযথা টোকেন নষ্ট হওয়া পুরোপুরি বন্ধ হয়ে যায়।
ধাপ ১: Supabase-এ pgvector, HNSW ইনডেক্স এবং RPC ফাংশন তৈরি করা
আপনার Supabase ড্যাশবোর্ডের SQL Editor-এ গিয়ে নিচের মাইগ্রেশন কোডটি রান করুন। এটি vector এক্সটেনশন চালু করবে, documentation_chunks টেবিল তৈরি করবে, দ্রুত সার্চের জন্য HNSW ইনডেক্স বসাবে এবং match_documentation_chunks ফাংশনটি তৈরি করবে:
`sql -- supabase/migrations/20261117_pgvector_semantic_search.sql create extension if not exists vector;
create table if not exists public.documentation_chunks ( id uuid primary key default gen_random_uuid(), doc_path text not null, heading text not null, content text not null, token_count int not null default 0, embedding vector(1536) not null, updated_at timestamptz not null default now(), unique (doc_path, heading) );
create index if not exists idx_docs_embedding_hnsw on public.documentation_chunks using hnsw (embedding vector_cosine_ops) with (m = 16, ef_construction = 64);
create or replace function public.match_documentation_chunks( query_embedding vector(1536), match_threshold float default 0.72, match_count int default 3 ) returns table ( id uuid, doc_path text, heading text, content text, similarity float ) language sql stable as $$ select dc.id, dc.doc_path, dc.heading, dc.content, 1 - (dc.embedding <=> query_embedding) as similarity from public.documentation_chunks dc where 1 - (dc.embedding <=> query_embedding) >= match_threshold order by dc.embedding <=> query_embedding asc limit greatest(least(match_count, 5), 1); $$; `
এই SQL কোডে তিনটি অত্যন্ত গুরুত্বপূর্ণ কৌশল ব্যবহার করা হয়েছে:
১. <=> অপারেটর এবং 1 - distance: pgvector-এ <=> চিহ্নটি দুটি ভেক্টরের মধ্যকার Cosine Distance (দূরত্ব) বের করে (দূরত্ব যত কম, মিল তত বেশি)। তাই 1 - (dc.embedding <=> query_embedding) করার মাধ্যমে আমরা সেটিকে 0 থেকে 1-এর মধ্যে একটি Similarity Score-এ রূপান্তর করেছি। আর order by dc.embedding <=> query_embedding asc রাখার ফলে PostgreSQL সরাসরি আমাদের HNSW ইনডেক্স ব্যবহার করতে পারে।
২. IVFFlat-এর বদলে HNSW ইনডেক্স: পুরনো ivfflat ইনডেক্সে অল্প ডেটা থাকলে সার্চ একদমই ঠিকমতো কাজ করে না এবং নতুন ডকুমেন্ট যোগ করলে ইনডেক্স রিবিল্ড করতে হয়। কিন্তু hnsw ইনডেক্সে ১০টি রো থাকলেও যেমন শতভাগ নিখুঁত রেজাল্ট পাওয়া যায়, তেমনি ১০ লাখ রো হলেও তা মিলিসেকেন্ডে কাজ করে।
৩. রিটার্ন টেবিল থেকে embedding কলাম বাদ রাখা: ১৫৩৬টি ফ্লোটিং পয়েন্ট সংখ্যার অ্যারে নেটওয়ার্ক দিয়ে পাঠালে অযথা প্রচুর ব্যান্ডউইথ নষ্ট হয়। তাই আমাদের RPC ফাংশনটি শুধুমাত্র টেক্সট এবং similarity স্কোর রিটার্ন করে।
ধাপ ২: Next.js এজেন্টে লাইভ Vector Search যুক্ত করা (vector-search.ts)
চলুন এবার আমাদের Next.js প্রজেক্টে src/lib/agent/vector-search.ts ফাইলটি তৈরি করি, যা ইউজারের কুয়েরিকে OpenAI-এর text-embedding-3-small দিয়ে ভেক্টরে রূপান্তর করবে এবং Supabase-এর match_documentation_chunks RPC কল করবে:
`typescript // src/lib/agent/vector-search.ts import 'server-only'; import OpenAI from 'openai'; import { createClient } from '@supabase/supabase-js'; import { type SearchDocsOutputDTO } from './type-contracts';
function getOpenAIClient(): OpenAI { const apiKey = process.env.OPENAI_API_KEY; if (!apiKey) { throw new Error('Missing OPENAI_API_KEY for vector embeddings.'); } return new OpenAI({ apiKey }); }
function getSupabaseAdmin() { const url = process.env.SUPABASE_URL; const key = process.env.SUPABASE_SERVICE_ROLE_KEY; if (!url || !key) { throw new Error('Missing SUPABASE_URL or SUPABASE_SERVICE_ROLE_KEY.'); } return createClient(url, key, { auth: { persistSession: false, autoRefreshToken: false }, }); }
export async function createQueryEmbedding(text: string): Promise<number[]> { const openai = getOpenAIClient(); const cleanInput = text.replace(/\n+/g, ' ').trim().slice(0, 2000);
const response = await openai.embeddings.create({ model: 'text-embedding-3-small', input: cleanInput, });
const vector = response.data[0]?.embedding; if (!vector) { throw new Error('Failed to generate embedding vector from OpenAI.'); } return vector; }
interface MatchedChunkRow { id: string; doc_path: string; heading: string; content: string; similarity: number; }
export async function semanticSearchDocumentation( query: string, topK = 3, minSimilarity = 0.72 ): Promise { const queryEmbedding = await createQueryEmbedding(query); const supabase = getSupabaseAdmin();
const { data, error } = await supabase.rpc('match_documentation_chunks', { query_embedding: queryEmbedding, match_threshold: minSimilarity, match_count: topK, });
if (error) {
throw new Error(Supabase pgvector RPC error: ${error.message});
}
const rows = (data ?? []) as MatchedChunkRow[];
return {
queryUsed: query,
topK,
matchedChunks: rows.map((row) => ({
docPath: ${row.doc_path}#${row.heading},
score: Number(row.similarity.toFixed(3)),
excerpt: row.content.slice(0, 500),
})),
};
}
`
এখন আমাদের ১৩তম পর্বের src/lib/agent/tools.ts ফাইলে searchKnowledgeBase কেসটিতে হার্ডকোডেড অবজেক্টের বদলে শুধু const searchResult = await semanticSearchDocumentation(args.query, args.topK); বসিয়ে দিলেই আমাদের Next.js এজেন্ট লাইভ ভেক্টর সার্চে উন্নীত হয়ে গেল!
ধাপ ৩: আমাদের Python FastAPI এজেন্টেও একই Vector Search যুক্ত করা
গত পর্বে (পর্ব ২৮) আমরা যে FastAPI ব্যাকএন্ড বানিয়েছিলাম, সেটিও কিন্তু একই Supabase ডাটাবেস ব্যবহার করতে পারে! আপনার Python ভার্চুয়াল এনভায়রনমেন্টে pip install supabase openai চালিয়ে agent/tools.py ফাইলের execute_search_docs ফাংশনটি নিচের মতো করে আপডেট করে দিন:
`python
agent/tools.py
import os from typing import Any, Dict from openai import AsyncOpenAI from supabase import create_client, Client from agent.tools import SearchDocsInput
def get_supabase_client() -> Client: url = os.environ.get('SUPABASE_URL') key = os.environ.get('SUPABASE_SERVICE_ROLE_KEY') if not url or not key: raise RuntimeError('Missing SUPABASE_URL or SUPABASE_SERVICE_ROLE_KEY.') return create_client(url, key)
async def execute_search_docs(args: SearchDocsInput) -> Dict[str, Any]: openai_key = os.environ.get('OPENAI_API_KEY') if not openai_key: raise RuntimeError('Missing OPENAI_API_KEY for embedding generation.')
async_openai = AsyncOpenAI(api_key=openai_key)
clean_query = args.query.replace('\n', ' ').strip()[:1000]
emb_response = await async_openai.embeddings.create(
model='text-embedding-3-small',
input=clean_query,
)
query_vector = emb_response.data[0].embedding
supabase = get_supabase_client()
rpc_response = supabase.rpc(
'match_documentation_chunks',
{
'query_embedding': query_vector,
'match_threshold': 0.72,
'match_count': args.top_k,
},
).execute()
rows = rpc_response.data or []
matched_chunks = [
{
'doc_path': f"{row['doc_path']}#{row['heading']}",
'score': round(float(row['similarity']), 3),
'excerpt': str(row['content'])[:500],
}
for row in rows
]
return {
'query_used': args.query,
'top_k': args.top_k,
'matched_chunks': matched_chunks,
}
`
ধাপ ৪: ডকুমেন্টেশন চ্যাঙ্ক করে ভেক্টর ডাটাবেসে ইনজেস্ট (Seed) করা
ডাটাবেস এবং টুল তো প্রস্তুত, এবার চলুন scripts/seed-docs.py নামের একটি ছোট পাইথন স্ক্রিপ্ট লিখে আমাদের প্রজেক্টের আসল টেকনিক্যাল ডকুমেন্টেশনগুলো এমবেডিংসহ Supabase-এ ইনসার্ট করি:
`python
scripts/seed-docs.py
import os from dotenv import load_dotenv from openai import OpenAI from supabase import create_client
load_dotenv()
DOCS_TO_SEED = [ { 'doc_path': 'docs/api/rate-limits.md', 'heading': 'sliding-window-burst-policy', 'content': ( 'The API gateway enforces a sliding-window rate limit of 5 agent turns per 60 seconds ' 'and a daily quota of 40 turns per 24 hours. Exceeding either limit returns HTTP 429 ' 'Too Many Requests with a standard Retry-After header indicating cooldown seconds.' ), }, { 'doc_path': 'docs/auth/token-refresh.md', 'heading': 'concurrent-refresh-locking', 'content': ( 'When an access token expires, clients must use a mutex lock so parallel requests ' 'do not fire concurrent token refresh calls. Firing more than 3 refresh calls within ' '2 seconds triggers the auth gateway burst limiter (Issue ISS-402).' ), }, { 'doc_path': 'docs/streaming/sse-keepalive.md', 'heading': 'proxy-buffering-and-heartbeats', 'content': ( 'All Server-Sent Events (SSE) endpoints emit a heartbeat frame every 3000ms and include ' 'X-Accel-Buffering: no plus Cache-Control: no-cache, no-transform headers to prevent ' 'Nginx and CDN response buffering during multi-step tool executions.' ), }, ]
def seed_documentation() -> None: openai_client = OpenAI(api_key=os.environ['OPENAI_API_KEY']) supabase = create_client( os.environ['SUPABASE_URL'], os.environ['SUPABASE_SERVICE_ROLE_KEY'], )
for item in DOCS_TO_SEED:
combined_text = f"{item['doc_path']} ({item['heading']}): {item['content']}"
emb = openai_client.embeddings.create(
model='text-embedding-3-small',
input=combined_text,
)
vector = emb.data[0].embedding
supabase.table('documentation_chunks').upsert(
{
'doc_path': item['doc_path'],
'heading': item['heading'],
'content': item['content'],
'token_count': len(combined_text.split()),
'embedding': vector,
},
on_conflict='doc_path,heading',
).execute()
print(f"Seeded vector chunk: {item['doc_path']}#{item['heading']}")
if name == 'main': seed_documentation() `

সাধারণ ভুল ও সতর্কতা: এজেন্টে Vector Search যোগ করার সময়
পরের পর্বে (পর্ব ৩০: Vercel-এ প্রজেক্ট ডিপ্লয়মেন্ট) যাওয়ার আগে নিশ্চিত হয়ে নিন আপনার ভেক্টর সার্চ পাইপলাইনে যেন এই ৪টি ভুল না থাকে:
১. ডকুমেন্ট সেভ ও সার্চের সময় দুটি আলাদা Embedding Model ব্যবহার করা (Model Mismatch): আপনি যদি ডকুমেন্ট সেভ করার সময় text-embedding-3-small ব্যবহার করেন, আর সার্চ করার সময় ভুল করে অন্য কোনো মডেল ব্যবহার করেন, তবে ভেক্টর স্থানাঙ্ক কখনোই মিলবে না। ইনজেস্ট এবং কুয়েরি—দুই জায়গাতেই হুবহু একই মডেল ব্যবহার করতে হবে।
২. SQL ফাংশনে match_threshold না রাখা (Unfiltered Noise): কখনোই থ্রেশহোল্ড ছাড়া শুধু LIMIT 3 দিয়ে ভেক্টর সার্চ করবেন না। এতে মিল না থাকলেও অপ্রাসঙ্গিক ডকুমেন্ট এজেন্টের মেমোরিতে ঢুকে হ্যালুসিনেশন তৈরি করবে।
৩. অ্যাপ্লিকেশনে কাঁচা embedding কলাম রিটার্ন করা (Selecting Raw Vectors): RPC ফাংশনের ভেতরে কখনোই SELECT * লিখবেন না। ১৫৩৬টি ফ্লোট সংখ্যার অ্যারে নেটওয়ার্ক দিয়ে আনা-নেওয়া করলে অযথা ল্যাটেন্সি বাড়ে।
৪. হেডিং বা প্যারাগ্রাফ না মেনে অন্ধভাবে অক্ষর গুনে চ্যাঙ্কিং করা (Blind Character Splitting): প্রতি ৫০০ ক্যারেক্টার পরপর চোখ বন্ধ করে টেক্সট কাটলে অনেক সময় কোড ব্লকের মাঝখান দিয়ে কেটে যায়। সবসময় মার্কডাউন হেডিং (##) বা সম্পূর্ণ প্যারাগ্রাফ ধরে চ্যাঙ্ক (Chunk) তৈরি করবেন।
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী (FAQ)
আমরা ৩০৭২ ডাইমেনশনের বড় মডেলের বদলে কেন ১৫৩৬ ডাইমেনশনের text-embedding-3-small ব্যবহার করলাম?
OpenAI-এর text-embedding-3-small মডেলটি খরচের দিক থেকে ৫ গুণ সাশ্রয়ী, অত্যন্ত দ্রুত এমবেডিং তৈরি করে এবং এর ১৫৩৬ ডাইমেনশন সরাসরি pgvector-এর স্ট্যান্ডার্ড ২০০০-ডাইমেনশন HNSW ইনডেক্স লিমিটের ভেতরে এঁটে যায়। তাই টেকনিক্যাল ডকুমেন্টেশন সার্চের জন্য এটি সবচেয়ে আদর্শ ও ব্যালেন্সড পছন্দ।
match_threshold-এর মান কত রাখা উচিত?
text-embedding-3-small মডেলের ক্ষেত্রে প্রাসঙ্গিক টেকনিক্যাল ডকুমেন্টেশনের Cosine Similarity সাধারণত ০.৭০ থেকে ০.৮৮-এর মধ্যে থাকে, আর অপ্রাসঙ্গিক প্রশ্নের স্কোর থাকে ০.৫৫-এর নিচে। তাই 0.70 থেকে 0.72 থ্রেশহোল্ড হিসেবে ব্যবহার করলে অপ্রয়োজনীয় নয়েজ ফিল্টার হয়ে যায় এবং অর্থবহ সব রেজাল্ট চলে আসে।
নতুন ডকুমেন্টেশন চ্যাঙ্ক ইনসার্ট বা আপডেট করলে কি প্রতিবার HNSW ইনডেক্স নতুন করে তৈরি করতে হবে?
না। পুরনো ivfflat ইনডেক্সের মতো HNSW ইনডেক্স বারবার রিবিল্ড করতে হয় না। আপনি যখনই seed-docs.py চালিয়ে নতুন ডকুমেন্টেশন ইনসার্ট বা আপসার্ট (upsert) করবেন, PostgreSQL স্বয়ংক্রিয়ভাবে তার HNSW গ্রাফ আপডেট করে নেবে।
কাস্টম ওয়েব অ্যাপ বা এআই অটোমেশন বানাতে চান?
আমি স্টার্টআপ ও আধুনিক ব্যবসার জন্য স্কেলেবল ফুল-স্ট্যাক ওয়েব অ্যাপ্লিকেশন (Next.js, React, Node, PostgreSQL) এবং ইন্টেলিজেন্ট এআই এজেন্ট সলিউশন তৈরি করি। আপনার প্রজেক্টের আইডিয়া নিয়ে কথা বলা যাক!
আর্টিকেলটি কি আপনার ভালো লেগেছে?
তন্ময়ের কাজকে সাপোর্ট করতে তালি (Clap) দিয়ে উৎসাহিত করুন!
জাহিদ হাসান তন্ময়
সফটওয়্যার ডেভেলপার
MERN ফুল-স্ট্যাক ডেভেলপার এবং AI এজেন্ট ডেভেলপার, ঢাকা, বাংলাদেশ। ওয়েব ডেভেলপমেন্ট, রিঅ্যাক্ট, লারাভেল এবং আমার লার্নিং জার্নি নিয়ে লিখছি।