Ollama Local AI เปลี่ยนโทรศัพท์ Android ให้เป็นพร็อกซีการพัฒนา LLM
Ollama Local AI จาก De-devs เปลี่ยนอุปกรณ์ Android ให้เป็นพร็อกซี LLM ท้องถิ่นสำหรับการทำงานของนักพัฒนา มันเปิดเผยจุดสิ้นสุดที่เข้ากันได้กับ OpenAI และเซิร์ฟเวอร์ NanoHTTPD ที่ฝังอยู่ ดังนั้น IDE เช่น VS Code หรือ Cursor สามารถชี้ไปที่ IP LAN ของโทรศัพท์เพื่อใช้โมเดลท้องถิ่นหรือคีย์ API ภายนอก แอปนี้มีการสลับผู้ให้บริการทันที ตัวแสดงการจราจรแบบเรียลไทม์ การจัดเก็บที่เข้ารหัส AES-256 และการปรับแต่ง Dispatchers.IO ออกแบบมาสำหรับนักพัฒนาและนักวิจัย AI ที่ต้องการวิธีการจัดการจุดสิ้นสุด LLM ท้องถิ่นและคลาวด์ที่พกพาได้และปลอดภัย
มันทำงานเป็นเกตเวย์ที่มุ่งเน้นนักพัฒนาซึ่งคุณสามารถเข้าถึงจาก PC ของคุณ
Ollama ทำหน้าที่เป็นเกตเวย์ REST ท้องถิ่นที่รับคำขอจากผู้ช่วยการเขียนโค้ดและปลั๊กอิน IDE โดยการเปิดเผยจุดสิ้นสุดมาตรฐานเช่น /v1/chat/completions และ /v1/models เซิร์ฟเวอร์ NanoHTTPD ที่ฝังอยู่เริ่มต้นโดยไม่ต้องมีการกำหนดค่าของเซิร์ฟเวอร์ด้วยตนเอง ดังนั้นสถานีงานพัฒนาจึงสามารถชี้ไปที่ IP LAN ของโทรศัพท์เพื่อส่งต่อการจราจรการอนุมาน การรวมตัวอย่างรวมถึง VS Code, Cursor และ Windsurf ทำให้โทรศัพท์เป็นจุดสิ้นสุดที่สามารถเข้าถึงได้ในเครือข่ายท้องถิ่นมาตรฐาน.
การควบคุมข้อมูลประจำตัวและผู้ให้บริการมุ่งเป้าไปที่ปัญหาการจัดการความลับทั่วไป
แอปนี้รวมการกำหนดค่าผู้ให้บริการและให้คุณบันทึกและสลับผู้ให้บริการด้วยการกระทำเดียวหลีกเลี่ยงไฟล์การกำหนดค่าข้อความธรรมดาที่กระจัดกระจายอยู่ใน PC มันรองรับการสลับระหว่างการอนุมานท้องถิ่นและผู้ให้บริการคลาวด์เช่น OpenAI, Hugging Face, NVIDIA หรือจุดสิ้นสุดที่กำหนดเอง ข้อมูลประจำตัวที่ละเอียดอ่อนจะถูกเก็บไว้ด้วย EncryptedSharedPreferences ของ Android โดยใช้ AES-256 ทำให้คีย์ API อยู่ในอุปกรณ์แทนที่จะอยู่ในโฟลเดอร์โปรเจ็กต์เดสก์ท็อป.
ประสิทธิภาพที่มุ่งเน้นมือถือและการสังเกตการณ์สดเหมาะสำหรับช่วงการพัฒนาสั้น ๆ
Ollama ใช้ Kotlin Coroutines และ Dispatchers.IO เพื่อให้ส่วนติดต่อผู้ใช้ตอบสนองได้ และใช้ตัวจำกัดอัตรา "lazy token bucket" เพื่อลดภาระ CPU และแบตเตอรี่ระหว่างการทำหน้าที่เป็นพร็อกซี แสดงภาพกราฟิกแบบโต้ตอบแสดงการไหลของคำขอแบบสด การจัดเส้นทางแพ็กเกจ และสถิติประสิทธิภาพเพื่อให้นักพัฒนาสามารถตรวจสอบความล่าช้าและการส่งข้อมูลบนอุปกรณ์ แอปนี้ต้องการการเชื่อมต่อ LAN และได้รับการปรับให้เหมาะสมสำหรับการสร้าง Android ที่ทันสมัย; มันได้รับการบำรุงรักษาอย่างต่อเนื่องพร้อมกับการอัปเดตล่าสุดที่มุ่งเน้นไปที่ประสิทธิภาพและการสนับสนุนผู้ให้บริการที่ขยายออกไป.
Ollama เป็นทางเลือกที่เหมาะสมสำหรับนักพัฒนาที่มีความรู้ทางเทคนิคซึ่งโฮสต์ LLM endpoints บนโทรศัพท์
Ollama เป็นตัวเลือกที่เหมาะสมสำหรับนักพัฒนาและนักวิจัย AI ที่ต้องการ LLM proxy แบบพกพาท้องถิ่นและมีความสะดวกในการกำหนดค่า IDE network endpoints มันไม่เหมาะสำหรับผู้ใช้ที่ต้องการการตั้งค่าที่มีการแนะนำและไม่เป็นทางเทคนิคหรือไม่สามารถวางอุปกรณ์ใน LAN เดียวกันได้ การบำรุงรักษาอย่างต่อเนื่องและการปรับแต่งที่มุ่งเป้าทำให้มันเป็นตัวเลือกที่เชื่อถือได้สำหรับกระบวนการพัฒนาที่ใช้มือถือซึ่งยอมรับโทรศัพท์ที่เชื่อมต่อเป็นเกตเวย์ในการอนุมาน.
