İlk sürümde dar bir görev seçin
Teslimat sürecini açıklamak, ürün bakım bilgisini sunmak veya destek kaydını doğru ekibe yönlendirmek gibi sınırları belli iş seçin. Modelin bilmediği soruya cevap uydurması yerine belirsizliği söyleyip uygun kanala yönlendirmesi beklenmelidir. Kapsam dışı soruların örneklerini de gereksinim belgesine ekleyin.
Örnek başlangıç kapsamı yalnızca onaylanmış yardım metinlerine dayalı cevaplar olabilir. İade kararı vermek veya ücret değiştirmek ayrı risk ve yetki gerektirir. Bu işlemleri aynı ilk sürümde otomatikleştirmeyi varsaymayın. Sistem sadece yönlendirme yapıyorsa müşteriye işlemin kesin tamamlandığını söylemesin.
Bilgi kaynağının sahibini belirleyin
Hangi yardım sayfaları, ürün bilgileri veya süreç belgeleri kullanılacak? Her kaynağın sorumlusu ve güncelleme yöntemi belli olsun. Çelişen iki kural varsa sistemin hangisini esas alacağı tanımlanmadan canlıya çıkmayın. Eski sürümdeki bilgiye geri dönmek gerekirse hangi belgenin kullanıldığı görülebilsin.
Onaylı içerik ile müşterinin yazdığı metin farklı güven düzeyindedir. OWASP, dış içerik veya kullanıcı girdisinin model davranışını yönlendirmesiyle oluşan prompt injection riskini açıklar. Bilgi getirme yaklaşımı kullanılması riski tek başına ortadan kaldırmaz. Kaynakların ve girdilerin sınırları teknik tasarımda ayrıca ele alınmalıdır. [Kaynak]
Modeli işlem yetkisiyle karıştırmayın
Sipariş bilgisi okunacaksa kullanıcı kimliği ve kayıt yetkisi uygulama katmanında doğrulanmalıdır. Sohbette sipariş numarası yazılması o kayda erişim izni anlamına gelmemelidir. Modelin çıktısını doğrudan güvenilir sistem komutu olarak çalıştırmayın. Her işlem için izin verilen alan ve eylemler açıkça sınırlandırılsın.
Ücret, iade veya hesap değişikliği gibi etkili işlemleri ayrı onay ve belirli uygulama kurallarıyla sınırlandırın. İşlem yapan sistemlerde en az yetki yaklaşımı ve gerekli insan onayı uygulanmalıdır. Tekniği bütün hataları ortadan kaldıran garanti olarak sunmayın. Hatalı istekle gerçek işlem arasındaki kontrol modelin isteğine bağlı kalmamalıdır.
Değerlendirme setini canlıdan önce hazırlayın
Doğru cevaplı, cevabı bulunmayan, çelişkili ve yetkisiz bilgi isteyen örnek sorular oluşturun. Beklenen cevap veya insana devir davranışını yazın. Sentetik verilerle başka müşterinin kaydının görünmediğini ve hatalı işlem yapılmadığını kontrol edin. Testleri gerçek kullanıcıya zarar vermeyecek ortamda yürütün.
Başarıyı yalnızca cevap hızıyla ölçmeyin. Doğruluk, uygun devir, gereksiz işlem ve çözülemeyen durumları ayrı inceleyin. Kullanıcıların sorununu çözüp çözmediğini görmek için destek ekibinden kayıtlı geri bildirim alın. Birkaç başarılı örneğin bütün sorularda güvenilirlik gösterdiğini varsaymayın. Değişen bilgi kaynağında testi tekrarlayın.
İşletim maliyeti ve kapatma yolunu konuşun
Model kullanımı, barındırma, bilgi güncelleme, izleme ve insan desteğini ayrı kalemlerde değerlendirin. Burada sabit sohbet maliyeti veya tasarruf oranı iddia edilmiyor. Gerçek kullanım senaryosu ve test hacmi üzerinden teklif alın. Kişisel verilerin saklanması ve aktarımı konusunda projenize uygun değerlendirme yapılmalıdır.
Yanlış cevaplar veya entegrasyon sorunu görüldüğünde sistemi durdurup insan destek akışına geçebilmelisiniz. Sorunun hangi sürümde oluştuğunu ve neyin değiştirildiğini kaydedin. Güvenilir sınırlar ve sürdürülebilir içerik yönetimi projenin parçasıdır. İşletmenin müşteriyle iletişimi otomasyon durduğunda tamamen kesilmemelidir.
Chatbot projesi kontrol listesi
- Görev ve kapsam dışı sorular belli mi?
- Bilgi kaynağının güncelleme sorumlusu var mı?
- Kimlik ve yetki model dışında doğrulanıyor mu?
- Yanlış ve yetkisiz soru testleri hazır mı?
- İnsan devri ve kapatma yolu çalışıyor mu?
Sık sorulan sorular
### Chatbot bütün müşteri temsilcilerinin yerini alır mı? Bunu varsaymayın. Önce sınırları belli bir ihtiyacı çözün; karmaşık veya belirsiz konular için insan devri planlayın. Çözülemeyen taleplerin kaybolmadığını doğrulayın.
Kendi belgelerimle beslemek hataları tamamen önler mi?
Hayır. Bilgi güncelliği, çıktı doğruluğu ve yetki kontrolleri ayrıca test edilmelidir. Yanlış belge veya kötü yönlendirme, kaynak kullanılıyor olsa bile hatalı sonuç üretebilir.
Teknik kaynaklar
Örnekler, önerilen değerlendirme senaryolarıdır; gerçek müşteri sonuçları veya bağlayıcı fiyat tarifesi değildir. Platform koşulları uygulama öncesinde güncel kaynaklardan kontrol edilmelidir.
Projenizin kapsamını netleştirelim.
Site adresinizi, mevcut sisteminizi ve çözmek istediğiniz ihtiyacı paylaşın. Ganz Dijital ile projenize uygun çalışma kapsamını değerlendirin.
İlgili hizmetleri inceleWhatsApp üzerinden görüşelim →Bu içerik, belirtilen teknik kaynaklar ve örnek çalışma senaryolarıyla yapay zekâ desteği kullanılarak hazırlanmıştır. İşletmenize özel gereksinimler uygulama öncesinde ayrıca değerlendirilmelidir.