Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Yöntem makalesi

Düşük Riskli Kamu Hizmeti Uygulama ve Danışmanlık Süreçlerindeki Karmaşık Problemler için Sistemik Bir Hizmet Tasarımı Görselleştirme Protokolü

72 görüntülenme

⸱

11 Eylül 2026

 ,  , 
1Faculty of Innovation and Design, City University of Macau, 2College of Art and Design, Shenzhen University, 3College of Art and Design, Guangdong Baiyun University

Bu makalede

Özet

Bu protokol, düşük riskli kamu hizmeti uygulama ve danışmanlık süreçlerindeki karmaşık sorunların teşhisi için yapılandırılmış bir hizmet tasarımı metodolojisini açıklamaktadır. Bu yaklaşım; paydaş haritalama, yolculuk haritalama, ortak tasarım ve düşük sadakatli prototiplemenin yanı sıra, uygulama öncesinde kullanıcı davranışı, karar verme ve hizmet materyali kullanılabilirliğinin simüle edilmiş, görev tabanlı değerlendirmesini entegre etmektedir.

Özet

Birden fazla aktör, parçalı bilgi, belirsiz sorumluluk sınırları ve üzerinde uzlaşılmış tek bir çözümün olmaması gibi "zorlu" (wicked) özelliklere sahip karmaşık kamu hizmeti sorunlarını, rutin idari ortamlarda yapılandırmak güçtür. Bu makale; tıbbi tedavi, yasal durum, mali uygunluk, çocuk koruma, disiplin sonuçları veya hakları etkileyen diğer yüksek riskli kararları belirlemeyen idari hizmetler olarak tanımlanan, düşük riskli kamu hizmeti uygulamaları ve danışma süreçleri için sistematik bir hizmet tasarımı görselleştirme protokolü sunmaktadır. Protokol; parçalı idari zorlukları uygulanabilir, birlikte tasarlanmış hizmet kavramlarına dönüştürmek ve bunları simüle edilmiş görevler kullanarak değerlendirmek amacıyla paydaş haritalama, kamu hizmeti yolculuk haritalama, Double Diamond ortak tasarımı ve düşük sadakatli prototip testini entegre eder. Temsili bir düşük riskli idari uygulama yolunda, 28 katılımcıyla gerçekleştirilen simüle görev testleri (12 temel ve 12 prototip sonrası görev kaydı), protokol tarafından oluşturulan materyallerle etkileşimden sonra daha kısa görev tamamlama süreleri (178.4 ± 49.6 s–121.7 ± 38.2 s), daha az hata (görev başına 1.86 ± 0.91–0.79 ± 0.63 hata) ve daha yüksek görev başarısı (%62.5–%82.1) göstermiştir. Sabit ön/son sekansı öğrenme etkilerini içerebileceği için bu bulgular görev tabanlı kullanılabilirlik kanıtlarını temsil etmektedir. Bu tekrarlanabilir protokol, düşük riskli kamu hizmeti ortamlarında karmaşık kamu hizmeti sorunlarının teşhisi ve çözümlerin prototiplenmesi için yapılandırılmış, görsel odaklı bir yaklaşım sağlar.

Giriş

Kamu hizmeti kuruluşları, basit idari düzenlemelerle çözülemeyen karmaşık zorluklarla giderek daha fazla karşıya kalmaktadır. Bu sorunlar; çok sayıda aktörün yer alması, parçalanmış sorumluluklar, bilgiye erişimdeki eşitsizlikler ve standartlaştırılmış idari prosedürler ile çeşitli kullanıcı ihtiyaçları arasındaki gerilimlerle karakterize edilir. Bu tür sorunların tamamen yeniden üretilebilir bir formülle çözülebileceğini iddia etmek yerine, bu protokol söz konusu durumları; yeniden üretilebilir kolaylaştırma adımları aracılığıyla yapılandırılabilecek, görselleştirilebilecek ve keşfedilebilecek, "çetrefilli" (wicked) özelliklere sahip, sınırlı ve düşük riskli hizmet problemleri olarak ele almaktadır1,2. Rutin kamu hizmeti sunumunda bu sorunlar, operasyonel aksaklıklar olarak ortaya çıkar: vatandaşlar gerekli belgeleri belirlemekte zorlanır, saha personeli tekrarlayan sorularla karşılaşır ve yöneticiler, son kullanıcılar için kolayca görünür olmayan kuralları uygular.

Bu karmaşıklıkları gidermek için kamu hizmeti inovasyonu, dahili verimlilik reformlarından katılımcı ve kullanıcı merkezli yaklaşımlara kaymıştır. Güncel araştırmalar, ortak yaratım (co-creation) ve ortak üretim (co-production) süreçlerinin; vatandaşların, profesyonellerin ve kuruluşların hizmet inovasyonuna iş birliği içinde katkıda bulunmalarına olanak tanıdığını göstermektedir3,4,5. Ancak, bu katılımcı değişim metodolojik bir zorluğu da beraberinde getirmektedir. Farklı paydaşlar bir hizmetin verimsiz olduğu konusunda hemfikir olabilseler de, yapısal bozulmanın nerede meydana geldiği, kimlerin bundan en çok etkilendiği veya hangi spesifik müdahalelerin gerektiği konusunda nadiren ortak bir karara varırlar.

Bu protokol; hizmet tasarım araştırmacıları, kamu yönetimi araştırmacıları, belediye veya üniversite hizmet iyileştirme ekipleri ve uygulama öncesinde çok aktörlü şikayetlerin görsel tanı materyallerine dönüştürülmesi için tekrarlanabilir bir yaklaşıma ihtiyaç duyan eğitimli kolaylaştırıcılar için tasarlanmıştır. Kullanıcıların gereklilikleri yorumlaması, materyalleri hazırlaması, birden fazla hizmet aşamasından geçmesi ve çok sayıda aktörle koordinasyon kurması gereken danışmanlık, kayıt, durum kontrolü ve takip hizmetleri gibi düşük riskli uygulamalar için en uygundur. Acil durum karar verme süreçleri, yerleşik tek adımlı prosedürlere sahip yüksek derecede standartlaştırılmış işlemler, yasal yargılamalar, tıbbi tedaviler, çocuk koruma, göçmenlik durumu kararları, finansal yardım belirlemeleri, disiplin süreçleri veya kimliği belirlenebilir vaka dosyalarına erişim gerektiren herhangi bir ortamda birincil yöntem olarak kullanılmamalıdır.

Tek başına yürütülen paydaş analizi, yolculuk haritalama veya katılımcı çalıştaylarla karşılaştırıldığında, önerilen iş akışı; aktör haritalamayı, aşamaya özgü hizmet kırılımlarını, birlikte tasarlanmış zorluk formülasyonunu ve simüle edilmiş prototip testlerini denetlenebilir tek bir dizi içinde birbirine bağlar. Bu entegrasyon, ekiplerin kimlerin etkilendiğini, aksaklığın nerede meydana geldiğini ve hangi materyallerin güvenle test edilebileceğini önceden belirlemeden, genel bir memnuniyetsizlik durumundan doğrudan çözüm fikirlerine geçmesini önlemeye yardımcı olur. Benzer şekilde, kamu sektörü ve halk sağlığına yönelik güncel birlikte tasarım incelemeleri de şeffaf süreçlerin, açık kolaylaştırıcılığın, katılımın ve güç dinamiklerinin dikkatli bir şekilde değerlendirilmesinin gerekliliğini vurgulamaktadır4,6,7,8,9.

Hizmet tasarımı; görsel, katılımcı ve prototip odaklı yöntemler aracılığıyla bu zorluğun üstesinden gelmek için pratik bir çerçeve sunar6,8,10. Hizmet tasarımı, hizmet hatalarını soyut politika eksiklikleri olarak ele almak yerine; kullanıcılar, personel, temas noktaları ve arka plan süreçleri arasındaki etkileşimleri inceler. Sonuç olarak, ortak tasarım (co-design), karmaşık problemlerin tanımlanmasında vatandaşların sürece dahil edilmesinin bir yolu olarak kamu yönetiminde giderek daha fazla önerilmektedir4,7,1. Bununla birlikte, ortak tasarım girişimleri, paydaşların öznel deneyimlerini test edilebilir kamu hizmeti materyallerine dönüştürecek yapılandırılmış bir mekanizmadan yoksun olduklarında veya katılımcılar arasındaki güç farklarını açıkça yönetemediklerinde genellikle yetersiz kalmaktadır.

Sıkı bir metodolojik geçiş, belirli analitik araçların ardışık entegrasyonunu gerektirir. Paydaş haritalama; aktör katılımını, etkisini, bağımlılıklarını ve bilgi asimetrilerini netleştirerek tanısal temel oluşturur12. Ardından, ardışık hizmet aşamalarındaki spesifik sorunlu noktaları ve sorumluluk belirsizliklerini belirlemek için yolculuk haritalama kullanılır13. Sonrasında, Çift Elmas (Double Diamond) çerçevesi, haritalanan bu aksaklıkların uygulanabilir tasarım zorluklarına dönüştürülmesi için yapılandırılmış bir yol sunarak, ıraksak problem keşfini yakınsak çözüm geliştirmeden ayır7,8,14. Son olarak, düşük sadakatli prototip testi, ortak tasarlanan kavramların uygulama öncesinde güvenli bir şekilde değerlendirilmesini sağlar; bu, erken aşamadaki değişikliklerin vatandaş erişimini bozabileceği veya idari iş yüklerini artırabileceği kamu hizmetlerinde temel bir adımdır15,16.

Bu araçlarla ilgili metodolojik rehberlik artsa da, kamu hizmeti ortak tasarım literatüründe tekrarlanabilirlik kritik bir sınırlama olmaya devam etmektedir6,7,8,17. Birçok çalışma, tasarım çalıştaylarını geniş terimlerle tanımlamakta ve bağımsız tekrarlama için gereken kesin analitik adımları belirsiz bırakmaktadır. Titiz bir yöntem; sabit aşamalar, tanımlanmış zaman tahsisleri, standartlaştırılmış puanlama kuralları, tutarlı görsel çıktılar ve şeffaf karar kriterleri belirlemelidir. Ayrıca, erken aşamadaki görev tabanlı kullanılabilirlik değerlendirmesini, gerçek dünya kurum performansı ile ilgili daha geniş iddialardan net bir şekilde ayırmalıdır.

Bu makale, düşük riskli kamu hizmeti inovasyonundaki karmaşık ve çok aktörlü problemleri yapılandırmak için geliştirilmiş sistematik bir hizmet tasarımı görselleştirme protokolü sunmaktadır4,6,16,17. Özellikle kamu hizmeti uygulama ve danışmanlık süreçleri için tasarlanan protokol; paydaş haritalama, yolculuk haritalama, bir Double Diamond çalıştayı ve prototip testini ardışık olarak entegre eder. Genel amaç; araştırmacılara ve uygulayıcılara, parçalı hizmet şikayetlerinden görsel teşhise, objektif problem tanımına ve birlikte tasarlanmış hizmet konseptlerinin ampirik testine geçiş için yüksek derecede tekrarlanabilir, adım bir yaklaşım sağlamaktır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Bu makalede bildirilen temsili uygulama, Macau Şehir Üniversitesi İnsan Araştırmalarını Koruma Etik Kurulu (Onay No. 2600AL2401; 10 Ocak 2026'dan 10 Ocak 2028'e kadar geçerlidir), Macau, Çin tarafından onaylanmıştır. Tüm katılımcılardan katılımları öncesinde yazılı veya elektronik bilgilendirilmiş onam alınmıştır. Protokol; tıbbi müdahaleler, savunmasız popülasyonlar, yanıltma, biyolojik örnekler, özel finansal veriler, bireysel performans değerlendirmesi veya resmi idari kayıtlara erişim içermemektedir. Protokol için kullanılan araştırma araçları Materyaller Tablosunda listelenmiştir.

1. Katılımcı alımı ve bağlam tanımı

  1. Değerlendirmek için; bilgi araması, uygunluk netleştirmesi, belge hazırlığı, başvuru gönderimi, işleme, bildirim ve takip desteği gerektiren belediye, üniversite veya topluluk idari yolu gibi düşük riskli bir kamu hizmeti başvurusu ve danışma süreci seçin.
  2. Tıbbi tedavi, hukuki dava takibi, göçmenlik durumu, çocuk koruma, mali yardım belirleme, disiplin prosedürleri, acil durum kararları veya resmi idari kayıtları içeren bağlamları hariç tutun.
  3. Şu karmaşık veya "çetrefilli" (wicked) özelliklerden en az üçünü sergilediğinde, bir kamu hizmeti konusunu bu protokol için uygun olarak değerlendirin: birden fazla paydaş grubunun dahil olması, sorumluluk sınırlarının belirsizliği, aktörler arası koordinasyonun tekrar eden başarısızlıkları, eksik veya tutarsız hizmet bilgileri ve üzerinde uzlaşılmış tek bir çözümün yokluğu.
    NOT: Protokolü, tamamen çözümsüz/çetrefilli bir problemin çözümü olarak sunmayın. Onu; teşhis, ortak tasarım ve simüle edilmiş testler için sınırlandırılmış, düşük riskli bir kamu hizmeti problemini yapılandırma süreci olarak sunun.
  4. Anket aşaması için, kamu hizmeti kullanımı, sunumu, koordinasyonu veya yönetimi konusundaki aşinalıklarına göre 80 – 120 katılımcı belirleyin.
  5. Müdahale içermeyen bir hizmet tasarımı çalışması için uygulanabilir kalırken, birkaç rol grubu genelinde istikrarlı betimleyici paydaş profillerini desteklemek amacıyla bu örneklem boyutunu pragmatik bir planlama hedefi olarak kullanın.
  6. Kamu hizmeti sürecinde yer alan tüm ana paydaş rollerini temsil edecek katılımcılar seçin.
  7. Ortak tasarım çalıştayı ve prototip test aşamalarına katılmak üzere 20–30 katılımcıdan oluşan bir alt grup oluşturun.
  8. Her grubun aktif katılımı destekleyecek kadar küçük tutulduğundan emin olarak 4–6 karma rollü çalıştay grubu oluşturun.
  9. Her karma rollü grubun; vatandaşlar, ön hat hizmet personeli, toplum çalışanları veya yöneticiler gibi en az üç paydaş kategorisini içerdiğinden emin olun.
  10. Güç dengesizlikleri bekleniyorsa, ilk paydaş haritalama tartışmaları için vatandaşları ve hizmet sağlayıcıları ayırın.
  11. İlk tartışmalardan sonra karma rollü sentez gerçekleştirin. Karma rollü sentez sırasında; yöneticilerin veya profesyonel personelin vatandaş katkılarını domine etmesini önlemek için yapılandırılmış sıra alma, sessiz fikir yazımı, anonim kart sunumu ve anonim nokta oylaması yöntemlerini kullanın.
  12. Katılımcı alımına, rol hazırlığına ve kullanıcıların yalnızca uzmanlar tarafından tanımlanmış sorunlara yanıt vermek yerine fikir sunmalarına olanak tanıyan koşullara dikkat edin7,9,18.
  13. Tüm katılımcıları; tanımlanabilir isimleri, kimlik numaralarını, ev adreslerini, telefon numaralarını, vaka kimliklerini, tıbbi kayıtları, hukuki kayıtları, gelir kayıtlarını veya kurum performans dosyalarını ifşa etmemeleri konusunda uyarın.
  14. Tanımlanamayan katılımcı kodları atayın (örneğin, P01 ve P02).
  15. Veri toplama öncesinde tüm kolaylaştırıcıları aynı kolaylaştırma metni, örnek sorun noktası kartları, tasarım zorluğu rubriği ve prototip puanlama örneklerini kullanarak eğitin.
  16. KRİTİK ADIM: Kolaylaştırıcıların en az beş örnek sorun noktasını ve beş taslak "nasıl yapabiliriz" ifadesini bağımsız olarak sınıflandırmalarını isteyerek onları kalibre edin.
    NOT: Kolaylaştırıcılar, devam etmeden önce dahil etme, kümeleme ve revizyon kararlarında en az %80 oranında uzlaşmalıdır.
  17. Kolaylaştırıcılar dahil etme, kümeleme ve revizyon kararlarında en az %80 oranında uzlaşana kadar tutarsızlıkları tartışın.
  18. Mümkün olduğunca en az iki kolaylaştırıcı kullanın: tartışmayı yönlendirmek için bir baş kolaylaştırıcı ve zamanlamayı, katılım dengesini ve protokol sapmalarını kaydetmek için bir gözlemci.
  19. Eğer paralel grupları birden fazla kolaylaştırıcı yönetiyorsa, her ana aşamadan sonra 15–20 dakikalık bir değerlendirme toplantısı yapın ve yönlendirmelerdeki veya yorumlama kurallarındaki farklılıkları denetim formuna kaydedin.
    UYARI: Katılımcı alımı, onam, kolaylaştırıcı eğitimi ve materyal hazırlığı tamamlandıktan sonra araştırmacılar, 1. Aşamaya başlamadan önce bekleyebilir. Yalnızca tüm katılımcılara kod atandığını ve tüm çalışma kağıtlarının hiçbir tanımlayıcı bilgi içermediğini onayladıktan sonra devam edin.

2. Protokol materyallerinin hazırlanması

  1. Uygulama öncesinde protokol materyallerini hazırlayın.
  2. Katılımcı bilgi formu, anonim rol tabanlı anket, paydaş haritalama çalışma sayfası, beş puanlı paydaş derecelendirme çizelgesi, kamu hizmeti yolculuk haritalama şablonu, sorun noktası kartları, tasarım meydan okuma şablonu, çözüm kartları, prototip seçim çizelgesi, kolaylaştırıcı kalibrasyon rubriği, simüle edilmiş görev sayfaları, görev seti eşdeğerlik kontrol listesi, prototip puanlama rubriği, kodlama çizelgesi, analiz sözdizimi veya iş akışı notları ve kimliksizleştirme kontrol listesini hazırlayın.
  3. Çalışmaya özgü her bir materyale sabit bir dahili tanımlayıcı ve versiyon numarası atayın.
  4. Yolculuk haritalama şablonunu yedi varsayılan aşamaya göre düzenleyin: bilgi arama, uygunluk veya gerekliliklerin netleştirilmesi, materyal hazırlama, başvurunun sunulması, departmanlar arası işlem süreci, sonuç bildirimi ve takip desteği.
  5. Aşama isimlerini, yalnızca seçilen hizmetin varsayılan düşük riskli idari başvuru yolundan nasıl farklılaştığını belgeledikten sonra uyarlayın.
  6. Temas noktaları, sorumlu aktörler, bilgi girdileri, çıktılar, sorun noktaları ve alt akış sonuçlarının aynı sırasını koruyun.
  7. Prototip görev sayfaları için, herhangi bir gerçek kişisel, idari veya kurum verisi içermeyecek şekilde simüle edilmiş kamu hizmeti senaryoları tasarlayın.
  8. Protokol için gerekli olan aşamalar, zaman tahsisleri, materyaller ve önceden tanımlanmış çıktılar için Tablo 1'e bakın.
  9. Veri toplama kalemleri, puanlama kuralları, geçerlilik eşikleri ve veri koruma kontrolleri için Tablo 2'ye bakın.
  10. Karmaşık kamu hizmeti sorunlarını görünür, tartışılabilir ve test edilebilir hale getirmek için hizmet tasarımı yöntemlerini kullanın19.

Tablo 1: Protokol aşamaları, zamanlama, gerekli malzemeler ve önceden tanımlanmış çıktılar. Protokolün iş akışı, her aşama için ana faaliyetleri, katılımcıları, tahmini zaman ayrımını, gerekli malzemeleri ve beklenen çıktıları içerir.Bu Tabloyu indirmek için lütfen buraya tıklayın.

Tablo 2: Veri toplama metrikleri, yöntemler, hariç tutma kriterleri ve veri koruma kontrolleri. Her protokol aşamasında toplanan metrikler, bunlara karşılık gelen veri toplama yöntemleri, önceden tanımlanmış hariç tutma kriterleri ve katılımcı gizliliği ile veri bütünlüğünü korumak için uygulanan önlemler.Bu tabloyu indirmek için lütfen buraya tıklayın.

3. Aşama 1: Paydaş haritalama

  1. Katılımcılara, seçilen kamu hizmeti sürecinde yer alan beş ila sekiz aktörü bireysel olarak listelemeleri için paydaş haritalama çalışma sayfasını kullanmalarını söyleyin.
  2. Paydaş haritalama aşaması için 25–35 dk süre ayırın.
  3. Görselleştirme protokolünün genel iş akışı için Şekil 1'e bakın.
  4. Katılımcıları, listedeki her bir aktörü beşli bir sabit ölçek (1 = çok düşük; 5 = çok yüksek) kullanarak dört boyutta puanlamaları için yönlendirin: hizmet sonucu üzerindeki etki, diğer aktörlere bağımlılık, hizmet bilgisine erişim ve koordinasyon baskısı.
  5. Katılımcılar puanlamaları tamamlamadan önce yazılı örnekler sunun.
  6. Yüksek etkiyi, kararı, gecikmesi veya yorumu hizmet sonucunu önemli ölçüde etkileyen bir aktör olarak tanımlayın.
  7. Yüksek bağımlılığı, diğer aktörlerden gelecek bilgi, onay veya işlem olmadan hizmet sürecini tamamlayamayan bir aktör olarak tanımlayın.
  8. Her bir paydaş grubu için her boyuttaki ortalama puanı hesaplayın.
  9. Aynı boyut üzerinde paydaş grupları arasında iki puan veya daha fazla olan tutarsızlıkları, beşli ölçeğin en az %40'lık bir kaymasını temsil ettiği ve küçük puanlama gürültüsünden ziyade çalıştay tartışmasını destekleyecek kadar büyük olduğu için algı boşluğu olarak işaretleyin.
  10. İşaretlenen her bir algı boşluğunu çalıştay tartışmasına taşıyın.
  11. Yeniden tasarım çalışmaları başlamadan önce aktör rollerini, bağımlılıkları, etkiyi ve bilgi asimetrilerini görünür kılmak için paydaş haritalama sonuçlarını kullanın20.
  12. Paydaş kategorilerini, boyut ortalama puanlarını ve işaretlenen algı boşluklarını içeren bir aktör-ilişki profili oluşturun.

Prototip testi ve kullanılabilirlik geri bildirimi için ortak tasarım aşamalarını içeren paydaş haritalama süreci diyagramı.
Şekil 1Kamu hizmeti tasarım görselleştirme protokolünün genel iş akışı. İş akışı birbirine bağlı dört aşamadan oluşmaktadır: paydaş haritalama, kamu hizmeti yolculuğu haritalama, Double Diamond ortak tasarımı ve prototip testi. Çıktılar arasında aktör-ilişki profilleri, paydaş-yolculuk matrisleri, tasarım zorluğu beyanları, prototip kavramları ve erken aşama kullanılabilirlik geri bildirimleri yer almaktadır. Iraksak keşiften yakınsak çözüm geliştirmeye geçişi örneklendirmek için Double Diamond çerçevesinin Keşfet (Discover), Tanımla (Define), Geliştir (Develop) ve Sun (Deliver) aşamaları vurgulanmıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

4. Aşama 2: Kamu hizmeti yolculuk haritalama

  1. Çalıştay alt grubuna yedi aşamalı hizmet sürecini haritalandırmaları için rehberlik edin.
  2. Bu aşama için 45–60 dk ayırın.
  3. Katılımcılara; her aşama için ana aktörü, girdi bilgisini, çıktı bilgisini, iletişim kanalını, tipik gecikmeyi, sorun noktasını, şiddeti ve alt akış sonucunu kaydetmelerini söyleyin.
  4. Katılımcılardan her bir sorun noktasının şiddetini beşli bir ölçekle derecelendirmelerini isteyin (1 = küçük rahatsızlık; 5 = hizmet erişimini etkilemesi, resmi bir şikayeti tetiklemesi veya büyük bir tırmanmaya neden olması muhtemel ciddi aksaklık).
  5. KRİTİK ADIM: Sorun noktalarını yalnızca aynı yolculuk aşamasına atıfta bulunduklarında, aynı türdeki bilgi eksikliğini veya sorumluluk belirsizliğini içerdiklerinde ve benzer bir alt akış sonucu doğurduklarında birleştirin.
  6. Sadece tek bir katılımcı tarafından bildirilen sorun noktalarını ham kodlama dosyasında tutun. Bu sorun noktaları 4 veya 5 şiddet puanı almadıkları sürece önceliklendirmeyin.
  7. Matris hücreleri boyunca sorun noktalarının (P), bilgi eksikliklerinin (I), sorumluluk belirsizliğinin (R) ve yeniden tasarım fırsatlarının (O) varlığını görselleştirmek için entegre bir paydaş-yolculuk matrisi (Şekil 2) oluşturun.
  8. Memnuniyetsizliği veya gecikmeyi tek bir toplulaştırılmış sonuç olarak ele almak yerine, ardışık temas noktalarındaki hizmet aksamalarını belirlemek için yolculuk haritalamayı kullanın21.

Hizmet süreci sorunları matrisi; diyagram; sorunlu noktalar, bilgi boşlukları, sorumluluklar; iş akışı analizi.
Şekil 2Kamu hizmeti problem görselleştirmesi için entegre paydaş yolculuğu matrisi. Matris, yatay eksende yedi kamu hizmeti aşamasını ve dikey eksende temel paydaş gruplarını düzenlemektedir. Her bir hücre; P = sorunlu nokta (pain point), I = bilgi boşluğu, R = sorumluluk belirsizliği, O = yeniden tasarım fırsatı şeklindeki kısaltmalarla belirtilen spesifik hizmet sorunlarının varlığını göstermektedir. Matris, paydaş rollerini ve hizmet aşamasına özgü sorunları birbirine bağlayarak, paydaş haritalama ile ortak tasarım arasında görsel bir köprü görevi görür. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

5. Aşama 3: Çift Elmas ortak tasarım çalıştayı

  1. Double Diamond ortak tasarım atölyesini 2,5–3 saatlik bir oturum şeklinde gerçekleştirin.
  2. Iraksak keşif ile yakınsak karar verme süreçlerini birbirinden ayırmak için Double Diamond çerçevesini benimseyin7,8,14.
  3. Yalnızca uzman liderliğindeki dahili reformlara güvenmek yerine; vatandaşların, ön hat sağlayıcıların, yöneticilerin ve ortak kuruluşların ortak yaratım veya ortak tasarım süreçlerine katılımını sağlayın4,2.
  4. Keşfet (Discover) aşamasını yürütün (30–40 dk).
  5. Katılımcılara paydaş yolculuk matrisini gözden geçirmelerini ve eksik olan sorun noktası (pain-point) kartlarını eklemelerini söyleyin.
  6. Her geçerli sorun noktası kartının; yolculuk aşamasını, etkilenen aktörü, hizmet aksamasını, bilgi boşluğunu veya sorumluluk belirsizliğini ve ardından gelen sonucu kaydettiğinden emin olun.
  7. Tanımla (Define) aşamasını yürütün (40–50 dk).
  8. Her katılımcıdan, yüksek şiddetli ve aktörler arası hizmet aksamalarını en iyi temsil eden üç sorun noktası kartını sessizce seçmesini isteyin.
  9. Statü etkilerini ve güç dengesizliklerini azaltmak için açık tartışma öncesinde anonim nokta oylaması veya yazılı sıralama kullanın.
  10. Seçilen kartları yolculuk aşamasına, etkilenen aktöre, bilgi boşluğuna veya sorumluluk belirsizliğine ve ardından gelen sonuca göre kümeleyin.
  11. Kolaylaştırıcıdan her kümeyi yüksek sesle okumasını ve katılımcıların, kartların aynı hizmet aksamasını tanımladığı konusunda hemfikir olduğunu onaylamasını isteyin.
  12. Her kümeyi tek bir "Nasıl yapabiliriz" tasarım zorluğu ifadesine dönüştürün.
  13. Her tasarım zorluğu ifadesinin etkilenen aktörü, sorunlu yolculuk aşamasını, hizmet aksamasını ve istenen iyileştirme yönünü belirttiğinden emin olun.
  14. Her tasarım zorluğunu; özgünlük, aktör netliği, haritalanmış kanıtlarla bağlantı ve düşük sadakatli prototip testi için uygulanabilirlik kriterlerini değerlendiren dört maddelik bir rubrik kullanarak tarayın.
  15. Aktörü atlayan, birbiriyle ilgisiz birden fazla aksamayı birleştiren, erken aşamada çözüm öneren veya simüle edilmiş hizmet materyalleri kullanılarak test edilemeyen her ifadeyi revize edin.
  16. Orijinal taslağı, revizyon nedenini ve nihai onaylanmış ifadeyi denetim formuna kaydedin.
    UYARI: Araştırmacılar, nihai tasarım zorluğu ifadelerini onayladıktan sonra ara verebilir ve çözüm kartları ile prototip seçim formları hazırlandığında sürece devam edebilirler.
  17. Geliştir (Develop) aşamasını yürütün (50–60 dk).
  18. Katılımcılara her tasarım zorluğu için hizmet iyileştirme fikirleri üretmelerini ve bunları çözüm kartlarına kaydetmelerini söyleyin.
  19. Gerçek vaka verileri, bireysel uygunluk kayıtları, büyük yasal veya politik değişiklikler veya tanımlanabilir idari dosyalar gerektiren fikirleri hariç tutun.
  20. Sun (Deliver) aşamasını yürütün (30–40 dk).
  21. Katılımcılardan her bir çözüm fikrini; beklenen hizmet etkisi, uygulama uygulanabilirliği, paydaş mutabakatı ve simüle edilmiş görev testi için uygunluk kriterlerine göre beşli bir ölçekte puanlamalarını isteyin.
    NOT: Hem uygulanabilirlik hem de test edilebilirlik için ortalama puanı en az 4.0 olan prototip kavramlarını seçin. Bu eşik, prototiplerin uygulama darboğazları olmadan simüle edilmiş görev testi için uygun olduğundan emin olmak için gereklidir. 

6. Aşama 4: Düşük sadakatli prototip testi

  1. Önceliklendirilen kavramlar için düşük sadakatli prototipler geliştirin.
  2. Üç prototip formatı hazırlayın: tek sayfalık bir hizmet gereksinimleri kontrol listesi, bir hizmet durumu takip maketi ve bir takip veya üst makama iletim yolu.
  3. KRİTİK ADIM: Testten önce birbirine eşlenmiş iki görev seti oluşturun. Görev setlerinin karar adımları, okuma uzunluğu, gerekli alanlar, senaryo karmaşıklığı ve beklenen tamamlanma süresi açısından dengeli olduğundan emin olun.
  4. Görev setlerini karar adımlarının sayısı, okuma uzunluğu, gerekli alanlar, senaryo karmaşıklığı ve beklenen tamamlanma süresi bakımından eşleştirin.
  5. Eşleştirilmiş görev setlerini, çalışma dışı üç ila beş kullanıcı ile pilot olarak uygulayın.
  6. Ortalama tamamlanma süresi %10'dan fazla farklılık gösteriyorsa görev setlerini revize edin.
  7. Prototipleri değerlendirmek için simüle edilmiş kamu hizmeti görevlerini uygulayın.
  8. Mümkün olduğunda, görev aşinalığını prototip maruziyetinden ayırt etmek için karşıt dengeli veya kontrol grubu tasarımı kullanın.
  9. Tüm katılımcılar temel görevleri prototip sonrası görevlerden önce tamamlarsa, bunu Protokol, Sonuçlar ve Tartışma bölümlerinde potansiyel bir öğrenme etkisi riski olarak kaydedin.
  10. Prototip maruziyeti öncesinde her katılımcıya dört temel görev senaryosu sunun.
  11. Prototip maruziyetinden sonra, karşılaştırılabilir ancak özdeş olmayan dört görev senaryosu sunun.
  12. Her görev için maksimum 5 min süre sınırı belirleyin.
  13. Her katılımcıya aynı görev talimatlarını okuyun.
  14. Görevlerin tamamlanması sırasında ipucu vermeyin. Açıklamaları yalnızca prosedürel sorularla sınırlayın.
  15. Görev tamamlanma süresini, görevin sunumundan son cevaba kadar saniye cinsinden ölçün.
  16. Bir katılımcı görevi 5 min içinde tamamlamazsa, görevi tamamlanmamış olarak kaydedin, 30 s tamamlanma süresi atayın ve görev başarısını 0 olarak kodlayın.
  17. Bir görevi, ancak katılımcı doğru cevabı seçtiğinde veya gerekli tüm karar adımlarını süre sınırı içinde tamamladığında başarılı olarak kodlayın.
  18. Atlanan, hatalı veya gereksiz karar adımlarını sayarak hata sayısını hesaplayın.
  19. Her görevden hemen sonra katılımcı tarafından değerlendirilen açıklığı beşli bir ölçek kullanarak ölçün (1 = çok belirsiz; 5 = çok açık).
  20. Tüm görevler tamamlandıktan sonra, katılımcılardan prototip kullanılabilirliğini ve benimseme niyetini değerlendirmelerini isteyin.
    NOT: Prototip testi, kamu hizmeti performansındaki iyileştirmelerden ziyade, protokol tarafından üretilen materyallerin görev tabanlı açıklığını ve kullanılabilirliğini değerlendirir23.

7. Veri analizi ve kalite kontrolü

  1. 3 dakikadan daha kısa sürede tamamlanan anket yanıtlarını, %20'den fazla eksik değeri olan yanıtları, tüm Likert ölçekli maddelerde aynı olan yanıtları veya tutarsız rol bilgileri içeren yanıtları hariç tutun.
  2. Anket verilerini, sürekli değişkenler için ortalama ve standart sapmalar, kategorik değişkenler için ise frekanslar ve yüzdeler kullanarak özetleyin.
  3. Paydaş ve yolculuk haritalama verilerini yapılandırılmış kodlama çizelgesini kullanarak kodlayın. Konsensüs tartışmasından önce en az iki araştırmacının materyalin en az %20'sini bağımsız olarak kodlamasını sağlayın, ardından yüzdelik uyum oranını ve Cohen's kappa değerini veya eşdeğer bir güvenilirlik istatistiğini raporlayın.
  4. Geçerli sorun noktası kartlarını, problem kümelerini, tasarım zorluğu ifadelerini, çözüm fikirlerini, uygulanabilirlik puanlarını ve kısa listeye alınan prototip kavramlarını sayarak çalıştay çıktılarını analiz edin.
  5. Protokole özgü prototip kullanılabilirlik puanını beş adet beş puanlık maddeden hesaplayın: gereksinim netliği, durum görünürlüğü, sonraki adım netliği, görevi tamamlama kolaylığı ve materyali kullanma güveni. Ham puanı (5 ile 25 arasında değişen), şu formülü kullanarak 0-10 ölçeğine dönüştürün:
    kullanılabilirlik puanı = (ham puan - 5) / 20 x 1017
  6. Görev tabanlı netlik ve kullanılabilirlik göstergelerini çıkarmak için prototip test verilerini analiz edin. Test istatistiğini, kesin P değerini, mevcut olduğunda %95 güven aralığını ve etki büyüklüğünü dışa aktarmak için IBM SPSS Statistics (Analyze > Compare Means > Paired-Samples T Test; Analyze > Nonparametric Tests > Related Samples; Analyze > Descriptive Statistics > Crosstabs > Statistics > McNemar) veya eşdeğer R komutlarını (t.test(..., paired = TRUE), wilcox.test(..., paired = TRUE) ve mcnemar.test()) kullanın.
  7. P değerlerini 0,05 olarak önceden tanımlanmış bir alfa ile tanımlayıcı olarak yorumlayın ve etki yönünü, büyüklüğünü ve göstergeler arasındaki tutarlılığı vurgulayın24.
  8. Tekrarlanan görev kayıtlarını katılımcı düzeyinde birleştirin veya koşul başına dört görev aynı anda analiz ediliyorsa uygun bir tekrarlı ölçümler modelini kullanın.
    NOT: Bu varsayım açıkça gerekçelendirilmedikçe tüm görev kayıtlarını istatistiksel olarak bağımsız kabul etmeyin.
  9. KRİTİK ADIM: Tekrarlanabilirliği sağlamak için tüm veri temizleme, kodlama, görev seti eşleştirme ve istatistiksel analiz kararlarını bir denetim çizelgesinde belgeleyin. Kimliksizleştirilmiş tüm verilerin yalnızca araştırma ekibinin erişebileceği şifre korumalı dosyalarda saklandığından emin olun

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Katılımcı dahil etme ve protokol fizibilitesi
Protokol, 10 geçerli anket yanıtı (%89,3 tamamlama oranı) ve çalıştay ile prototip test aşamalarını tamamlayan 28 katılımcıdan oluşan özel bir alt grup ile başarıyla uygulanmıştır. Elde tutulan katılımcılar, kamu hizmeti sürecinde yer alan yedi paydaş kategorisini temsil etmiştir: vatandaşlar veya hizmet kullanıcıları (n = 32), ön hat hizmet personeli (n = 18), toplum çalışanları (n = 14), kamu kurumu yöneticileri (n = ...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

   Bu protokol, düşük riskli kamu hizmeti ortamlarındaki karmaşık problemlerin yapılandırılması için sistematik ve tekrarlanabilir bir yöntem sunmaktadır. Paydaş haritalama, yolculuk haritalama, Double Diamond ortak tasarımı ve düşük sadakatli prototip testlerinin sırasıyla entegre edilmesiyle bu yöntem, simüle edilmiş kullanılabilirlik kanıtları ile canlı idari performans arasındaki net ayrımı korurken, parçalı çok aktörlü şikayetleri test edilebilir hizmet müdahalelerine dönüştür. Temsili sonuçlar, kamu hizme...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarlar herhangi bir çıkar çatışması beyan etmemektedir.

Teşekkürler

Yazarlar; anketlere, ortak tasarım çalıştaylarına ve prototip test oturumlarına katıldıkları için vatandaşlar, ön cephe hizmet personeli ve kamu kurumu yöneticileri dahil olmak üzere tüm katılımcılara teşekkür eder. Çok aktörlü kamu hizmeti deneyimlerine dair sundukları katkılar ve görüşler, bu sistematik hizmet tasarımı görselleştirme protokolünün geliştirilmesini desteklemiştir.

Yazarlar ayrıca Macau Şehir Üniversitesi İnovasyon ve Tasarım Fakültesi; Shenzhen Üniversitesi Sanat ve Tasarım Koleji ve Guangdong Baiyun Üniversitesi Sanat ve Tasarım Koleji tarafından sağlanan kurumsal ve akademik desteği teşekkürle belirtirler. Bu araştırma; kamu, ticari veya kâr amacı gütmeyen sektörlerdeki herhangi bir finansman kuruluşundan özel bir hibe almamıştır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Analiz sözdizimi veya iş akışı notlarıAraştırma ekibiPSD-VP-S17 v1.1Eşleştirilmiş karşılaştırmalar, Wilcoxon testleri, McNemar duyarlılık kontrolleri, etki büyüklükleri, güven aralıkları ve raporlama çıktıları için SPSS veya eşdeğer R iş akışını belgelemek için.
Anonim rol tabanlı anketAraştırma ekibiPSD-VP-S02 v1.1Paydaş rol bilgilerini ve seçilen kamu hizmeti sürecine ilişkin temel algıları toplamak için.
Kimliksizleştirme kontrol listesiAraştırma ekibiPSD-VP-S14 v1.1Katılımcı isimlerinin, kimlik numaralarının, adreslerin, vaka kimliklerinin ve idari kayıtların toplanmadığından veya ifşa edilmediğinden emin olmak için.
Tasarım zorluğu şablonuAraştırma ekibiPSD-VP-S07 v1.1Kümelenmiş sorunlu noktaları yapılandırılmış, test edilebilir "Nasıl yapabiliriz" ifadelerine dönüştürmek için.
Moderatör kalibrasyon rubriğiAraştırma ekibiPSD-VP-S15 v1.1Moderatör hazırlığını, örnek kodlamayı, zorluk ifadesi revizyonunu ve moderatörler arası tutarlılığı standardize etmek için.
Beş puanlı paydaş derecelendirme formuAraştırma ekibiPSD-VP-S04 v1.1Her paydaşın etkisini, bağımlılığını, bilgi erişimini ve koordinasyon baskısını derecelendirmek için.
IBM SPSS StatisticsIBM CorporationVersion 26.0 or laterPrototip test sonuçları için tanımlayıcı analizler, eşleştirilmiş t-testleri, Wilcoxon işaretli sıra testleri ve McNemar testleri yürütmek için.
Düşük sadakatli prototip materyalleriAraştırma ekibiPSD-VP-S10 v1.1Gereksinim kontrol listesi, hizmet durumu maketi ve takip yolu dahil olmak üzere erken aşama hizmet materyalleri geliştirmek ve test etmek için.
Microsoft ExcelMicrosoft CorporationMicrosoft 365 or equivalentAnket verilerini düzenlemek, tanımlayıcı istatistikleri hesaplamak, kodlama formlarını yönetmek ve özet tablolar hazırlamak için.
Sorunlu nokta kartlarıAraştırma ekibiPSD-VP-S06 v1.1Hizmet aksaklıklarını, bilgi boşluklarını, sorumluluk belirsizliğini, etkilenen aktörleri ve alt akış sonuçlarını kaydetmek için.
Katılımcı bilgi formuAraştırma ekibiPSD-VP-S01 v1.1Katılım öncesinde çalışma amacını, prosedürleri, katılımcı haklarını ve onay gerekliliklerini açıklamak için.
Şifre korumalı veri depolamaKurumsal veya araştırma ekibi bilgisayar sistemiAccess restricted to research teamKimliksizleştirilmiş anket verilerini, çalıştay çıktılarını, kodlama dosyalarını ve görev test kayıtlarını güvenli bir şekilde saklamak için.
Prototip puanlama rubriğiAraştırma ekibiPSD-VP-S12 v1.1Prototip netliğini, kullanılabilirliğini, görev başarısını, hata sayısını ve benimseme niyetini değerlendirmek için.
Prototip seçim formuAraştırma ekibiPSD-VP-S09 v1.1Önceden tanımlanmış fizibilite ve test edilebilirlik eşiklerini karşılayan prototip kavramlarını seçmek için.
Kamu hizmeti yolculuk haritalama şablonuAraştırma ekibiPSD-VP-S05 v1.1Kamu hizmeti sürecini bilgi arama, gereksinimlerin netleştirilmesi, materyal hazırlama, teslim etme, işleme, bildirim ve takip desteği aşamaları boyunca haritalandırmak için.
Simüle edilmiş görev formlarıAraştırma ekibiPSD-VP-S1 v1.1Prototip maruziyeti öncesi ve sonrası görev tamamlamayı, karar doğruluğunu ve netliği değerlendirmek için.
Çözüm kartlarıAraştırma ekibiPSD-VP-S08 v1.1Double Diamond ortak tasarım çalıştayı sırasında üretilen hizmet iyileştirme fikirlerini belgelemek için.
Paydaş haritalama çalışma sayfasıAraştırma ekibiPSD-VP-S03 v1.1Kamu hizmeti sürecinde yer alan 5-8 aktörü belirlemek ve aktör rollerini ve bağımlılıklarını görselleştirmek için.
Yapılandırılmış kodlama formuAraştırma ekibiPSD-VP-S13 v1.1Paydaş haritalama verilerini, yolculuk haritalama çıktılarını, sorunlu nokta kümelerini ve çalıştay sonuçlarını kodlamak için.
Görev seti eşdeğerliği kontrol listesiAraştırma ekibiPSD-VP-S16 v1.1Temel ve prototip sonrası görevlerin; karar adımları, okuma uzunluğu, gerekli alanlar, karmaşıklık ve pilot tamamlanma süresi açısından eşleşmesini belgelemek için.

Kaynaklar

  1. Rittel HWJ, Webber MM. Dilemmas in a general theory of planning. Policy Sci. 1973;4(2):155-69.
  2. Suoheimo M, Vasques R, Rytilahti P. Deep diving into service design problems: Visualizing the iceberg model of design problems through a literature review on the relation and role of service design with wicked problems. Des J. 2021;24(2):231-51.
  3. Voorberg WH, Bekkers V, Tummers LG. A systematic review of co-creation and co-production: Embarking on the social innovation journey. Public Manag Rev. 2015;17(9):1333-57.
  4. Schwoerer K, Keppeler F, Mussagulova A, Puello S. CO-DESIGN-ing a more context-based, pluralistic, and participatory future for public administration. Public Adm. 2022;100(1):72-97.
  5. Edelmann N, Mergel I. Co-production of digital public services in Austrian public administrations. Adm Sci. 2021;11(1):https://doi.org/10.3390/admsci11010022
  6. Blomkamp E. Systemic design practice for participatory policymaking. Policy Des Pract. 2022;5(1):12-31.
  7. Vargas C, et al. Exploring co-design: A systematic review of concepts, processes, models, and frameworks used in public health research. J Public Health. 2025;47(4):https://doi.org/10.1093/pubmed/fdaf084
  8. Wacnik P, Daly SR, Verma A. Participatory design: A systematic review and insights for future practice. Des Sci. 2025;11:https://doi.org/10.1017/dsj.2025.10009
  9. Udoewa V. An introduction to radical participatory design: Decolonising participatory design processes. Des Sci. 2022;8:https://doi.org/10.1017/dsj.2022.24
  10. Stickdorn M, Schneider J. This is service design thinking: Basics, tools, cases. BIS Publishers; Amsterdam; 2011. https://www.wiley.com/en-us/This+is+Service+Design+Thinking%3A+Basics%2C+Tools%2C+Cases-p-9781118156308
  11. Blomkamp E. The promise of co-design for public policy. Aust J Public Adm. 2018;77(4):729-43.
  12. Bryson JM. What to do when stakeholders matter: Stakeholder identification and analysis techniques. Public Manag Rev. 2004;6(1):21-53.
  13. Folstad A, Kvale K. Customer journeys: A systematic literature review. J Serv Theory Pract. 2018;28(2):196-227.
  14. Design C. Eleven lessons: Managing design in eleven global brands. Design Council; London; 2007. https://www.idi-design.ie/content/files/ElevenLessons_Design_Council_2.pdf
  15. Steen M, Manschot M, De Koning N. Benefits of co-design in service design projects. Int J Des. 2011;5(2):53-60.
  16. Not E, et al. Designing a digital environment to support the co-production of public services: Balancing multiple requirements and governance concepts. Digit Gov: Res Pract. 2024;5(3):https://doi.org/10.1145/3603632
  17. Excellence UGCfPS. Design thinking for public service excellence. UNDP Global Centre for Public Service Excellence; Singapore; 2014. https://www.undp.org/publications/designthinking-public-service-excellence
  18. Osborne SP. The new public governance? Public Manag Rev. 2006;8(3):377-87.
  19. Hartley J. Innovation in governance and public services: Past and present. Public Money Manage. 2005;25(1):27-34.
  20. Freeman RE. Strategic management: A stakeholder approach. Pitman; Boston; 1984.
  21. Stickdorn M, Hormess ME, Lawrence A, Schneider J. This is service design doing: Applying service design thinking in the real world. O'Reilly Media; Sebastopol; 2018. https://www.thisisservicedesigndoing.com/
  22. Bovaird T. Beyond engagement and participation: User and community coproduction of public services. Public Adm Rev. 2007;67(5):846-60.
  23. Donetto S, Pierri P, Tsianakas V, Robert G. Experience-based co-design and healthcare improvement: Realizing participatory design in the public sector. Des J. 2015;18(2):227-48.
  24. Tomczak M, Tomczak E. The need to report effect size estimates revisited: An overview of some recommended measures of effect size. Trends Sport Sci. 2014;21(1):19-25.
  25. Sanders EBN, Stappers PJ. Co-creation and the new landscapes of design. CoDesign. 2008;4(1):5-18.
  26. Star SL, Griesemer JR. Institutional ecology, 'translations' and boundary objects: Amateurs and professionals in Berkeley's Museum of Vertebrate Zoology, 1907-39. Soc Stud Sci. 1989;19(3):387-420.
  27. Liedtka J. Why design thinking works. Harv Bus Rev. 2018;96(5):72-9.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Daha fazla makale keşfet

Paydaş HaritalamaYolculuk HaritalamaÇift ElmasOrtak Tasarım SüreciPrototip TestiKullanılabilirlik Kanıtıİdari Hizmetler
Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.