ai人工智能面相测试
Decidingwhattotestisthefirst,andmostimportant,stepindefininganAIprototype.Thisdecisionshapesallotherdecisionsindesigningtheprototype.
确定要测试的内容是定义AI原型的第一步，也是最重要的一步。该决策将影响设计原型时的所有其他决策。
Definingthehypothesisundertestisimportantbecauseprototypesaremessy.Andmessyexperimentsgivemuddledresults;hidingtherelevantamongsttheincidental.
定义被测假设很重要，因为原型很乱。混乱的实验给出了混乱的结果。将相关的东西隐藏起来。
Prototypesarebroadbrush-strokedapproximationsofthefinalproduct.Thelearningsfromaprototypecanbegame-changing,intriguing,andwhollysurprising.Buttolearnfromaprototypewithconfidence,theeffectorinsightwillneedtobelarge.
原型是最终产品的大致笔触近似值。从原型中学到的知识可以改变游戏规则，吸引人，并且完全令人惊讶。但是，要有信心从原型中学习，效果或洞察力将需要很大。
Itisveryeasytotakeafindingfromaprototypeandgeneraliseit,onlytolaterfindthatthelearningwastieddirectlytosomeimperfectionintheprototypeitself.Minordifferencesbetweentheprototypeandend-productcananddoimpactthelearnings.Detailssuchashowfastanelementloads,orbeingconstrainedtoafewuserjourneyshaveaveryrealeffectonhowtheuserresponds.
从原型中得出发现并进行概括非常容易，后来才发现学习与原型本身的某些缺陷直接相关。原型和最终产品之间的细微差异可以而且确实会影响学习。诸如元素加载的速度或受限于几次用户旅程之类的细节对用户的响应方式具有非常真实的影响。
Withprototypes,we’relookingforbigeffects.Thingsthatareobviousonceourattentionisdrawntothem.Notoptimisations.Foroptimisations,dothislaterinthedesignprocessandconsiderA/Bormulti-variatetestingonlargeusergroups.
借助原型，我们正在寻找更大的效果。一旦吸引我们注意，这些事情就显而易见了。没有优化。为了进行优化，请在设计过程的后期进行此操作，并考虑对大型用户组进行A/B或多变量测试。
Withmanyelementsundertest,thefeedbackwillbenoisy.Itisdifficulttountanglethecausesandeffectsofwhatouruserstellandshowus.
在测试许多元素的情况下，反馈会很嘈杂。很难弄清用户告诉我们并告诉我们的原因和结果。
Thetypesofthingswemightwanttotestinclude:
我们可能要测试的事物类型包括：
Thetechnicaldetails
技术细节
Theperformanceofthemodel.模型的性能。Thespeedofdeliveringthemodelresults.交付模型结果的速度。Therateoffeedbackfromamodelandwhetherausercanvisibly‘teach’thesystem.来自模型的反馈率以及用户是否可以可视地“教”系统。Theinterface
介面
HowinteractiveistheAIfeature.AI功能的互动性。ArethereseparateelementsfortheAIfeature;howarethesedelineatedfromtherestofthesystem.AI功能是否有单独的元素？这些与系统其余部分的区别Themessaging
消息传递
ExplainingtheAIalgorithm;whatitdoesandhowitlearns.解释AI算法；它做什么以及如何学习。Teachingtheuserhowtomaketheproductlearn.教用户如何使产品学习。Hownumericthemodelresultsare;hownumerateistheuserexpectedtobe.模型结果的数值如何；用户期望的数字。Whetherandhowwecommunicateerrormessages.我们是否以及如何传达错误消息。Errorcorrection
纠错
Howtoputfail-safesinplaceincaseoferror.发生错误时如何设置故障保护。Howtodetermineifthemodelhasbrokendown.如何确定模型是否已损坏。Whatwedowhenthemodelbreaksdown.模型崩溃时我们该怎么做。Howtorecoverfromcatastrophicerror.如何从灾难性错误中恢复。simonoregan.comsimonoregan.com测试AI原型Separatingthesetestsisimportant.Fortestingtheuserimpactoftechnicaldetailsitisbesttohavearrivedatafinaliseddesignfortheinterface,messaginganderrorcommunication.
分开这些测试很重要。为了测试用户对技术细节的影响，最好确定接口，消息传递和错误通信的最终设计。
Messagingiscloselytiedtotheinterfaceanderror-handlingandoftenwon’tbetestedalone.Instead,theinterfaceandmessagingortheerror-handlingandmessagingwillbetestedinpairs.
消息传递与接口和错误处理紧密相关，通常不会单独进行测试。相反，将成对测试接口和消息传递或错误处理和消息传递。
Theimportantthingtobearinmindisthatwedon’twanttoberapidlyswappingthesepermutationsinthehopethatwe’llobservefinedifferencesinuserresponsestohelpusdeterminetheoptimalcombination.Withsmallusergroupstheresultswillcertainlynotbestatisticallysignificant,norusuallygeneralisableandrelevant.
要记住的重要一点是，我们不想Swift交换这些排列，希望我们会观察到用户响应中的细微差别以帮助我们确定最佳组合。对于较小的用户组，结果肯定不会具有统计意义，也通常不会具有概括性和相关性。
Instead,chooseaconfigurationwithclearlydefinedupfrontassumptionsandobservewhethertheuserbehavesasexpected,andifnot,whynot.
相反，请选择具有明确定义的前期假设的配置，并观察用户的行为是否符合预期，如果不是，则为什么。