Научный электронный журнал КубГАУ . № 01(3), 2004
УДК 007.681.5:519.714:519.766
ТИПОВАЯ МЕТОДИКА И ИНСТРУМЕНТАРИЙ КОГНИТИВНОЙ
СТРУКТУРИЗАЦИИ И ФОРМАЛИЗАЦИИ ЗАДАЧ В
СК-АНАЛИЗЕ
Луценко Е.В. – д. э. н., профессор
Кубанский государственный аграрный университет
В статье рассматриваются два варианта конкретной реализации первого этапа системно-когнитивного анализа (СК-анализ), т.е. когнитивная структуризация и формализация предметной области, отличающиеся формой представления исходных данных: 1) файл типа "Текст-DOS"; 2) таблицы Word или Excel. Для первого варианта приводится исходный текст универсального программного интерфейса, полностью автоматизирующего первый этап СК-анализа, для второго – полный инструментарий, основанный на использовании стандартных возможностей Excel
1. Формулирование проблемы
На практике часто встречаются задачи, в которых исследование объекта познания даже в принципе не может быть осуществлено на основе проведения с ним каких-либо экспериментов. В этом случае приходится использовать ретроспективные данные об этом объекте и изучение реального объекта в различных условиях заменить исследованием его формальной модели. При этом результаты, полученные путем моделирования, могут считаться изучением самого объекта только тогда, когда модель адекватна.
Метод системно-когнитивного анализа (СК-анализ) включает следующие этапы [1]:
1. Когнитивная структуризация, а затем формализация предметной области.
2. Ввод данных мониторинга в базу прецедентов за период, в течение которого имеется необходимая информация в электронной форме.
3. Синтез семантической информационной модели (СИМ).
4. Оптимизация СИМ.
5. Проверка адекватности СИМ (измерение внутренней и внешней, дифференциальной и интегральной валидности).
6. Анализ СИМ.
7. Решение задач идентификации состояний объекта управления, прогнозирование и поддержка принятия управленческих решений с применением СИМ.
Однако прежде чем осуществить синтез и исследование модели объекта управления, необходимо:
– во-первых, разработать способ преобразования исходных данных из формы, в которой они находятся, в форму, пригодную для обработки на компьютере;
– во-вторых, осуществить это преобразование на практике.
Это и представляет собой определенную проблему, особенно, если необходимо обработать значительные объемы исходных данных за ограниченное время.
2. Исследование характеристик источников исходных данных
2.1.Источники информации
Существуют различные источники информации об объектах управления:
– результаты социологических опросов и психологического тестирования;
– выходные файлы информационно-измерительных систем;
– результаты экономического мониторинга, как правило, представленные в форме таблиц Word и реже Excel.
Соответственно, существуют всего три основные формы исходных данных:
1. Рукописные материалы.
2. Файлы стандарта "Текст-DOS".
3. Таблицы Word и Excel.
Возможен также вариант использования для подготовки данных специально разработанных систем окружения, например системы "Эйдос-фонд" [3] или "Эйдос-Y" [4] и программных интерфейсов.
В данной статье рассмотрим второй и третий варианты представления исходных данных, т.к. первый вариант, как и вариант с системами окружения, подробно описаны в работе [2].
Примеры небольших фрагментов исходных данных в первой и второй формах представления приведены в таблицах 1 и 2.
2.2. Характеристики источников информации
Опыт исследований во многих предметных областях в течение ряда лет показывает, что в исходных данных встречаются показатели различной природы, представляемые в различных единицах измерения. Кроме того, данные часто оказываются неполны (фрагментарны) и зашумлены. Причем восполнить отсутствующие данные обычно нет возможности. Поэтому возникает проблема выбора метода совместной сопоставимой обработки разнородных по своей природе фрагментарных данных.
2.3. Требования к математической модели
Анализ характеристик исходных данных показывает, что математическая модель предметной области должна обеспечивать:
– непараметрический анализ разнородных по своей природе неполных (фрагментированных) и зашумленных данных большой размерности;
– выявление и исследование в сопоставимой форме причинно-следственных взаимосвязей факторов среды и управления различной природы, с одной стороны, и будущих состояний объекта управления – с другой.
3. Традиционные пути решения проблемы
Как правило, разработка классификационных и описательных шкал и градаций, их использование для кодирования обучающей выборки, их ввод в обрабатывающую систему – все эти работы выполняются вручную. Однако в ряде случаев вручную кодировать и вводить исходные данные не представляется возможным по причинам:
1) жестких ограничений на время, отводящееся заказчиком на решение задачи;
2) большой трудоемкости формализации (ручного кодирования) и ввода информации в программную систему;
3) большого количества ошибок ручного кодирования и ввода.
В результате решаются только те задачи, для которых допустимое время решения достаточно велико и объемы исходных данных малы, а ошибки ввода малосущественны. При этом большое количество важных для науки и практики задач, которые не вписываются в эти параметры, просто не решаются.
4. Предлагаемое решение проблемы
Прежде чем осуществить синтез модели в соответствии с методологией системно-когнитивного анализа (СК-анализ), необходимо выполнить первый этап [1], состоящий из следующих шагов:
1. Разработка когнитивной модели предметной области и принятие решения о том, что в модели будет выступать в качестве причин (факторов), а что в качестве следствий (классов).
2. Конструирование классификационных и описательных шкал и градаций.
3. Описание исходной информации в системе шкал и градаций и формирование обучающей выборки.
4. Преобразование исходных данных из формы, в которой они имеются, в стандартную форму, предусмотренную универсальной когнитивной аналитической системой "Эйдос" (далее – система "Эйдос"), представляющую собой инструментарий СК-анализа [5, 6].
1-й этап "Когнитивная структуризация предметной области" является познанием и формированием обобщенной понятийной модели.
2-й, 3-й и 4-й этапы образуют в совокупности этап "Формализация предметной области", т.е. конкретизацию когнитивной модели и преобразование ее в форму, непосредственно пригодную для обработки в программной системе.
Предлагается решение обозначенной в статье проблемы путем максимальной автоматизации процессов кодирования и ввода исходной информации в систему "Эйдос", т.е. разработки и использования соответствующего программного интерфейса, работающего с конкретным представлением исходных данных.
В настоящее время этап когнитивной структуризации является в принципе не формализуемым, т.е. может выполняться только человеком. Когда модель уже создана, она позволяет провести системно-когнитивный анализ объекта управления и подтвердить или опровергнуть адекватность решений, принятых при когнитивной структуризации.
Необходимо отметить, что наличие в распоряжении исследователей инструментария АСК-анализа и программного интерфейса, автоматизирующего ввод исходной информации и информации обратной связи в систему "Эйдос", позволяет не только осуществить синтез СИМ, но и периодически осуществлять адаптацию и синтез новых версий семантической информационной модели. Таким образом обеспечивается корректировка решений, принятых на первых этапах синтеза модели, а также отслеживание динамики предметной области, благодаря чему сохраняется высокая адекватность модели в изменяющихся условиях.
Шагам первого этапа СК-анализа соответствуют четыре функции, поддерживаемые программным интерфейсом:
1. Определение классов и факторов.
2. Выявление макропараметров, определяющих состояния объекта управления (классы); измерение области изменения числовых значений факторов и конструирование интервалов (диапазонов) факторов; конструирование классификационных и описательных шкал и градаций и их кодирование.
3. Кодирование исходных данных в системе классификационных и описательных шкал и градаций и формирование обучающей выборки (базы прецедентов).
4. Автоматический ввод классификационных и описательных шкал и градаций, а также обучающей выборки в соответствующие стандартные базы данных системы "Эйдос".
Реально в программном интерфейсе, реализованном на языке программирования, поддерживаются все 4 функции, а в Excel – только первые 3.
5. Когнитивная структуризация предметной области
5.1. Задачи когнитивной структуризации
Под когнитивной структуризацией предметной области понимается процесс ее познания, который осуществляется на основе системного подхода, в соответствии с которым объект познания рассматривается как система, имеющая сложное многоуровневое иерархическое строение. Когнитивная структуризация предметной области – это начальный этап синтеза модели, подготавливающий формализацию и предшествующий ей.
При когнитивной структуризации:
– выделяются целевые параметры системы, т.е. ее желательные и нежелательные будущие состояния, характеризующие ее на макроуровне;
– определяется система факторов, детерминирующих эти будущие состояния.
При этом в качестве факторов могут рассматриваться (окружающая среда, технологии, а также параметры системы на низких уровнях ее иерархической структуры).
5.2. Будущие состояния объекта управления (классы)
В качестве будущих состояний объекта управления выбираются:
– в варианте "Текст-DOS" – интервалы макропараметров в столбцах от Obj_1 до Obj_W;
– в варианте Excel – интервалы макропараметров в строках, определенных при когнитивной структуризации.
5.3. Факторы
В качестве будущих факторов выбираются:
– в варианте "Текст-DOS" – интервалы значений параметров в столбцах от Atr_1 до Atr_M;
– в варианте Excel – интервалы параметров в строках, определенных при когнитивной структуризации.
6. Формализация предметной области
6.1. Общие положения
Формализация предметной области осуществляется на основе ее предварительной когнитивной структуризации. Формализация предметной области – это конструирование классификационных и описательных шкал и градаций, как правило, порядкового типа с применением интервальных оценок, в системе которых предметная область описывается в форме, пригодной для обработки на компьютере с использованием математических моделей.
В соответствии с методом СК-анализа, каждый числовой фактор из таблиц 1 или 2, независимо от его смысла и единиц измерения, рассматривается как переменная числовая величина, принимающая определенное множество значений. Подобные величины формализуются путем сведения к интервальным значениям, т.е.
– введения некоторого количества диапазонов, охватывающих все множество значений фактора;
– установления фактов попадания конкретных значений величин в определенные диапазоны.
Для каждого фактора устанавливаются свои границы диапазонов, исходя из их количества и множества значений величины фактора.
Количество диапазонов может быть различным для разных факторов, но на практике удобнее выбирать его одинаковым для всех фактов.
Рассмотрим основные соображения, из которых исходят при выборе количества диапазонов. Чем больше диапазонов, тем точнее интервальные оценки. Однако это верно только тогда, когда, по крайней мере, для большинства диапазонов наблюдаются факты попадания значений факторов в них. Очевидно, для этого необходимо достаточно большое количество данных. Если их недостаточно, то многие диапазоны могут оказаться пустыми и модель приближается к детерминистскому типу. В этом случае имеет смысл уменьшить их количество, укрупнить их. При определении количества диапазонов необходимо учитывать также возможные ограничения базовой программной системы, в данном случае системы "Эйдос".
Из этих рассуждений следует вывод о том, что при большом количестве данных оправданно увеличить количество диапазонов и повысить точность исследования. Когда же данных недостаточно, приходится укрупнять диапазоны, что приводит к некоторой вынужденной неточности выводов, но делает их более обоснованными статистически. По-видимому, это утверждение можно считать одним из следствий теоремы Котельникова об отсчетах.
СК-анализ предусматривает также возможность использования вторичных показателей, являющихся различными функциями первичных показателей. Однако этот подход требует данных большого объема за достаточно длительный период времени.
6.2. Программный интерфейс формализации предметной области при исходных данных типа "Текст-DOS"
Ниже приводится полный исходный текст реального программного интерфейса на языке программирования xBASE, реализующего все перечисленные выше 4 функции в соответствии с алгоритмом, приведенным выше.
******** ФОРМИРОВАНИЕ КЛАССИФИКАЦИОННЫХ И ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ *****
******** И ОБУЧАЮЩЕЙ ВЫБОРКИ ИЗ СТАНДАРТНОГО DBF-Excel-файла ***************
******** ПРОФ.АРТУРА НИКОЛАЕВИЧА ЛЕБЕДЕВА И ТИМУРА ЩУКИНА ******************
******** Луценко Е.В., 02/20/04 09:12am ************************************
PARAMETERS File_name
***** БЛОК-1. ОТОБРАЖЕНИЕ ИНФОРМАЦИИ О ФУНКЦИЯХ ПРОГРАММНОГО ИНТЕРФЕЙСА
**********************
scr23 = SAVESCREEN(0,0,24,79)
SET CURSOR OFF
SET DATE ITALIAN
SET DECIMALS TO 15
SET ESCAPE On
FOR J=0 TO 24
@J,0 SAY REPLICATE(" ",80) COLOR "rg+/N"
NEXT
SHOWTIME(0,60,.F.,"rg+/n",.F.,.F.)
Mess1 = " === ГЕНЕРАЦИЯ КЛАССИФИКАЦИОННЫХ ШКАЛ И ГРАДАЦИЙ === "
Mess2 = " === ГЕНЕРАЦИЯ ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ === "
Mess3 = " === ГЕНЕРАЦИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ === "
@1,40-LEN(Mess1)/2 SAY Mess1 COLOR "rg+/rb"
@2,40-LEN(Mess2)/2 SAY Mess2 COLOR "rg+/rb"
@3,40-LEN(Mess3)/2 SAY Mess3 COLOR "rg+/rb"
** БЛОК-2. ПРОВЕРКА КОРРЕКТНОСТИ ИМЕНИ ФАЙЛА С ИСХОДНЫМИ ДАННЫМИ *****************************
Fn = File_name
IF EMPTY(Fn)
Mess = "Программа запускается с параметром: INPTIMUR.EXE File_name"
@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"
INKEY(0)
RESTSCREEN(0,0,24,79,scr23)
CLOSE ALL
QUIT
ENDIF
Pos_p = AT(".",Fn)
IF Pos_p = 0
Mess = "У файла, указанного в качестве параметра, должен быть тип DBF"
@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"
INKEY(0)
RESTSCREEN(0,0,24,79,scr23)
CLOSE ALL
QUIT
ENDIF
Ext = UPPER(SUBSTR(Fn,Pos_p+1))
IF Ext <> "DBF"
Mess = "У файла, указанного в качестве параметра, должно быть расширение DBF"
@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"
INKEY(0)
RESTSCREEN(0,0,24,79,scr23)
CLOSE ALL
QUIT
ENDIF
Fns = ALLTRIM(SUBSTR(File_name,1,Pos_p-1))
IF LEN(Fns) > 5
Mess = "Длина имени файла, указанного параметром, должна быть <= 5 символов"
@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"
INKEY(0)
RESTSCREEN(0,0,24,79,scr23)
CLOSE ALL
QUIT
ENDIF
** БЛОК-3. ЗАДАНИЕ В ДИАЛОГЕ ДИАПАЗОНОВ СТОЛБЦОВ С КЛАССАМИ И ФАКТОРАМИ **********************
CLOSE ALL
USE Object EXCLUSIVE NEW;ZAP
USE (Fns) EXCLUSIVE NEW
M_KodObj1 = 2
M_KodObj2 = 17
Mess = "Задайте диапазон номеров столбцов классов : #### ####"
@8,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"
@8,58 GET M_KodObj1 PICTURE "####" COLOR "rg+/r+"
@8,63 GET M_KodObj2 PICTURE "####" COLOR "rg+/r+"
M_KodAtr1 = 18
M_KodAtr2 = 85
Mess = "Задайте диапазон номеров столбцов признаков: #### ####"
@10,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"
@10,58 GET M_KodAtr1 PICTURE "####" COLOR "rg+/r+"
@10,63 GET M_KodAtr2 PICTURE "####" COLOR "rg+/r+"
SET CURSOR ON;READ;SET CURSOR OFF
IF LASTKEY()=27 .OR. M_KodObj1>M_KodObj2 .OR. M_KodAtr1>M_KodAtr2
RESTSCREEN(0,0,24,79,scr23)
RETURN 2
ENDIF
IF M_KodObj2 > FCOUNT() .OR. M_KodAtr2 > FCOUNT()
RESTSCREEN(0,0,24,79,scr23)
RETURN 2
ENDIF
** БЛОК-4. РАСЧЕТ И ВЫВОД ИНФОРМАЦИИ О КОЛИЧЕСТВЕ КЛАССИФИКАЦИОННЫХ И ОПИСАТЕЛЬНЫХ ШКАЛ ******
N_OpSh = M_KodAtr2 - M_KodAtr1 + 1 && Кол-во описательных шкал
N_KlSh = M_KodObj2 - M_KodObj1 + 1 && Кол-во классификационных шкал
N_Rec = RECCOUNT()
M_Kod = 0
Mess = "КОЛИЧЕСТВО КЛАССИФИКАЦИОННЫХ ШКАЛ: "+ALLTRIM(STR(N_KlSh,5))
@14,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"
Mess = "КОЛИЧЕСТВО ОПИСАТЕЛЬНЫХ ШКАЛ: "+ALLTRIM(STR(N_OpSh,5))
@15,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"
** БЛОК-5. РАСЧЕТ И ВЫВОД ИНФОРМАЦИИ О ПРЕДЕЛЬНОМ КОЛИЧЕСТВЕ ГРАДАЦИЙ ОПИСАТЕЛЬНЫХ ШКАЛ ******
PUBLIC Nmax_Grad := INT(4000/(N_OpSh))
Mess = "Градаций в описательной шкале не более: "+ALLTRIM(STR(Nmax_Grad,5))
@18,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"
** БЛОК-6. ЗАДАНИЕ В ДИАЛОГЕ КОЛИЧЕСТВА ГРАДАЦИЙ (ИНТЕРВАЛОВ) В ОПИСАТЕЛЬНЫХ ШКАЛАХ **********
Mess = "Задайте максимальное количество градаций в описательных шкалах: ####"
@20,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"
N_Grad = Nmax_Grad
@20,70 GET N_Grad PICTURE "####" COLOR "rg+/r"
SET CURSOR ON;READ;SET CURSOR OFF
IF LASTKEY()=27 .OR. N_Grad > Nmax_Grad
RESTSCREEN(0,0,24,79,scr23)
RETURN 2
ENDIF
** БЛОК-7. ГЕНЕРАЦИЯ КЛАССИФИКАЦИОННЫХ ШКАЛ И ГРАДАЦИЙ ***************************************
Mess1 = " === ГЕНЕРАЦИЯ КЛАССИФИКАЦИОННЫХ ШКАЛ И ГРАДАЦИЙ === "
@1,40-LEN(Mess1)/2 SAY Mess1 COLOR "rg+*/rb"
FOR f=M_KodObj1 TO M_KodObj2 && Цикл по полям классов БД &Fns
SELECT &Fns
Fn = ALLTRIM(FIELDNAME(f)) && Принадлежность к профессиональному типу
* INDEX ON STR(999999-&Fn,7) TO Mrk_uniq UNIQUE
INDEX ON STR(&Fn,7) TO Mrk_uniq UNIQUE
DBGOTOP()
DO WHILE .NOT. EOF()
Fv = ALLTRIM(STR(FIELDGET(f)))
SELECT Object
IF M_Kod+1 > 4000
Mess = "Заданы параметры, при которых получается большее 4000 классов !!!"
@24,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"
INKEY(0)
RESTSCREEN(0,0,24,79,scr23)
CLOSE ALL
QUIT
ENDIF
APPEND BLANK
REPLACE Kod WITH ++M_Kod
REPLACE Name WITH "MRK-"+Fn+"-"+Fv
SELECT &Fns
DBSKIP(1)
ENDDO
NEXT
CLOSE ALL
** БЛОК-8. ГЕНЕРАЦИЯ ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ ********************************************
Mess2 = " === ГЕНЕРАЦИЯ ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ === "
@2,40-LEN(Mess2)/2 SAY Mess2 COLOR "rg+*/rb"
Fns_sh = Fns +"_sh" && БД для границ интервалов для SELECT
Fnd = Fns +".dbf" && БД для границ интервалов для COPY
Fnd_sh = Fns_sh+".dbf" && БД для границ интервалов для COPY
COPY FILE (Fnd) TO (Fnd_sh)
CLOSE ALL
USE Priz_ob EXCLUSIVE NEW;ZAP
USE Priz_per EXCLUSIVE NEW;ZAP
USE (Fns) EXCLUSIVE NEW
USE (Fns_sh) EXCLUSIVE NEW;ZAP;APPEND BLANK;APPEND BLANK;APPEND BLANK
SELECT &Fns
N_Rec = RECCOUNT()
Kod_prob= 0
Kod_prp = 0
@24,0 SAY REPLICATE("-",80) COLOR "rb/n"
FOR ff=M_KodAtr1 TO M_KodAtr2 && Начало цикла по полям БД &Fns
SELECT &Fns
F_Name = FIELDNAME(ff)
INDEX ON STR(999999-FIELDGET(ff),7) TO Mrk_funi UNIQUE
DBGOTOP(); F_MaxSH = FIELDGET(ff)
DBGOBOTTOM();F_MinSH = FIELDGET(ff)
Delta = (F_MaxSH-F_MinSH)/N_Grad
SELECT &Fns_sh
DBGOTO(1);FIELDPUT(ff,F_MaxSH)
DBGOTO(2);FIELDPUT(ff,F_MinSH)
DBGOTO(3);FIELDPUT(ff,Delta)
SELECT Priz_ob
APPEND BLANK
REPLACE Kod WITH ++Kod_prob
REPLACE Name WITH F_Name
@23,0 SAY REPLICATE("-",80) COLOR "rb/n"
FOR gr=1 TO N_Grad
SELECT Priz_per
IF Kod_prp+1 > 4000
Mess = "Заданы параметры, при которых получается большее 4000 градаций признаков !!!"
@24,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"
INKEY(0)
RESTSCREEN(0,0,24,79,scr23)
CLOSE ALL
QUIT
ENDIF
APPEND BLANK
F_MinGR = F_MinSH+(gr-1)*Delta
F_MaxGR = F_MinSH+(gr )*Delta
M_Name = F_Name+": {"+ALLTRIM(STR(F_MinGR,5))+", "+ALLTRIM(STR(F_MaxGR,5))+"}"
REPLACE Kod WITH ++Kod_prp
REPLACE Kod_ob_pr WITH Kod_prob
REPLACE Name WITH M_Name
SELECT Priz_ob
FIELDPUT(gr+2,Kod_prp)
p=gr/N_Grad*100;p=IF(p<=100,p,100)
@23,0 SAY STR(p,3)+"%" COLOR "w+/r+"
@23,4 SAY REPLICATE("-",0.76*p) COLOR "rb+/n"
NEXT
p=ff/N_OpSh*100;p=IF(p<=100,p,100)
@24,0 SAY STR(p,3)+"%" COLOR "w+/r+"
@24,4 SAY REPLICATE("-",0.76*p) COLOR "rb+/n"
NEXT
CLOSE ALL
** БЛОК-9. ГЕНЕРАЦИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ *******************************************************
Mess3 = " === ГЕНЕРАЦИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ === "
@3,40-LEN(Mess3)/2 SAY Mess3 COLOR "rg+*/rb"
USE Object EXCLUSIVE NEW
INDEX ON Name TO Obj_name
USE Priz_per EXCLUSIVE NEW
INDEX ON Name TO Prpe_nam
CLOSE ALL
USE Object INDEX Obj_name EXCLUSIVE NEW
USE Priz_per INDEX Prpe_nam EXCLUSIVE NEW
USE (Fns) EXCLUSIVE NEW
USE (Fnd_sh) EXCLUSIVE NEW
USE ObInfZag EXCLUSIVE NEW;ZAP
USE ObInfKpr EXCLUSIVE NEW;ZAP
N_Rec = RECCOUNT()
DBGOTOP()
@24,0 SAY REPLICATE("-",80) COLOR "rb/n"
M_KodIst = 0
SELECT &Fns
N_Rec = RECCOUNT()
Num = 0
DBGOTOP()
DO WHILE .NOT. EOF()
A_Obj = {}
****** База заголовков
SELECT &Fns
M_NameIst = FIELDGET(1)
FOR f=M_KodObj1 TO M_KodObj2 && Цикл по полям классов БД &Fns
SELECT &Fns
Fn = ALLTRIM(FIELDNAME(f)) && Принадлежность к профессиональному типу
Fv = ALLTRIM(STR(FIELDGET(f)))
SELECT Object;SET ORDER TO 1;T=DBSEEK("MRK-"+Fn+"-"+Fv)
IF T
AADD(A_Obj, Kod)
ENDIF
NEXT
ASORT(A_Obj)
SELECT ObInfZag
APPEND BLANK
REPLACE Kod_ist WITH ++M_KodIst
REPLACE Name_ist WITH M_NameIst
FOR jj=1 TO LEN(A_Obj)
FIELDPUT(jj+2,A_Obj[jj])
NEXT
****** База признаков
SELECT &Fns
******* Формирование массива первичных признаков из БД &Fns
Ar = {}
FOR ff=M_KodAtr1 TO M_KodAtr2 && Начало цикла по полям БД &Fns
AADD(Ar,FIELDGET(ff))
NEXT
******* Формирование массива кодов признаков из БД &Fns
M_KodPr = {}
FOR jj=1 TO LEN(Ar)
SELECT &Fns_sh
F_Name = FIELDNAME(jj+M_KodAtr1-1)
DBGOTO(1);F_MaxSH = FIELDGET(jj+M_KodAtr1-1)
DBGOTO(2);F_MinSH = FIELDGET(jj+M_KodAtr1-1)
Delta = (F_MaxSH-F_MinSH)/N_Grad
FOR gr=1 TO N_Grad
F_MinGR = F_MinSH+(gr-1)*Delta
F_MaxGR = F_MinSH+(gr )*Delta
IF F_MinGR <= Ar[jj] .AND. Ar[jj] <= F_MaxGR
M_Name = F_Name+": {"+ALLTRIM(STR(F_MinGR,5))+", "+ALLTRIM(STR(F_MaxGR,5))+"}"
SELECT Priz_per;SET ORDER TO 1;T=DBSEEK(M_Name)
IF T
AADD(M_KodPr, Kod)
ENDIF
ENDIF
NEXT
NEXT
******* Запись массива кодов признаков из БД &Fns в БД ObInfKpr
SELECT ObInfKpr
APPEND BLANK
FIELDPUT(1,M_KodIst)
k=2
FOR jj=1 TO LEN(M_KodPr)
IF k <= 12
FIELDPUT(k++,M_KodPr[jj])
ELSE
APPEND BLANK
FIELDPUT(1,M_KodIst)
k=2
FIELDPUT(k ,M_KodPr[jj])
ENDIF
NEXT
p=++Num/N_Rec*100;p=IF(p<=100,p,100)
@24,0 SAY STR(p,3)+"%" COLOR "w+/r+"
@24,4 SAY REPLICATE("-",0.76*p) COLOR "rg+/n"
SELECT &Fns
DBSKIP(1)
ENDDO
Mess = " ПРОЦЕСС ГЕНЕРАЦИИ ЗАВЕРШЕН УСПЕШНО !!! "
@24,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"
INKEY(0)
RESTSCREEN(0,0,24,79,scr23)
CLOSE ALL
QUIT
Этот программный интерфейс работает с исходными данными, получающимися из данных типа "Текст-DOS" после загрузки их в Excel и записи в DBF-файл (тип файла DBF DBase IV). Загрузка файла "Текст-DOS" осуществляется по технологии, представленной в работе [7]. При запуске программы DBF-файл с исходными данными указывается в качестве параметра. В диалоге задаются номера столбцов с информацией по классам и факторам, а также количество интервалов (градаций в описательных шкалах). Количество объектов обучающей выборки неограниченно.
В результате работы программного интерфейса автоматически формируются справочники классификационных и описательных шкал и градаций, а также обучающая выборка (табл. 3 и 4), что позволяет непосредственно приступить к выполнению последующих этапов СК-анализа, т.е. к синтезу модели, ее оптимизации и проверке на адекватность и т.д., которые осуществляются средствами самой системы "Эйдос".
6.3. Инструментарий работы с исходными данными типа "Документ Word" или "Таблица Excel"
Прежде всего, таблицы из документов Word преобразуются в таблицы Exce следующим образом
1. Выделяем блоком таблицу Word.
2. Помещаем блок в буфер обмена.
3. Вставляем таблицу из буфера обмена в Excel.
4. Форматируем таблицу в Excel (оформляем заголовок и шапки, задаем форматы вывода текстовых и числовых значений, устанавливаем высоту строки и ширину столбцов, создаем сетку разметки и т.п.).
5. Определяем области значений классов и факторов, т.е. минимальное и максимальное значения каждого класса и фактора.
6. Получаем величину интервалов для каждого класса и фактора исходя из их областей значений и количества интервалов.
7. Находим минимальное и максимальное значения для каждого интервала.
В результате выполнения этих шагов из исходных данных, представленных в форме таблицы 2, получаем таблицу 5
Используя данные таблицы 5, сконструируем классификационные шкалы и градации (табл. 6 и 7)
Таблица 7. ОПИСАТЕЛЬНЫЕ ШКАЛЫ И ГРАДАЦИИ
В СТАНДАРТАХ "ТАБЛИЦА WORD", "ТАБЛИЦА EXCEL"
7. Подготовка обучающей выборки
После реализации этапов конструирования классификационных и описательных шкал и градаций выполняется следующий этап: подготовка базы прецедентов (обучающей выборки). Обучающая выборка (табл. 8) представляет собой исходные данные (см. табл. 2), закодированные с использованием классификационных и описательных шкал и градаций (см. табл. 6 и 7), и состоит из двух взаимосвязанных таблиц:
– таблицы кодов классов;
– таблицы кодов градаций факторов.
В таблице 8 объектам обучающей выборки соответствуют столбцы с информацией по годам. В каждой группе строк первая строка содержит коды классов, а две последующие – факторов.
Выводы
Предложенные типовая методика и инструментарий, включая программный интерфейс, обеспечивают высокую степень автоматизации выполнения первого этапа системно-когнитивного анализа, т.е. когнитивную структуризацию и формализацию задач интеллектуальной обработки данных с применением системы "Эйдос", что позволяет:
– повысить качество семантических информационных моделей;
– достичь существенной экономии труда и времени на синтез семантической информационной модели объекта исследования;
– исследовать различные варианты моделей, оперативно отслеживать динамику предметной области.
Список литературы
1. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). – Краснодар: КубГАУ, 2002. – 605 с.
2. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). – Краснодар: КЮИ МВД РФ, 1996. – 280 с.
3. Пат. № 940334. РФ. Универсальная автоматизированная система анализа и прогнозирования ситуаций на фондовом рынке "ЭЙДОС-фонд" / Е.В. Луценко (Россия), Б.Х. Шульман (США); Заяв. № 940336. Опубл. 23.08.94. – 50 с.
4. Пат. № 2003610987 РФ. Автоматизированная система комплексной обработки данных психологического тестирования "ЭЙДОС-Y" / Е.В. Луценко (Россия), С.Д. Некрасов (Россия); Заяв. № 2003610511 РФ. Опубл. от 22.04.2003. – 50 с.
5. Пат. № 2003610986 РФ. Универсальная когнитивная аналитическая система "ЭЙДОС" / Е.В. Луценко (Россия); Заяв. № 2003610510 РФ. Опубл. от 22.04.2003. – 50 с.
6. Пат. № 940217. РФ. Универсальная автоматизированная система распознавания образов "ЭЙДОС" / Е.В. Луценко (Россия); Заяв. № 940103. Опубл. 11.05.94. – 50 с.
7. Луценко Е.В. Методика использования репозитария UСI для оценки качества математических моделей систем искусственного интеллекта // Научный журнал КубГАУ. 2003. № 2. http://ej.kubagro.ru.
Научный электронный журнал КубГАУ . № 01(3), 2004