Важное значение для достижения целей стеганографии имеют протоколы. Под протоколом подразумевается "порядок действий, к которым прибегают две или несколько сторон, предназначенный для решения определенной задачи" [11]. Можно разработать исключительно эффективный алгоритм скрытия информации, но из-за неправильного его применения не достичь своей цели.
И протокол, и алгоритм являются определенной последовательностью действий. Отличие между ними заключается в том, что к протоколу должны быть обязательно привлечены две или более сторон. При этом допускается, что участники принимают на себя обязательства придерживаться протокола. Так же как и алгоритм, протокол состоит из шагов. На каждом шаге протокола выполняются определенные действия, которые могут заключаться, например, в проведении некоторых вычислений.
Как уже отмечалось в предыдущем подразделе, в стеганографии различают системы с секретным ключом и системы с открытым ключом. В первых используется один ключ, который должен быть заранее известен авторизованным абонентам до начала скрытого обмена секретными сообщениями (или же переслан защищенным каналом во время указанного обмена). В системах с открытым ключом для встраивания и извлечения скрытой информации используются разные, не выводимые один из другого ключа — открытый и секретный.
Учитывая большое разнообразие стеганографических систем, целесообразно свести их к следующим четырем типам [3]:
• бесключевые стеганосистемы;
• системы с секретным ключом;
• системы с открытым ключом;
• смешанные стеганосистемы.
Бесключевые стеганосистемы
Для функционирования бесключевых стеганосистем, кроме алгоритма стегано-графического преобразования, отсутствует необходимость в дополнительных данных, наподобие стеганоключа.
Определение 2.2
Совокупность 
, где С - множество контейнеров-оригиналов; М — множество секретных сообщений, причем 
; S — множество контейнеров-результатов, причем 
и D, соответственно функции прямого (встраивание) и обратного (извлечение) стеганопреобразований, причем 
для любых 
и 
называется бесключевой стеганографической системой.
Таким образом, безопасность бесключевых стеганосистем базируется только на секретности используемых стеганографических преобразований Е и D. Это противоречит определяющему принципу, который установил Керхгофс (A. Kerckhoffs) для систем защиты информации [6], поскольку стойкость системы зависит только от степени проинформированности нарушителя относительно функций E и D.
Для повышения безопасности бесключевых систем перед началом процесса стеганографического скрытия предварительно выполняется криптографическое шифрование скрываемой информации. Совершенно очевидно, что такой подход увеличивает защищенность всего процесса связи, поскольку усложняет выявление скрытого сообщения. Однако "сильные" стеганосистемы, как правило, способны выполнять возложенные на них функции без предварительной криптографической зашиты встроенного сообщения.
